华为云用户手册

  • 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框,在弹出的“数据集输入位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 数据集输出位置 待新建的数据集存储至OBS的位置。 待新建的数据集有一个默认存储位置。如果需要修改数据集存储位置,请单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 说明: “数据集输出位置”不能与“数据集输入位置”为同一路径,且不能是“数据集输入位置”的子目录。“数据集输出位置”建议选择一个空目录。 新建训练数据集后,勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集: 手动添加或修改标签 单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-物体检测。 由于零售商品工作流标注数据时需要勾勒出商品形状,必须使用多边形标注框标注数据。 自动标注数据 单击“下一步”,创建SKU后,自动标注数据。
  • 前提条件 新建训练数据需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问授权。 需要提前准备好SKU数据,即商品各类单品的图片。可存储至本地,也可以提前上传至OBS。 文件放置方式请按照“单品文件夹/单品图”或者“父文件夹/单品文件夹/单品图”的组织方式。 为了保证智能标注效果,建议每个SKU,即每种类别商品的图片大于20张。一次上传文件大小不能超过10M。 后续会把SKU图片保存至OBS,需要提前创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与 ModelArts Pro 在同一区域,详情请见创建OBS桶。 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并选择训练数据集,详情请见选择数据。 如果您选择的数据集均为已标注数据,可不用创建SKU,直接单击“下一步”,进入“数据标注”步骤,自动标注数据。
  • 新建SKU 当一次性上传一个SKU,即一种类别的商品时,您可以通过新建SKU操作上传SKU图片。 在“SKU创建”页面,单击“新建SKU”。 弹出“新建SKU”对话框。 在“新建SKU”对话框中,按表1填写信息,然后单击“确定”。 图1 新建SKU 表1 新建SKU参数说明 参数 说明 SKU名称 输入SKU的名称。 SKU单品图 在本地选择提前准备好的SKU单品图,后续存储至OBS中。 单击“SKU单品图”右侧的“上传图片”,在本地选择图片,可选择多个图片。 说明: 文件放置方式请按照“单品文件夹/单品图”或者“父文件夹/单品文件夹/单品图”的组织方式,选择单品文件夹或者父文件夹,平台将自动生成单品。 每个单品的图片必须大于20张。 一次上传文件大小不能超过10M。 SKU存储位置(OBS) SKU数据输出的默认OBS存储位置。
  • 批量上传SKU 当一次性上传多个SKU,即多种类别的商品时,您可以通过批量上传SKU操作上传多个SKU。 在“SKU创建”页面,单击“批量上传SKU”。 弹出“批量上传SKU”对话框。 在“批量上传SKU”对话框中,按表2填写信息,然后单击“确定”。 图2 批量上传SKU 表2 批量上传SKU参数说明 参数 说明 SKU存储位置(OBS) SKU数据存储至OBS的桶和文件夹。 如果数据上传方式为“选择本地文件”,则自动将本地的SKU数据上传至OBS。 如果数据上传方式为选择OBS文件,即直接选择SKU数据存储在OBS的位置。 单击“SKU存储位置(OBS)”右侧输入框,在“SKU存储位置(OBS)”对话框中选择SKU存储的OBS桶和文件夹,单击“确定”。 SKU输出位置 SKU数据输出的默认OBS存储位置。
  • 查看应用资产 单击页面上方的应用资产,切换至“应用资产”页签,可以查看当前应用的资产信息,比如零售商品识别工作流中的资产信息就是训练数据集,您可以查看“数据集名称”、“描述”、“数据量”、“标注进度”、“创建时间”和“操作”,其中“操作”列可执行“管理”和“删除”操作。 图4 应用资产 “管理”:进入数据集管理页面,单击“开始标注”,可手动标注数据,标注数据的操作指引如下。 零售商品识别工作流:标注数据-物体检测 热轧钢板表面缺陷检测工作流:标注数据-物体检测 云状识别工作流:标注数据-图像分类 刹车盘识别工作流:标注数据-图像分类 无监督车牌检测工作流:标注数据-物体检测 晶粒度定级工作流:标注数据-图像分割 第二相面积含量测定工作流:标注数据-图像分割 “删除”:单击“删除”,弹出“删除数据集”对话框,单击“确认”,即可删除当前数据集。
  • 使用预置工作流开发应用流程 HiLens套件当前提供了HiLens安全帽检测工作流,自主上传数据训练模型,提高模型精度,并快速创建技能,一键部署至设备。 图1 HiLens安全帽检测工作流流程 表1 使用预置工作流开发应用流程 流程 说明 详细指导 连接端侧和云侧 首先,连接您购买的HiLens Kit,并将HiLens Kit注册到Huawei HiLens平台,连接端侧与云侧。 注册HiLens Kit 选择HiLens套件 根据您的实际使用需求选择HiLens套件。您也可以通过查看工作流定位所需使用的套件。 在ModelArts Pro控制台界面,单击“HiLens套件”卡片的“进入套件”,进入HiLens套件控制台。 新建可训练技能(使用可训练技能模板) 基于预置的可训练技能新建技能,填写技能的基本信息。 新建可训练技能 开发技能(HiLens安全帽检测技能) 根据工作流指引,开发安全帽检测技能,通过上传训练数据,训练生成安全帽检测模型,自主更新和调整模型精度,实现高精度的安全帽检测功能,并一键安装技能至HiLens Kit设备。 HiLens安全帽检测技能 启动技能 把技能安装至设备后,可以直接在HiLens Studio中启动技能,查看技能运行效果。 启动或停止技能
  • 预置可训练模板 HiLens套件提供可训练技能模板开发技能,无需代码,只需自主上传训练数据,快速训练高精度算法模型,并且一键部署至设备。 当前HiLens套件提供HiLens安全帽检测技能,支持自主上传图片数据,构建高精度安全帽检测模型,快速开发安全帽检测技能,实现园区自动检测工人未戴安全帽的行为。 功能介绍 面向智慧园区的安全帽检测技能,支持自主上传图片数据,构建高精度安全帽检测模型,快速开发安全帽检测技能,实现园区自动检测工人未戴安全帽的行为。 适用场景 智慧园区。 优势 模型精度高,检测速度快,更新模型简便。 端云协同推理:端侧设备可协同云侧在线更新模型,快速提升端侧精度。 对接华为HiLens技能开发平台,一键式创建技能,快速部署技能至端侧设备。
  • 操作步骤 在ModelArts Pro控制台界面,单击“HiLens套件”卡片的“进入套件”。 默认进入“全部模板”页面。 单击“可训练模板(Beta)”,切换至“可训练模板”页签。 选择技能,单击技能模板卡片的“新建技能”。 首次使用可训练模板,弹出“访问授权”对话框,需要授权ModelArts。 图1 访问授权 仔细阅读ModelArts服务声明,勾选“我已详细阅读并同意《ModelArts服务声明》”,然后单击“同意授权”。 非首次使用可训练模板,请忽略此步骤,执行下一步。 在“新建技能”对话框,根据业务需求填写“技能名称”、“技能负责人”和“技能描述”,选择“所属行业”,认真阅读并勾选“同意《公测使用服务协议》”。 确认信息后,单击“确定”。 跳至“应用开发”页面,开始开发技能,详情请见HiLens安全帽检测技能。
  • HiLens安全帽检测技能 功能介绍 面向智慧园区的安全帽检测技能,支持自主上传图片数据,构建高精度安全帽检测模型,快速开发安全帽检测技能,实现园区自动检测工人未戴安全帽的行为。 适用场景 智慧园区。 优势 模型精度高,检测速度快,更新模型简便。 端云协同推理:端侧设备可协同云侧在线更新模型,快速提升端侧精度。 对接华为HiLens技能开发平台,一键式创建技能,快速部署技能至端侧设备。 后续还会提供更多场景的可训练技能模板,敬请期待。
  • 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。 数据上传方式 训练数据上传的方式,当前仅支持把数据上传至OBS,默认为“选择obs文件”。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框,在弹出的“数据集输入位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 数据集输出位置 待新建的数据集存储至OBS的位置。 待新建的数据集有一个默认存储位置。如果需要修改数据集存储位置,请单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 添加标签集 当上传的数据集状态为“未标注数据集”,需要添加标签名称。 单击文本框下方的添加标签。 鼠标移至文本框,单击文本框右侧的删除标签。 新建训练数据集后,勾选当前应用开发所需的训练数据集。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在热轧钢板表面缺陷检测工作流创建的其他应用中已使用的数据集信息,包括“数据集名称”和“标注进度”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。 单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-物体检测。 热轧钢板表面缺陷检测工作流标注数据时,必须使用矩形标注框标注数据。
  • 工作流简介 观察云的外部形状,即云的外形特征、结构特点和云底高度,对预测天气变化有重要的影响。ModelArts Pro提供云状识别工作流,为您提供高精度的云状识别算法,通过云的外部形状预测天气变化。 功能介绍 支持上传多种云状图数据,构建云状的识别模型,用于高精度识别云的外部形状,进而用于气象预测工作。 支持一键部署模型和技能到边缘设备Atlas 500,并在华为HiLens平台上进行模型管理和技能管理。 适用场景 气象智能预测等场景。 优势 模型精度高,识别速度快,更新模型简便。
  • 查看应用资产 在“应用资产”页签下,可以查看当前应用的资产信息,比如通用文本分类工作流中的资产信息就是训练数据集,您可以查看“数据集名称”、“描述”、“数据量”、“标注进度”、“标签总数”、“创建时间”和“操作”,其中“操作”列可执行“管理”和“删除”操作。 “管理”:进入数据集管理页面,单击“开始标注”,可手动标注数据,详情请见标注数据-物体检测。 “删除”:单击“删除”,弹出“删除数据集”对话框,单击“确认”,即可删除当前数据集。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、标签数量、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下的样品数量比例,单击各标签,右侧可查看该标签识别错误的图片。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型,可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池,详情请见资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”,您可以单击“查看应用监控”,进入“应用监控”页面,监控应用的相关信息,详情请见监控应用。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在云状识别工作流创建的其他应用中已使用的数据集信息,包括“数据集名称”和“标注进度”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。 单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-图像分类。
  • 工作流简介 在钢铁厂中,钢板的材质、热处理工艺以及使用环境等外界因素均会影响钢板的使用寿命,而这些外界因素导致钢板缺陷。研究钢板表面的缺陷类型对钢板的使用寿命至关重要,ModelArts Pro提供热轧钢板表面缺陷检测工作流,提供高精度钢板表面缺陷识别算法,提高钢板表面缺陷检测场景上线效率。 功能介绍 支持自主上传热轧钢板表面图片数据,构建热轧钢板表面缺陷类型的检测模型,用于识别热轧钢板表面图片中的缺陷类型。 适用场景 钢铁制造。 优势 模型精度高,识别速度快;更新模型简便。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
  • 创建标注任务 由于模型训练过程需要有标签的数据,针对未标注的数据集,您可以创建标注任务,然后前往Modelarts页面对数据进行手工标注。 创建标注任务 单击数据集操作列的“创建标注任务”,在对话框中输入“标注任务名称”和“添加标签集”,然后单击“确定”,创建新的标注任务。 图5 创建标注任务 标注数据 单击下拉箭头选项会显示该数据集的标注任务。 单击标注任务操作列的“标注”,进入Modelarts的数据标注页面,开始手动标注数据,详细的操作指导请参考标注数据-图像分类。 图6 数据集标注任务
  • 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。 上传数据至OBS,OBS上传数据的详细操作请参见《 对象存储服务 快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS工具指南》。
  • 数据集要求 文件名规范,不能有中文,不能含有空格、制表符及除中划线下划线外的特殊符号。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732.jpg │ IMG_20180919_114745.jpg │ IMG_20180919_114945.jpg 如果导入位置为OBS,用户需具备此OBS路径的读取权限。 只支持JPG、JPEG、PNG、BMP格式的图片。 针对已标注数据,通用图像分类工作流仅支持一张图片识别单个标签,支持如下两种数据格式。 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。 示例如下所示,其中“snow”和“rainy”分别为标签名。 dataset-import-example ├─snow │ 10.jpg │ 11.jpg │ 12.jpg │ └─rainy 1.jpg 2.jpg 3.jpg 当目录下存在对应的txt文件时,以txt文件内容作为图像的标签,优先级高于第一种格式。 示例如下所示,“import-dir-1”和“imort-dir-2”为导入子目录。 dataset-import-example ├─import-dir-1│ 10.jpg│ 10.txt │ 11.jpg │ 11.txt│ 12.jpg │ 12.txt└─import-dir-2 1.jpg 1.txt 2.jpg 2.txt 单标签的标签文件示例,如1.txt文件内容如下所示: rainy 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”。您可以在上方单击“添加对比版本”,在 “添加对比版本”下拉框选择之前已经训练完成的数据进行对比。 详细评估 “详细评估”下方显示各个标签下准确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
  • 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。 上传数据至OBS,OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS工具指南》。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在第二相面积含量测定工作流创建的数据集信息以及在ModelArts中导入的数据集,包括“数据集名称”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。 单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-图像分割。 第二相面积含量测定工作流标注数据时,必须使用多边形标注框标注数据。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型,可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池,详情请见资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”,您可以单击“查看应用监控”,进入“应用监控”页面,监控应用的相关信息,详情请见监控应用。
  • 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。 上传数据至OBS,OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS工具指南》。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在数据标注平台或套件其它应用导入可用状态的数据集信息,包括“数据集名称”、“来源”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于该工作流所需数据集需标注10%数据量用于测试,其余90%无需标注。针对已上传的数据集,您可以手动添加或修改标签。 单击数据集操作列的“标注测试图片”,进入数据集概览页单击右上角的“开始标注”,进入“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-物体检测。
  • 自动标注数据 在“数据标注”页面,会显示自动标注的进度,如果自动标注完成,标注进度为100%。 图1 自动标注完成。 标注完成后,您可以单击“标注结果确认”中的“前往确认”,进入标注概览页。 在标注概览页单击右上方的“开始标注”,进入手动标注数据页面,针对“已标注”的数据进行核对和检查,详情请见标注数据-图像分割。针对标注错误的数据修改标注。 第二相面积含量测定工作流标注数据时必须使用多边形标注框标注数据。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,首次部署服务请单击可修改默认服务名称。 如果在不同版本非首次部署服务,服务名称不支持修改。 描述 待部署服务的简要说明。 资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池,详情请见资源池。 计算节点规格 如果资源池选择“公共资源池”,支持选择计算规格“CPU:2 核 8 GiB”,适合纯CPU类型的负载运行的模型。 如果资源池选择专属资源池,勾选自己在ModelArts创建的专属资源池。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”,您可以单击“查看应用监控”,进入“应用监控”页面,监控应用的相关信息,详情请见监控应用。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
共100000条