华为云用户手册

  • 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择自动学习,进入自动学习总览页面。 在自动学习列表上方的搜索框中,根据您需要的属性类型,例如,名称、状态、项目类型、当前节点、标签等,过滤出相应的工作流。 单击搜索框右侧的按钮,可选择自动学习的基础设置,需要的显示列。 表格内容折行:默认为关闭状态,启用此能力可让表格内容自动折行,禁用此功能可截断文本。 操作列:默认为关闭状态,启用此能力可让操作列固定在最后一列永久可见。 自定义显示列:默认所有显示项全部勾选,您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序,单击表头中的箭头,就可对该列进行排序。
  • 操作步骤 在新版自动学习页面,单击项目名称进入运行总览,单击“数据标注”节点的“实例详情”进入“数据标注”页面,完成数据标注。 图1 完成数据标注 返回新版自动学习页面,单击数据标注节点的“继续运行”,然后等待工作流按顺序进入训练节点。 模型将会自动进入训练,无需人工介入,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 在“文本分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以单击文本分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次,每次训练生成一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 操作步骤 在自动学习页面,单击创建成功的项目名称,进入“数据标注”页面,完成“标签列”和“标签列数据类型”的选择。 在“数据标注”页面下方,单击“训练”,在弹出的“训练设置”对话框中,选择训练使用的“计算规格”,单击“下一步”进入配置页,确认规格后单击“提交”开始模型训练。 预测分析类型的自动学习,只支持使用“自动学习专用实例CPU(8U)”训练模型。 训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 图1 训练设置 在“模型训练”页签中,待训练状态由“运行中”变为“已完成”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以在界面中查看训练详情,如“标签列”和“标签列数据类型”、“准确率”、“评估结果”等。 该示例为二分类的离散型数值,评估效果参数说明请参见表1。 不同类型标签列数据产生的评估结果说明请参见评估结果说明。 同一个自动学习项目可以训练多次,每次训练生成一个版本。如第一次训练版本号为“V001(xxx)”,下一个版本为“V002(xxx)”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 评估结果说明 根据训练数据类的不同评估结果会包含不同的指标。 离散值评估结果 包含评估指标为召回率(Recall)、精确率(Precision)、准确率(Accuracy)与F1值(F1 Score)。下表为具体说明: 表1 离散值评估结果包含指标说明 参数 说明 召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 连续数值评估结果 包含评估指标为平均绝对误差(Mean Absolute Error)、均方误差(Mean Squared Error)与均方根误差(Root Mean Squared Error)。三个误差值能够表征真实值和预测值之间的差距。在多次建模的过程中,每一次建模结果都会产生一组误差值,评判一个模型好坏的方法就是看这三个误差值是否变小或者变大,误差值越小表示模型越好。
  • 预测分析文件内容示例 以鸢尾花数据集为例:根据鸢尾花的花萼与花瓣长宽,预测鸢尾花的品种。 表1 数据源的具体字段及意义 字段名 含义 类型 描述 attr_1 萼长 Double 花萼的长度 attr_2 萼宽 Double 花萼的宽度 attr_3 瓣长 Double 花瓣的长度 attr_4 瓣宽 Double 花瓣的宽度 attr_5 品种 String 鸢尾花的品种 表2 样本数据 attr_1 attr_2 attr_3 attr_4 attr_5 5.1 3.5 1.4 0.2 Iris-setosa 7 3.2 4.7 1.4 Iris-versicolor 6.3 3.3 6 2.5 Iris-virginica
  • 数据上传至OBS 在本文档中,采用管理控制台上传数据至OBS。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。
  • 数据集要求 文件规范:名称由以字母数字及中划线下划线组成,以'.csv'结尾,且文件不能直接放在OBS桶的根目录下,应该存放在OBS桶的文件夹内。如:“/obs-xxx/data/input.csv”。 文件内容:文件保存为“csv”文件格式,文件内容以换行符(即字符“\n”,或称为LF)分隔各行,行内容以英文逗号(即字符“,”)分隔各列。文件内容不能包含中文字符,列内容不应包含英文逗号、换行符等特殊字符,不支持引号语法,建议尽量以字母及数字字符组成。 训练数据: 训练数据列数一致,总数据量不少于100条不同数据(有一个特征取值不同,即视为不同数据)。 训练数据列内容不能有时间戳格式(如:yy-mm-dd、yyyy-mm-dd等)的数据。 如果某一列的取值只有一种,会被视为无效列。请确保标签列的取值至少有两个且无数据缺失。 标签列指的是在训练任务中被指定为训练目标的列,即最终通过该数据集训练得到模型时的输出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。 训练数据的csv文件不能包含表头,否则会导致训练失败。 当前由于特征筛选算法限制,标签列建议放在数据集最后一列,否则可能导致训练失败。
  • 修改标注 当数据完成标注后,您还可以进入“已标注”页签,对已标注的数据进行修改。 基于音频修改 在数据集详情页,单击“已标注”页签,然后在音频列表中选中待修改的音频(选择一个或多个)。在右侧标签信息区域中对标签进行修改。 修改标签:在“选中文件标签”区域中,单击操作列的编辑图标,然后在文本框中输入正确的标签名,然后单击确定图标完成修改。 删除标签:在“选中文件标签”区域中,单击操作列的删除图标,在弹出的对话框中单击“确定”删除该标签。 基于标签修改 在数据标注页面,单击“标签管理”页签,在标签管理页,显示全部标签的信息。 图3 全部标签的信息
  • 同步或添加音频 在“自动学习”页面,单击项目名称,进入自动学习“数据标注”页面。声音分类项目创建时,音频来源有两种,通过本地添加或同步OBS中的数据。 添加音频:您可以将本地音频快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加音频”,在弹出的对话框中单击“添加音频”并添加。 仅支持16bit WAV格式音频文件,单个音频文件不能超过4MB,且单次上传的音频文件总大小不能超过8MB。 数据源同步:为了快速获取用户OBS桶中最新音频,单击“数据源同步”,快速将通过OBS上传的音频数据添加到ModelArts。 删除音频:您可以依次单击选中音频,或勾选“选择当前页”选中该页面所有音频进行删除操作。 所有的删除操作均不可恢复,请谨慎操作。
  • 音频标注 选择未标注音频。在“数据标注”页面单击“未标注”页签,此页面展示所有未标注的音频数据。依次单击选中待标注的音频,或勾选“选择当前页”选中该页面所有音频,在页面右侧进行标注。 图1 音频标注 添加标注。先对音频进行播放识别,然后选中音频文件,在右侧“标签”区域,输入“标签名”或从下拉列表中选择已添加的标签,同时可在下拉菜单中选择标签“快捷键”。单击“确定”,完成选中音频的标注操作。 图2 声音分类音频标注 当目录中所有音频都完成标注后,您可以在“已标注”页签下查看已完成标注的音频,或者通过右侧的“全部标签”列表,了解当前已完成的标签名称和标签数量。
  • 评估结果说明 根据训练数据类的不同评估结果会包含不同的指标。 离散值评估结果 包含评估指标为召回率(Recall)、精确率(Precision)、准确率(Accuracy)与F1值(F1 Score)。下表为具体说明: 表1 离散值评估结果包含指标说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 连续数值评估结果 包含评估指标为平均绝对误差(Mean Absolute Error)、均方误差(Mean Squared Error)与均方根误差(Root Mean Squared Error)。三个误差值能够表征真实值和预测值之间的差距。在多次建模的过程中,每一次建模结果都会产生一组误差值,评判一个模型好坏的方法就是看这三个误差值是否变小或者变大,误差值越小表示模型越好。
  • 操作步骤 在新版自动学习页面,单击创建成功的项目名称,查看当前工作流的执行情况。 在“预测分析”节点中,待节点状态由“运行中”变为“运行成功”,即完成了模型的自动训练。 训练完成后,您可以在预测分析节点中单击查看训练详情,如“标签列”和“标签列数据类型”、“准确率”、“评估结果”等。 该示例为二分类的离散型数值,评估效果参数说明请参见表1。 不同类型标签列数据产生的评估结果说明请参见评估结果说明。 图1 模型评估报告 同一个自动学习项目可以训练多次,每次训练会注册一个新的AI应用一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“自动学习”,进入新版自动学习页面。 在您需要的自动学习项目列表中,单击“创建项目”,进入创建自动学习项目界面。 在创建自动学习项目页面,计费模式默认“按需计费”,参考表1填写相应参数。 表1 参数说明 参数 说明 “名称” 项目的名称。 名称只能包含数字、字母、下划线和中划线,长度不能超过64位且不能为空。 名称请以字母开头。 名称不允许重复。 “描述” 对项目的简要描述。 “数据集” 可在右侧下拉框选择已有数据集,或单击“创建数据集”前往新建数据集。 已有数据集:在“数据集”右侧的下拉框中选择,仅展示同类型的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体可参考如何创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。 说明: 只有北京四区域支持限时免费规格。 若您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,预测分析项目创建成功后页面自动跳转到“自动学习工作流”。 文本分类项目的工作流,将依次运行如下节点: 数据标注:对您的数据进行标注情况确认。 数据集版本发布:将已完成确认的数据进行版本发布。 数据校验:对您的数据集的数据进行校验,是否存在数据异常。 文本分类:将发布好的数据集版本进行训练,生成对应的模型。 模型注册:将训练后的结果注册到模型管理中。 服务部署:将生成的模型部署为在线服务。
  • 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择自动学习,进入自动学习总览页面。 在自动学习列表上方的搜索框中,根据您需要的属性类型,例如,名称、状态、项目类型、当前节点、标签等,过滤出相应的工作流。 单击搜索框右侧的按钮,可选择自动学习的基础设置,需要的显示列。 表格内容折行:默认为关闭状态,启用此能力可让表格内容自动折行,禁用此功能可截断文本。 操作列:默认为关闭状态,启用此能力可让操作列固定在最后一列永久可见。 自定义显示列:默认所有显示项全部勾选,您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序,单击表头中的箭头,就可对该列进行排序。
  • 操作步骤 在“自动学习”页面,单击创建成功的项目名称,进入“数据标注”页面,完成数据标注。 图1 完成数据标注 在“数据标注”页面,单击右上角的“开始训练”,然后在弹出的“训练设置”对话框中配置相关参数。参数说明请参见表1。请确保训练验证比例输入值的小数位数应在1~5之间。 表1 训练设置参数说明 参数 说明 默认值 数据集版本名称 此版本即数据管理中发布数据集时设置的版本。自动学习项目中,启动训练作业时,会基于前面的数据标注,将数据集发布为一个版本。 系统将自动给出一个版本号,您也可以根据实际情况进行填写。 系统随机给出 训练验证比例 训练验证比例表示将已标注样本随机分为训练集和验证集的比例,默认训练集比例为0.8,即训练集占0.8,验证集占0.2。manifest中的usage字段记录划分类别。取值范围为0~1。 0.8 增量训练版本 用户可以在之前训练成功的版本中,自主选择精度最高的版本进行再训练,可以加快模型收敛速度,提高训练精度。 无 最大训练时长(分钟) 即最大训练时长,在该时长内若训练还未完成,则保存模型停止训练。为防止模型未收敛就退出,建议使用较大值。输入值取值范围为6~6000。建议适当延长训练时间,2000张图片的训练集建议选择运行1小时以上。 60 训练偏好 performance_first:性能优先,训练时间较短,模型较小 balance:平衡 accuracy_first:精度优先,训练时间较长,模型较大 balance 计算规格 选择训练使用的资源规格。 以控制台提供为准。 训练参数设置完成后,单击“下一步”进入配置页,确认规格后单击“提交”进行模型的自动训练,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 如果使用免费规格,还需仔细阅读界面提示,同时勾选“我已阅读并同意以上内容”。 在“模型训练”页签中,待训练状态由“运行中”变为“已完成”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以在界面中查看训练详情,如“准确率”、“评估结果”、“训练参数”、“分类统计表”等。评估结果参数说明请参见表2。 图3 模型训练结果 表2 评估结果参数说明 参数 说明 召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次,每次训练生成一个版本。如第一次训练版本号为“V001(xxx)”,下一个版本为“V002(xxx)”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 升级到新版 登录ModelArts管理控制台,在左侧菜单栏中选择“自动学习”,进入“自动学习”项目列表页面。 查找您的旧版项目。在“自动学习”列表中,如果项目是旧版的,在项目名称处带有标识,针对此类项目,单击操作列的“升级”。 如果您的项目是新版的,则操作列中不存在“升级”按钮。 图1 查找旧版项目 在弹出的对话框中,设置需保存的“数据集名称”,以及数据集“存储路径”,然后单击“确定”启动升级。 图2 升级项目 等待项目升级,大概几分钟之后,项目将被升级为新版,项目名称处不再有旧版标识,且操作列不再存在“升级”按钮。
  • 服务测试 您可以在“部署上线”页面,选择对应的服务类型,例如自动学习物体检测项目默认将服务部署为在线服务,进入“在线服务”页面,单击目标服务“操作”列的“预测”,进行服务测试,测试方法和下方陈述操作步骤一致。具体操作请参见测试服务。 您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务、访问边缘服务。 下面的测试,是您在自动学习物体检测项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后,您可添加图片进行测试。在“自动学习”页面,选择目标项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域单击“上传”,选择本地图片进行测试。 图2 上传图片 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出结果。如模型准确率不满足预期,可在“数据标注”页签中添加图片并进行标注,重新进行模型训练及部署上线。预测结果中的参数说明请参见表1。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务,操作指导请参见“访问在线服务”。 目前只支持jpg、jpeg、bmp、png格式的图片。 图3 预测结果 表1 预测结果中的参数说明 参数 说明 detection_classes 每个检测框的标签。 detection_boxes 每个检测框的四点坐标(y_min,x_min,y_max,x_max),如图4所示。 detection_scores 每个检测框的置信度。 图4 检测框的四点坐标示意图 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。 如果您启用了自动停止功能,服务将在指定时间后自动停止,不再产生费用。
  • 部署上线 部署上线操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“模型训练”页签中,待训练状态变为“运行成功”,单击版本管理区域中的“部署”,开始将模型部署上线为在线服务。 图1 部署操作 在弹出的“部署”对话框中,选择资源规格,同时设置自动停止功能,然后单击确定,启动部署。 “计算节点规格”:以控制台实际提供为准。 “计算节点个数”:默认为1,且不能修改。 “是否自动停止”:启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 启动部署上线后,可以在“部署上线”界面查看模型部署上线的状态。 部署上线将耗费较多时间,请您耐心等待。当“部署上线”页签版本管理区域的状态由“部署中”变更为“运行中”,部署完成。 在自动学习界面中,仅支持将训练后的模型部署为在线服务,如果需要部署为“批量服务”或“边缘服务”,请参见自动学习生成的模型,存储在哪里?支持哪些其他操作?。
  • 添加或删除数据 自动学习项目中,数据来源为数据集中输入位置对应的OBS目录,当目录下的数据无法满足现有业务时,您可以在ModelArts自动学习页面中,添加或删除数据。 添加文件 在“未标注”页签下,可单击页面左上角的“添加数据”,您可以在弹出对话框中,选择本地文件上传。 上传文件格式需满足文本分类型的数据集要求。 删除文本对象 在“已标注”页签或“未标注”页签下,选中需要删除的文本对象,单击页面左上角的“删除”,在弹出的对话框中,确认删除信息后,单击“确定”。 在“已标注”页签下,您还可以勾选“选择当前页”,单击“删除”,即可删除当前页下所有的文本对象及其标注信息。
  • 修改标签 针对文本分类的自动学习项目,项目创建成功后,您可以根据业务变化,修改用于标注的标签。支持添加、修改和删除标签。 添加标签 在“未标注”页签下,单击“标签集”右侧的加号,在弹出“新增标签”对话框中,设置“标签名称”和“标签颜色”,然后单击“确定”完成标签添加。 修改标签 在“已标注”页签中“全部标签”的下方操作列,选择需要修改的标签,单击操作列的编辑图标,在弹出“修改标签”对话框中,修改“标签名称”或“标签颜色”,然后单击“确定”完成标签修改。 删除标签 在“已标注”页签中“全部标签”的下方,选择需要删除的标签,单击操作列的删除图标,在弹出“删除”对话框中,选择“仅删除标签”或“删除标签及仅包含此标签的标注对象”,然后单击“确定”完成标签删除。 所有的删除操作均不可恢复,请谨慎操作。
  • 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择自动学习,进入自动学习总览页面。 在自动学习列表上方的搜索框中,根据您需要的属性类型,例如,名称、状态、项目类型、当前节点、标签等,过滤出相应的工作流。 单击搜索框右侧的按钮,可选择自动学习的基础设置,需要的显示列。 表格内容折行:默认为关闭状态,启用此能力可让表格内容自动折行,禁用此功能可截断文本。 操作列:默认为关闭状态,启用此能力可让操作列固定在最后一列永久可见。 自定义显示列:默认所有显示项全部勾选,您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序,单击表头中的箭头,就可对该列进行排序。
  • 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“自动学习”,进入新版自动学习页面。 在您需要的自动学习项目列表中,单击“创建项目”,进入创建自动学习项目界面。 在创建自动学习项目页面,参考表1填写相应参数。 表1 参数说明 参数 说明 “名称” 项目的名称。 名称只能包含数字、字母、下划线和中划线,长度不能超过64位且不能为空。 名称请以字母开头。 名称不允许重复。 “描述” 对项目的简要描述。 “数据集” 可在右侧下拉框选择已有数据集,或单击“创建数据集”前往新建数据集。 已有数据集:在“数据集”右侧的下拉框中选择,仅展示同类型的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体可参考如何创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。 说明: 只有北京四区域支持限时免费规格。 若您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,图像分类项目创建成功后页面自动跳转到“自动学习工作流”。 图像分类项目的工作流,将依次运行如下节点: 数据标注:对您的数据标注情况进行确认。 数据集版本发布:将已完成标注的数据进行版本发布。 数据校验:对您的数据集的数据进行校验,是否存在数据异常。 图像分类:将发布好的数据集版本进行训练,生成对应的模型。 模型注册:将训练后的结果注册到模型管理中。 服务部署:将生成的模型部署为在线服务。
  • 操作步骤 在新版自动学习页面,单击项目名称进入运行总览页面,单击“数据标注”节点的“实例详情”进入数据标注页面,完成数据标注。 图1 完成数据标注 返回新版自动学习页面,单击数据标注节点的“继续运行”,然后等待工作流按顺序进入训练节点。 模型将会自动进入训练,无需人工介入,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 在“物体检测”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以单击物体检测节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次,每次训练会注册一个新的AI应用一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 服务测试 您可以在“部署上线”页面,选择对应的服务类型,例如自动学习预测分析项目默认将服务部署为在线服务,进入“在线服务”页面,单击目标服务“操作”列的“预测”,进行服务测试,测试方法和下方陈述操作步骤一致。具体操作请参见测试服务。 您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务、访问边缘服务。 下面的测试,是您在自动学习预测分析项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后,您可输入代码进行测试。在“自动学习”页面,选择目标项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”的“代码”区域,输入调试代码。 单击“预测”进行测试,预测完成后,右侧“返回结果”区域输出测试结果。如模型准确率不满足预期,可在“数据标注”页签,重新进行模型训练及部署上线。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务,操作指导请参见“访问在线服务”。 输入代码:attr_1~attr_4为输入的预测数据,其中在“数据标注”中,选择的标注列为attr_5,即attr_5为需要预测的目标列,输入数据中不再需要填写。 1 2 3 4 5 6 7 8 9 10 { "data": { "req_data": [{ "attr_1": 5.1, "attr_2": 3.5, "attr_3": 1.4, "attr_4": 0.2 }] } } 返回结果如图3所示:predict为目标列attr_5的预测结果。 图3 预测结果 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。
  • 部署上线 部署上线操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“模型训练”页签中,待训练状态变为“运行成功”,单击版本管理区域中的“部署”。 图1 部署操作 在弹出的“部署”对话框中,选择部署上线使用的“资源规格”,然后单击“确定”开始将模型部署上线为在线服务。 “计算节点规格”:选择计算资源,以控制台实际提供的规格为准。 “计算节点个数”:默认为1,且不能修改。 “是否自动停止”:启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 图2 部署上线 启动部署上线后,可以在“部署上线”界面查看模型部署上线的状态。 部署上线将耗费较多时间,请您耐心等待。当“部署上线”页签版本管理区域的状态由“部署中”变更为“运行中”,部署完成。 在自动学习界面中,仅支持将训练后的模型部署为在线服务,如果需要部署为“批量服务”或“边缘服务”,请参见自动学习生成的模型,存储在哪里?支持哪些其他操作?。
  • 图片标注 在“数据标注”页面单击“未标注”页签,此页面展示所有未标注的图片数据。依次单击选中待标注的图片,或勾选“选择当前页”选中该页面所有图片,在页面右侧进行图片标注。 图1 图片标注 选中图片后,在页面右侧“添加标签”,输入“标签名”或从下拉列表中选择已添加的标签。单击“确定”,完成选中图片的标注操作。例如,您可以选择多张图片,按照花朵种类将图片标注为“tulips”。同样选择其他未标注分类图片,将其标注为“sunflowers”、“roses”等。标注完成后,图片将存储至“已标注”页签下。 图片标注支持多标签,即一张图片可添加多个标签。 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 图2 图像分类图片标注 当图片目录中所有图片都完成标注后,您可以在“已标注”页签下查看已完成标注的图片,或者通过右侧的“全部标签”列表,了解当前已完成的标签名称和标签数量。
  • 修改标注 当数据完成标注后,您还可以进入已标注页签,对已标注的数据进行修改。 基于图片修改 在数据标注页面,单击“已标注”页签,然后在图片列表中选中待修改的图片(选择一个或多个)。在右侧标签信息区域中对图片信息进行修改。 添加标签:在“标签名”右侧文本框中,选择已有标签或输入新的标签名,然后单击“确定”,为选中图片增加标签。 修改标签:在“选中文件标签”区域中,单击操作列的编辑图标,然后在文本框中输入正确的标签名,然后单击图标完成修改。 图5 编辑标签 删除标签:在“选中文件标签”区域中,单击操作列的删除该标签。 基于标签修改 在数据标注页面,单击“已标注”页签,在图片列表右侧,显示全部标签的信息。 图6 全部标签的信息 修改标签:单击操作列的编辑按钮,然后在弹出的对话框中输入修改后的标签名,然后单击“确定”完成修改。修改后,之前添加了此标签的图片,都将被标注为新的标签名称。 删除标签:单击操作列的删除按钮,在弹出的对话框中,选择“仅删除标签”、“删除标签及仅包含此标签的图片(不删除源文件)”或“删除标签及仅包含此标签的图片(同时删除源文件)”,然后单击“确定”。 图7 删除标签
  • 处理方法 将pretrained改成false,提前下载好预训练模型,加载下载好的预训练模型位置即可,可参考如下代码。 import torch import torchvision.models as models model1 = models.resnet34(pretrained=False, progress=True) checkpoint = '/xxx/resnet34-333f7ec4.pth' state_dict = torch.load(checkpoint) model1.load_state_dict(state_dict) 必现的问题,使用本地Pycharm远程连接Notebook调试。
  • 处理方法 如果是限流问题,日志中还会有如下错误,OBS相关的错误码解释请参见OBS官方文档,这种情况建议提工单。 图2 错误日志 如果是client数太多,尤其对于5G以上文件,OBS接口不支持直接调用,需要分多个线程分段拷贝,目前OBS侧服务端超时时间是30S,可以通过如下设置减少进程数。 # 设置进程数 os.environ['MOX_FILE_LARGE_FILE_TASK_NUM']=1 import moxing as mox # 拷贝文件 mox.file.copy_parallel(src_url=your_src_dir, dst_url=your_target_dir, threads=0, is_processing=False) 创建训练作业时,可通过环境变量“MOX_FILE_PARTIAL_MAXIMUM_SIZE”设置用户需要分段下载的大文件阈值(单位为Bytes),超过该阈值的文件将使用并发下载模式进行分段下载。
  • 原因分析 出现该问题的可能原因如下: 程序运行过程中,产生了core文件,core文件占满了"/"根目录空间。 本地数据、文件保存将"/cache"目录3.5T空间用完了。 云上训练磁盘空间一般指如下两个目录的磁盘空间: “/”根目录,是docker中配置项“base size”,默认是10G,云上统一改为50G。 “/cache”目录满了,一般是3.5T存储空间满了,具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小。
共100000条