数据准备

AI人工智能三要素包括数据、算法和算力。数据的质量会影响模型的精度,大量高质量的数据更有可能训练出高精度AI模型。可参考数据准备与分析准备数据。

ModelArts数据准备全流程:


数据标注

模型训练过程中需要大量已标注的数据,因此在模型训练之前需要进行数据标注作业。ModelArts为用户提供了标注数据的能力:

  • 人工标注:对于不同类型(图片、音频、文本和视频)的数据,用户可以选择不同的标注类型。
  • 智能标注:智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。目前只有“图像分类”和“物体检测”类型的数据集支持智能标注功能。
  • 团队标注:ModelArts提供了团队标注功能,可以由多人组成一个标注团队,针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。

模型开发

数据准备完成后,可进行AI模型开发。AI模型开发的过程,称之为Modeling,一般包含两个阶段:开发阶段和实验阶段。两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码。模型开发部分过程可见下图。

  • 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。
  • 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。

ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。

请参考以下指导在ModelArts上训练模型:

1、您可以将训练数据导入至数据管理模块进行数据标注或者数据预处理,也支持将已标注的数据上传至OBS服务使用,请参考准备数据

2、训练模型的算法实现与指导请参考准备算法章节。

3、使用控制台创建训练作业请参考创建训练作业章节。使用订阅算法创建训练作业示例请参考使用AI Gallery订阅的算法构建模型。使用自定义算法构建模型示例请参考使用自定义算法在ModelArts上构建模型

4、关于训练作业日志、训练资源占用等详情请参考查看训练作业日志

5、停止或删除模型训练作业,请参考停止、重建或查找作业

6、模型超参自动调优指南,请参考自动模型优化(AutoSearch)

7、如果您在训练过程中遇到问题,文档中提供了部分故障案例供参考,请参考训练故障排查


推理部署

AI模型开发完成后,在ModelArts服务中可以将AI模型创建为AI应用,将AI应用快速部署为推理服务,您可以通过调用API的方式把AI推理能力集成到自己的IT平台。

1、开发模型:模型开发可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。制作模型包可参见模型包规范介绍

2、创建AI应用:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的AI应用。

3、部署服务:把AI应用在资源池中部署为容器实例,注册外部可访问的推理API。

4、推理:在您的应用中增加对推理API的调用,在业务流程中集成AI推理能力。


ModelArts操作指导

为什么需要云上AI开发

06:30

为什么需要云上AI开发

云上AI开发-调试代码

23:43

云上AI开发-调试代码

云上AI开发-运行训练作业

16:08

云上AI开发-运行训练作业