ModelArts使用自定义镜像快速迁移上云-这2种功能,你了解哪些?

时间:2021-04-19 20:41:55

ModelArts为用户提供了多种常见的预置引擎,但是当用户对深度学习引擎、开发库有特殊需求场景的时候,预置AI引擎可能不再满足用户需求。ModelArts底层采用容器技术,您可以自行制作容器镜像上传并在ModelArts上运行。自定义镜像支持自由文本形式的命令行参数和环境变量,灵活性高,便于支持任意计算引擎的作业启动需求。

当前自定义镜像功能支持2种场景:创建训练作业和导入模型。让我们看看如何在ModelArts中使用自定义镜像创建训练作业和导入模型吧!

关联服务介绍

使用自定义镜像功能可能涉及以下云服务:容器镜像服务、对象存储服务、弹性云服务器。

容器镜像服务(Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。ModelArts训练和导入模型使用的自定义镜像需要从SWR服务管理列表获取。您制作的自定义镜像需要上传至SWR服务。

对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。在创建训练作业和导入模型时往往存在数据交互,您需要的云上数据可以存储至OBS服务。

弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器在制作自定义镜像时,您可以在本地环境或者ECS上完成自定义镜像制作。

在您使用自定义镜像功能时,ModelArts可能需要访问您的容器镜像服务SWR、对象存储服务OBS等依赖服务,若没有授权,这些功能将不能正常使用。建议您使用委托授权功能,将依赖服务操作权限委托给ModelArts服务,让ModelArts以您的身份使用依赖服务,代替您进行一些资源操作。详细操作参见使用委托授权

使用自定义镜像创建训练作业

端到端样例可参考最佳实践-使用自定义镜像创建训练作业~

1.准备工作

    -完成访问授权的配置,详细操作参见使用委托授权

    -已在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。

2.制作自定义镜像,您可以使用ECS或者应用本地已有的主机进行自定义镜像的制作。

3.在制作镜像用时,需满足ModelArts定义的规范

4.ModelArts还提供基础镜像用于自定义镜像的制作。基础镜像中有一些必要的工具,帮助用户快速实现代码下载、训练日志输出、上传日志文件至OBS等功能。

5.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南

6.使用自定义镜像创建训练作业

使用自定义镜像导入模型

端到端示例请参考使用自定义镜像导入模型~

1.准备工作

    -完成访问授权的配置,详细操作参见使用委托授权

    -已在OBS服务中创建桶和文件夹,用于存放数据以及相关文件。

2.制作自定义镜像

    在制作镜像用时,需满足ModelArts定义的规范

3.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南

4.选择从容器镜像导入模型,可参考从容器镜像中选择元模型

infer.png

5.将模型部署为在线服务

 

 

 

AI开发平台ModelArts

ModelArts是面向开发者的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

按需/包周期付费可选,最低0.00元/小时

立即购买              进入控制台                            AI Gallery1对1咨询
[新品首发特惠]买GPU赠CPU,价格低至¥2.9/小时热门
 

模型部署||https://support.huaweicloud.com/productdesc-modelarts/modelarts_01_0015.html,YOLOv5(物体检测/Pytorch)||https://support.huaweicloud.com/aimarket-modelarts/modelarts_18_0049.html,智能标注||https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0212.html,成长地图||https://support.huaweicloud.com/modelarts/index.html,什么是ModelArts||https://support.huaweicloud.com/productdesc-modelarts/modelarts_01_0001.html

https://www.huaweicloud.com/product/modelarts.html

猜你喜欢