AI开发平台ModelArts-路径适配说明

时间:2023-11-01 16:25:50

路径适配说明

ModelArts训练平台实现是通过K8S任务的方式来完成训练执行,在启动一个训练作业时,训练作业需要感知资源使用的规格,用什么样的容器镜像,代码从哪下载到容器本地,启动脚本是那个,训练数据从哪加载到容器进行运行,训练过程中以及最终输出的结果如何获取。

适配点的核心概念

  • TrainingFiles : 训练代码从OBS进行下载到训练容器中的路径映射,以及启动脚本的指定。文件会自动下载。
  • InputData :数据从OBS路径和作业容器中下载路径的映射,作业启动时文件会自动下载,具体路径会以参数的形式传入给执行脚本,例如 “--data_dir=/home/ma-user/modelarts/data”。可支持多个输入。
  • OutputData :训练作业输出目录和要转储的位置路径映射,训练容器中的指定目录会定期和转储的位置进行增量同步。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0146.html