AI开发平台MODELARTS-评估训练结果:拷贝数据集到本地
拷贝数据集到本地
拷贝数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据拷贝到本地再进行操作。
数据集拷贝有两种方式,推荐使用OBS路径进行处理拷贝。
- OBS路径(推荐)
- ModelArts数据管理中的数据集(即manifest文件格式)
使用moxing的copy_manifest接口将文件拷贝到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。
ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。
- ModelArts分布式训练_分布式训练介绍_分布式调测
- ModelArts模型训练_模型训练简介_如何训练模型
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts模型训练_创建训练作业_如何创建训练作业
- TMS开发_金蝶TMS系统_TMS技术系统_信息化管理_视频
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts推理部署_模型_AI应用来源-华为云
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts模型训练_超参搜索简介_超参搜索算法
- ModelArts推理部署_创建AI应用_自定义镜像规范-华为云