AI开发平台MODELARTS-评估训练结果:拷贝数据集到本地

时间:2024-01-04 11:05:15

拷贝数据集到本地

拷贝数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据拷贝到本地再进行操作。

数据集拷贝有两种方式,推荐使用OBS路径进行处理拷贝。

  • OBS路径(推荐)

    直接使用moxing的copy_parallel接口,拷贝对应的OBS路径。

  • ModelArts数据管理中的数据集(即manifest文件格式)

    使用moxing的copy_manifest接口将文件拷贝到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。

ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。

support.huaweicloud.com/develop-modelarts/develop-modelarts-0016.html