AI开发平台MODELARTS-上传数据和算法至SFS（首次使用时需要）:准备数据类似

时间：2024-04-30 18:09:29

AI开发平台MODELARTS

登录coco数据集下载官网地址：https://cocodataset.org/#download
下载coco2017数据集的Train（18GB）、Val images（1GB）、Train/Val annotations（241MB），分别解压后并放入coco文件夹中。
下载完成后，将数据上传至SFS相应目录中。由于数据集过大，推荐先通过obsutil工具将数据集传到OBS桶后，再将数据集迁移至SFS。
1. 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。
```
# 将本地数据传至OBS中
# ./obsutil cp ${数据集所在的本地文件夹路径} ${存放数据集的obs文件夹路径} -f -r
# 例如
./obsutil cp ./coco obs://your_bucket/ -f -r
```
2. 登录E CS 服务器，通过obsutil工具将数据集迁移至SFS，样例代码如下：
```
# 将OBS数据传至SFS中
# ./obsutil cp ${数据集所在的obs文件夹路径} ${SFS文件夹路径} -f -r
# 例如
./obsutil cp obs://your_bucket/coco/ /mnt/sfs_turbo/ -f -r
```
  /mnt/sfs_turbo/coco文件夹内目录结构如下：
```
coco
|---annotations
|---train2017
|---val2017
```
  更多obsutil的操作，可参考obsutil简介。
3. 将文件设置归属为ma-user：
```
chown -R ma-user:ma-group coco
```