华为云首页用户手册

企业级AI应用开发专业套件 ModelArts Pro-准备数据:数据集要求

企业级AI应用开发专业套件 ModelArts Pro-准备数据:数据集要求

时间：2023-11-01 16:18:44

企业级AI应用开发专业套件 ModelArts Pro

数据集要求

文件名规范，不能有中文，不能含有空格、制表符及除中划线下划线外的特殊符号。
保证图片质量：不能有损坏的图片；目前支持的格式包括JPG、JPEG、PNG、BMP。
不要把明显不同的多个任务数据放在同一个数据集内。
为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。
每一类数据尽量多，尽量均衡。每个分类标签需要准备20个数据以上，为了训练出效果较好的模型，建议每个分类标签准备200个以上的数据。

针对未标注数据，要求将图片放在一个目录里，示例如下所示。
```
├─dataset-import-example │      IMG_20180919_114732.jpg │      IMG_20180919_114745.jpg │      IMG_20180919_114945.jpg 
```
- 如果导入位置为OBS，用户需具备此OBS路径的读取权限。
- 只支持JPG、JPEG、PNG、BMP格式的图片。

针对已标注数据，通用图像分类工作流仅支持一张图片识别单个标签，支持如下两种数据格式。
- 相同标签的图片放在一个目录里，并且目录名字即为标签名。当存在多层目录时，则以最后一层目录为标签名。
  示例如下所示，其中“snow”和“rainy”分别为标签名。
```
dataset-import-example ├─snow │      10.jpg │      11.jpg │      12.jpg │ └─rainy         1.jpg         2.jpg         3.jpg
```
- 当目录下存在对应的txt文件时，以txt文件内容作为图像的标签，优先级高于第一种格式。
  示例如下所示，“import-dir-1”和“imort-dir-2”为导入子目录。
```
dataset-import-example ├─import-dir-1│      10.jpg│      10.txt    │      11.jpg │      11.txt│      12.jpg │      12.txt└─import-dir-2        1.jpg         1.txt        2.jpg         2.txt
```
  单标签的标签文件示例，如1.txt文件内容如下所示：
```
rainy
```
  只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB，且单次上传的图片总大小不能超过8MB。

上一篇：企业级AI应用开发专业套件 ModelArts Pro-评估模型:评估模型

下一篇：企业级AI应用开发专业套件 ModelArts Pro-评估模型:评估模型

企业级AI应用开发专业套件 ModelArts Pro-准备数据:数据集要求

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题