企业级AI应用开发专业套件 ModelArts Pro-准备数据:数据集要求

时间:2023-11-01 16:18:44

数据集要求

  • 文件名规范,不能有中文,不能有+、空格、制表符。
  • 保证图片质量,不能有损坏的图片。目前支持的格式包括JPG、JPEG、PNG、BMP。
  • 不要把明显不同的多个任务数据放在同一个数据集内。
  • 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。
  • 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。
  • 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。
  • 针对未标注数据,要求将图片放在一个目录里,示例如下所示。
    ├─dataset-import-example │      IMG_20180919_114732.jpg │      IMG_20180919_114745.jpg │      IMG_20180919_114945.jpg 
    • 如果导入位置为OBS,用户需具备此OBS路径的读取权限。
    • 只支持JPG、JPEG、PNG、BMP格式的图片。
  • 针对已标注数据,云状识别工作流仅支持一张图片识别单个标签,支持如下两种数据格式。
    • 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。

      示例如下所示,其中“cumulus”“stratus”分别为标签名。

      dataset-import-example ├─cumulus │      10.jpg │      11.jpg │      12.jpg │ └─stratus         1.jpg         2.jpg         3.jpg
    • 当目录下存在对应的txt文件时,以txt文件内容作为图像的标签,优先级高于第一种格式。

      示例如下所示,“import-dir-1”“imort-dir-2”为导入子目录。

      dataset-import-example ├─import-dir-1│      10.jpg│      10.txt    │      11.jpg │      11.txt│      12.jpg │      12.txt└─import-dir-2        1.jpg         1.txt        2.jpg         2.txt

      单标签的标签文件示例,如1.txt文件内容如下所示:

      stratus

      只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。

support.huaweicloud.com/usermanual-modelartspro/modelartspro_01_0112.html