AI开发平台MODELARTS-创建数据集:加载数据集

时间：2024-05-11 08:28:52

加载数据集

from modelarts.algo_kits import DetDataBlock
"""
加载coco格式数据集，并指定训练集和验证集文件路径，类别数和类别信息默认会自动读取。
"""
db = DetDataBlock(env,
                  batch_size=8,
                  data_root="./data/raw/coco2017_sample",
                  num_classes=80,
                  train_img_prefix="val2017", 
                  train_ann_file="annotations/instances_val2017.json",
                  val_img_prefix="val2017", 
                  val_ann_file="annotations/instances_val2017.json",
                  model_name="mmdetection:fcos/fcos_r50_caffe_fpn_gn-head_1x_coco"
                  )

表1 DetDataBlock参数说明
参数名称	可选/必选	参数类型	参数描述
env	必选	EnvManager Object	上下文管理对象，初始化方法请参考算法工程环境管理。
batch_size	可选	int	批处理大小，默认为8。
workers	可选	int	数据加载进程数，默认为4。
data_type	可选	string	数据集类型，目前只支持“coco”，其他数据集格式可以通过COCOConverter进行转换。
data_root	必选	string	数据集路径。
seed	可选	int	随机数种子。
num_classes	可选	int	类别数，默认会从标注信息中读取。
categories	可选	list / tuple / string	类别信息，默认会从标注信息中读取，如果指定类别信息，则只加载对应类别的数据。
train_img_prefix	必选	string	训练集图片的相对路径（相对于data_root）。
train_ann_file	必选	string	训练集标注文件的相对路径（相对于data_root）。
val_img_prefix	可选	string	验证集图片的相对路径（相对于data_root），默认不加载验证集信息。
val_ann_file	可选	string	验证集标注文件的相对路径（相对于data_root），默认不加载验证集信息。
test_img_prefix	可选	string	测试集图片的相对路径（相对于data_root），默认不加载测试集信息。
test_ann_file	可选	string	测试集标注文件的相对路径（相对于data_root），默认不加载测试集信息。
model_name	必选	string	模型名称。