AI开发平台MODELARTS-自定义模型规范:自定义模型规范(训练)

时间:2024-04-11 20:22:53

自定义模型规范(训练)

当托管自定义模型到AI Gallery时,如果模型要支持AI Gallery的模型微调,则需要在“模型文件”添加gallery_train文件夹,文件夹内容参考表1

  • gallery_train文件夹必须是一级目录直接上传,否则会被判定不符合自定义模型规范,无法使用模型微调。
  • 如果自定义模型的模型文件不符合gallery_train文件列表要求或文件内容为空,都将不能正常进行模型微调。
表1 gallery_train文件列表

文件类型

文件说明

“train.py”

必选文件,训练脚本文件,定义了自定义模型的训练处理方式。代码示例请参见train.py示例

如果训练脚本里使用了其他脚本文件,则必须一起打包在gallery_train文件夹里上传,否则会导致微调失败。

“train_params.json”

必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例

“dataset_readme.md”

必选文件,数据集要求说明,定义了模型训练时对数据集的要求,会显示在微调工作流的“准备数据”页面。

“requirements.txt”

非必选文件,环境配置文件,定义了项目依赖的python包。AI Gallery提供了基础镜像的依赖环境,如果要添加自定义依赖项,可通过requirements.txt文件实现。基础镜像包含python、PyTorch、cuda(GPU)、CANN(NPU)。

support.huaweicloud.com/aimarket-modelarts/ma_gallery_0055.html