AI开发平台MODELARTS-自定义模型规范:自定义模型规范（推理）

时间：2024-04-11 20:22:53

AI开发平台MODELARTS AI Gallery（新版）

当托管自定义模型到AI Gallery时，如果模型要支持AI Gallery的推理服务，则需要在“模型文件”添加gallery_inference文件夹，文件夹内容参考表2。

表2 gallery_inference文件列表
文件类型	文件说明
“inference.py”	必选文件，推理脚本文件，定义了自定义模型的推理处理方式，包含初始化推理（init）和输入输出（call函数）。代码示例请参见inference.py示例。如果推理脚本里使用了其他脚本文件，则必须一起打包在gallery_inference文件夹里上传，否则会导致推理失败。
“requirements.txt”	非必选文件，环境配置文件，定义了项目依赖的python包。AI Gallery提供了基础镜像的依赖环境，如果要添加自定义依赖项，可通过requirements.txt文件实现。基础镜像包含python、PyTorch、cuda（GPU）、CANN（NPU）。