在弹出的对话框中,根据实际情况选择是否勾选“同时删除OBS源文件”,确认信息无误后,单击“确定”完成图片删除操作。 其中,被选中的图片,其左上角将显示为勾选状态。如果当前页面无选中图片时,按钮为灰色,无法执行删除操作。 图1 删除数据集图片 父主题: Standard数据准备
ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务(OBS)中的元模型和容器镜像中的元模型,可对所有迭代和调试的模型进行统一管理。 约束与限制 创建模型、管理模型版本等功能目前是免费开放给所有用户,使用此功能不会产生费用。
自定义脚本代码示例 从OBS中导入模型文件创建模型时,模型文件包需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例(包含推理代码示例)。
将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略,授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题: Standard模型训练
问题描述 从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。
操作场景 从模型广场中选择一个模型进行部署,当模型部署完后会显示在“我的服务”列表中。 计费说明 在MaaS进行模型推理时,会产生计算资源和存储资源等费用。计算资源为运行模型服务的费用。存储资源包括数据存储到OBS的计费。使用消息通知服务会产生相关服务费用。
Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。
模型包结构介绍 创建模型时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。 模型包规范适用于单模型场景,如果是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。
创建一个空数据集C,即无任何输出,其输入位置选择一个空的OBS文件夹。 在数据集C中,执行导入数据操作,将数据集A和数据集B的Manifest文件导入。 导入完成后,即将数据集A和数据集B的数据分别都合并至数据集C中。如需使用合并后的数据集,再针对数据集C执行发布操作即可。
17 JOBSTAT_DEPLOY_SERVICE_FAILED,部署服务失败。 18 JOBSTAT_CHECK_INIT,审核作业初始化。 19 JOBSTAT_CHECK_RUNNING,审核作业正在运行中。
bucket:HeadBucket obs:bucket:ListBucket obs:object:PutObject obs:object:PutObject obs:bucket:ListAllMyBuckets obs:bucket:PutBucketAcl obs:bucket
使用案例 在华为云MRS服务下查看自己账号下可用的MRS集群,如果没有,则需要创建,当前需要集群有Spark组件,安装时,注意勾选上。 您可以使用MrsStep来创建作业类型节点。定义MrsStep示例如下。
object:GetObjectAcl obs:object:PutObjectAcl obs:object:PutObject obs:object:GetObject obs:object:DeleteObject obs:object:ModifyObjectMetaData
400 ModelArts.1002 OBS operation failed. 操作对象存储服务(OBS)失败。 请确认对象存储服务(OBS)是否可用。
object:PutObjectAcl obs:bucket:ListBucket obs:bucket:HeadBucket obs:object:GetObject obs:object:PutObject √ √ 查询模型列表 GET /v1/{project_id}/models
对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step_1 = wf.steps.JobStep
示例:存储费用 假设用户于2023年4月1日10:00:00创建了一个数据集,数据是存储在OBS中的。按照存储费用结算,那么数据存储到OBS的费用计算如下: 存储费用:数据管理模块的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。
当前该能力适用于数据集创建节点、数据集标注节点、数据集导入节点、数据集版本发布节点、作业类型节点、模型注册节点以及服务部署节点。
是 数据集、OBS或标注任务相关对象,当前仅支持Dataset,DatasetConsumption,DatasetPlaceholder,OBSPath,OBSConsumption,OBSPlaceholder,LabelTask,LabelTaskPlaceholder,LabelTaskConsumption
表2 TrainingFiles初始化参数说明 参数 是否必选 类型 描述 code_dir 是 String 训练作业的代码目录,是一个OBS路径,需要以"obs:/"开头,如"obs://xx/yy/"。