检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集复制有两种方式,推荐使用OBS路径复制。 OBS路径(推荐) 直接使用moxing的copy_parallel接口,复制对应的OBS路径。
单节点功能,如训练、推理等在ModelArts相应服务中调试通过。 根据节点功能选择相应的代码模板,进行内容的补充。 根据DAG结构编排节点,完成Workflow的编写。
报错404 如果是IAM用户在创建实例时出现此错误,表示此IAM用户不具备对应存储位置(OBS桶)的操作权限。 解决方法: 使用账号登录OBS,并将对应OBS桶的访问权限授予该IAM用户。详细操作指导请参见:被授权用户。
自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts上训练,请参考使用自定义镜像训练模型。由于自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置引擎无法满足需求,否则不推荐使用。
可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String 数据集的版本。
模型调试 训练完成后,可先在开发环境Notebook中创建本地模型,在开发环境Notebook调试完成后再部署到推理服务上。 只支持使用ModelArts Notebook部署本地服务。 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。
命令复制OBS数据 父主题: 使用Notebook进行AI开发调试
None 服务介绍 产品介绍 03:41 了解什么是云搜索服务 特性讲解 向量数据库 04:58 了解什么是CSS向量数据库 Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力 操作指导 如何上传数据至OBS 01:29 介绍将文件上传到
ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等。
镜像启动时会自动拉起服务的场景。
image_url String 训练作业选择的自定义镜像地址,地址从swr服务获取。 格式:组织名/镜像名:版本号 。 install_sys_packages Boolean 是否需要安装训练平台指定的 moxing 版本。true为需要。
快速配置ModelArts委托授权 创建OBS桶(可选) 创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能,使用Modelarts Standard进行AI开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。
如果type为“obs”类型,该值必须填写,该值需为有效的OBS桶路径,且以“/”结束。不能指定为OBS桶的根目录,需指定为OBS桶下的具体目录。 如果type为“obsfs”类型,该值需为有效的OBS并行文件系统的桶名(当前CCE不支持挂载子目录)。
用户在使用数据管理的过程中,ModelArts需要访问用户的OBS等依赖服务,需要用户进行在“权限管理”页面中进行委托授权。具体操作参考使用委托授权(推荐)。 创建数据集 本示例使用OBS中的数据作为数据集的输入目录创建数据集。
可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String 数据集的版本。
可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type 否 String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id 否 String 数据集的版本。
在作业详情页可以获取“作业日志路径”,单击OBS地址可以直接跳转到OBS控制台查看日志。 图3 日志存放路径 您可以通过ma-pre-start脚本修改默认环境变量配置。
如果type为“obs”类型,该值必须填写,该值需为有效的OBS桶路径,且以“/”结束。不能指定为OBS桶的根目录,需指定为OBS桶下的具体目录。 如果type为“obsfs”类型,该值需为有效的OBS并行文件系统的桶名(当前CCE不支持挂载子目录)。
FAQ 异常 用户xxx没有OBS的obs:object:PutObjectAcl权限。
主机侧资源信息:指在主机(Host)侧运行的AI应用或服务所使用的资源统计信息。 NPU网口资源信息:指在主机(Host)侧运行的AI应用或服务所使用的资源统计信息。