使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例(默认页面) 创建Notebook实例(新版页面) 管理Notebook实例 通过JupyterLab在线使用Notebook实例 通过PyCharm远程使用Notebook实例 通过VS Code
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建算法 创建生产训练作业 创建生产训练作业(新版页面) 分布式模型训练 训练作业动态路由加速 增量模型训练 自动模型优化(AutoSearch) 模型训练高可靠性 超节点亲和组实例数配置
使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业
制作自定义镜像用于ModelArts Standard 自定义镜像使用场景 ModelArts支持的预置镜像列表 制作自定义镜像用于创建Notebook 制作自定义镜像用于训练模型 制作自定义镜像用于推理
但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。 父主题: 通过团队标注方式标注数据
历史SDK包常见的报错如下 服务部署节点运行报错 输入服务相关的参数后,执行报错如下: 解决方案 以上两种常见报错均可通过升级最新的SDK包解决。 父主题: Standard Workflow
按需计费 规格单价 * 计算节点个数 * 使用时长 包年/包月 规格单价 * 计算节点个数 * 购买时长 计费示例 以下案例中出现的资源规格和费用价格仅供参考,实际价格请参见各服务价格详情。 示例:使用按需计费的专属资源池。
前提条件 已拥有需要部署SNAT的弹性云服务器。 待部署SNAT的弹性云服务器操作系统为Linux操作系统。 待部署SNAT的弹性云服务器网卡已配置为单网卡。
此处的标签信息可以同源标签管理服务TMS中预定义的标签信息,也可以输入自定义标签。也可以在创建完成后的Standard资源池详情页面中通过“标签”页签设置标签信息。 TMS预定义标签对所有支持标签功能的服务资源可见。自定义标签只对自己服务可见。 网段 可选默认和自定义。
Manifest管理概述 在ModelArts使用过程中,需要做数据标注、模型训练、推理、数据集管理、市场发布等业务,这些业务都基于数据集进行的。为了规范对数据集的使用,适配各个使用场景,同时兼顾数据集管理的灵活性,本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
代码目录(可选) 选择训练代码文件所在的OBS目录。 动态路由加速通过改变rank编号来优化网络通信,因此代码中对rank的使用必须统一,避免因rank编号不一致导致通信异常。 启动命令 输入镜像的Python启动命令。
添加所有者:在同一窗口中,单击“添加”,在弹出的新窗口中,单击“主体”后面的“选择主体”,弹出“选择用户,计算机,服务账户或组”窗口,单击“高级”,输入用户名, 单击“立即查找”按钮,显示用户搜索结果列表。 选择您的用户账户,然后单击“确定”(大约四个窗口)以关闭所有窗口。
可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps 否 Array of SchemaMap objects 表格数据对应的schema映射信息。
可选值如下: asc:递增排序 desc:递减排序(默认值) process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。
配置完成后,子用户将被授予访问ModelArts资源的权限,从而能够正常使用训练管理、开发环境、数据管理、在线服务等功能。若管理员无权限操作或子用户不存在,接口将返回相应的错误信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
基本原理 kubectl通过kubeconfig配置文件获取集群信息,从而与Kubernetes集群的API服务器进行通信。kubeconfig文件是kubectl访问Kubernetes集群的身份凭证,包含API Server地址、用户认证凭据和等配置信息。
选择私有镜像创建,可以节省您重复配置服务器的时间。 表4 存储配置参数说明 参数名称 说明 节点系统盘类型 系统盘和规格有关,选择支持挂载的实例规格才会显示此参数。 节点系统盘用于存储服务器的操作系统,创建Lite Server时自带系统盘,且系统盘自动初始化。
解决方案 打开Terminal窗口,执行以下命令启动kernelgateway服务。