通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 quotas 是 Array of quotas objects 工作空间配额数据。
日志提示"write line error" 问题现象 在程序运行过程中,刷出大量错误日志“[ModelArts Service Log]modelarts-pipe: write line error”。并且问题是必现问题,每次运行到同一地方的时候,出现错误。 原因分析 出现该问题的可能原因如下
启动/停止/删除实例 启动/停止实例 由于运行中的Notebook将一直耗费资源,您可以通过停止操作,停止资源消耗。对于停止状态的Notebook,可通过启动操作重新使用Notebook。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入
表9 RemoteConstraint 参数 是否必选 参数类型 描述 data_type 否 String 参数解释:数据输入类型,支持数据存储位置(OBS)、ModelArts数据集两种方式。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。
设置断点续训练 什么是断点续训练 断点续训练是指因为某些原因(例如容错重启、资源抢占、作业卡死等)导致训练作业还未完成就被中断,下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkpoint
Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebook预置镜像或第三方镜像,在服务器上配置docker环境,编写Dockerfile后构建镜像并注册,具体案例参考在ECS上构建自定义镜像并在Notebook
集群弹性引擎 插件简介 集群弹性引擎是一个对集群中ModelArts资源池进行进行弹性伸缩的插件。 集群弹性引擎可以根据用户配置的规则对各节点池进行扩容或者缩容。 约束与限制 集群弹性引擎支持对集群中按需计费和包周期的Lite Cluster资源池节点进行扩容和缩容。 资源规格售罄和底层容量不足会导致扩容失败
在ModelArts中公共资源池和专属资源池的区别是什么? 专属资源池:专属资源池不与其他用户共享,资源更可控。在使用专属资源池之前,您需要先创建一个专属资源池,然后在AI开发过程中选择此专属资源池。 公共资源池:公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离
复制生成的Token到编译构建服务即可。 Token生成后,请及时保存,下次刷新页面将无法读取,需要重新生成新Token。 注意填写有效的Token描述信息,避免误删除导致构建失败。 无需使用时及时删除Token,避免信息泄露。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 grants Array of grants objects 授权用户列表。默认为空。
docker save -o <tar文件名>.tar <镜像名称>:<标签> 示例: docker save -o my_image_v1.tar my_image:v1 将镜像上传至容器镜像服务SWR,用于后续训练作业。
如果用户使用的访问机器和华为云ModelArts服务的网络有隔离,则访问机器的外网地址需要在主流搜索引擎中搜索“IP地址查询”获取,而不是使用ipconfig或ifconfig/ip命令在本地查询。 图3 查询外网IP地址 父主题: 管理Notebook实例
取值范围:可选值如下: train:训练作业 infer:推理服务 notebook:Notebook作业 x-infer:新版推理作业 默认取值:不涉及。 status 否 String 参数解释:根据作业状态查询资源池作业列表。 约束限制:不涉及。
管理标注作业 查看标注作业 在ModelArts数据标注页面可查看用户自己创建的标注作业。 登录ModelArts控制台,在左侧菜单栏选择“数据准备>数据标注”,进入数据标注页面。 在“我创建的”页签,可查看自己创建的标注作业。用户可查看自己创建的标注作业的相关信息。 图1 我创建的
sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。
WORKFORCE_SAMPLED_CHECKED__:采样已验收 __WORKFORCE_SAMPLED_ACCEPTED__:采样已通过 __WORKFORCE_SAMPLED_REJECTED__:采样已驳回 __AUTO_ANNOTATION__:待确认 sample_time Long 样本时间,OBS
sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。
强制重部署会在节点重部署完成后进行节点重置,会导致服务器的本地盘数据和云盘数据全部丢失,请谨慎操作。
注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image register命令来注册镜像。
Standard资源管理 在使用ModelArts进行AI开发时,您可以选择使用如下两种资源池: 专属资源池:专属资源池提供独享的计算资源,不与其他用户共享,资源更可控。使用ModelArts Standard开发平台的训练作业、部署模型以及开发环境时,可以使用Standard专属资源池的计算资源