检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
012f99f3cf405860130b6ed2350c2228", "sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com
若您有更高的安全需求,推荐使用OBS桶作为数据存储介质,并为不同OBS桶配置安全策略。 在“网络管理”页面,单击网络管理列表中某个网络操作列的“更多 > 关联SFS Turbo”。 在“关联SFS Turbo”弹窗中,选择SFS Turbo。可选择多个SFS Turbo。
total_sample_count" : 10, "annotated_sample_count" : 10, "total_sub_sample_count" : 0, "annotated_sub_sample_count" : 0, "manifest_path" : "/test-obs
但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。 父主题: 通过团队标注方式标注数据
src_path 否 String batch服务类型必选。批量任务输入数据的OBS路径。 req_uri 否 String batch服务类型必选。
部署类型 模型支持部署的服务类型。 元模型来源 显示元模型的来源,主要有从训练中选择、从对象存储服务(OBS)中选择、从容器镜像中选择。不同来源的元模型,模型显示的参数会不同。
当自定义镜像更新以后需要同步更新的镜像版本号或者使用该镜像创建AI应用的时候打开镜像复制,否则会存在使用新创建的AI应用部署在线服务时使用的还是旧版本镜像的情况。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。
图2 上传至model目录 创建模型,源模型来源选择“从对象存储服务(OBS)中选择”,元模型选择至model目录,AI引擎选择Custom,引擎包选择步骤3构建的镜像。
适用于Standard开发环境,模型训练,服务部署,请参考下表。 镜像的URL、包含的依赖项等详细信息请参考ModelArts统一镜像列表。
可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps 否 Array of SchemaMap objects 表格数据对应的schema映射信息。
ModelArts在任务执行过程中需要访问用户的其他服务,典型的就是训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。
- name: OPEN_SCRIPT_ADDRESS # 开放脚本地址,其中region-id根据实际region修改,例如cn-southwest-2 value: "https://mtest-bucket.obs
}, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": {
/path)/to/log') 解决方案3 存储路径设为本地路径,如cache/tensorboard,不要使用OBS路径。 问题现象4 使用pytorch中的dataloader读数据时,作业卡在读数据过程中,日志停在训练的过程中并不再更新日志。
/path)/to/log') 解决方案3 存储路径设为本地路径,如cache/tensorboard,不要使用OBS路径。 问题现象4 使用pytorch中的dataloader读数据时,作业卡在读数据过程中,日志停在训练的过程中并不再更新日志。
data.items(): infer_output["mnist_result"] = result[0].index(max(result[0])) return infer_output 请求 curl -X POST \ 在线服务地址
上述代码如果使用cifar10数据集,则将数据集下载并解压后,上传至OBS桶中,文件目录结构如下: DDP |--- main.py |--- input_dir |------ cifar-10-batches-py |-------- data_batch_1 |-------
本地Linux机器的操作等同ECS服务器上的操作,请参考本案例。 登录ECS控制台,购买弹性云服务器,镜像选择“公共镜像”,推荐使用ubuntu18.04的镜像;系统盘设置为100GiB。具体操作请参考购买并登录弹性云服务器。
表9 RemoteConstraint 参数 是否必选 参数类型 描述 data_type 否 String 数据输入类型,支持数据存储位置(OBS)、ModelArts数据集两种方式。
sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。