验证OBS权限。 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。 在OBS管理控制台,单击右上角的“创建桶”,如果能正常打开页面,表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中,选择SWR服务,进入SWR管理控制台。
属性 描述 是否必填 数据类型 obs_path OBS路径 是 str,Storage 示例: example = OBSPath(obs_path = "**") # 通过对象存储服务,获取已存在的OBS路径值 表7 ServiceData 属性 描述 是否必填 数据类型 service_id
解析和设置输入路径参数、输出路径参数 运行在ModelArts Standard的训练作业会读取存储在OBS服务的数据,或者输出训练结果至OBS服务指定路径,输入和输出数据需要配置2个地方: 训练代码中需解析输入路径参数和输出路径参数。
MoXing包含很多组件,其中MoXing Framework模块是一个基础公共组件,可用于访问OBS服务,和具体的AI引擎解耦,在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
使用管理员账号登录控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入IAM服务。 图2 登录控制台 创建自定义策略1,赋予用户IAM和OBS服务权限。在统一身份认证服务控制台的左侧菜单栏中,选择“权限管理> 权限”。
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
检查报错的路径是否为OBS路径 使用ModelArts时,用户数据需要存放在自己OBS桶中,但是训练代码运行过程中不能使用OBS路径读取数据。 原因: 训练作业创建成功后,由于在运行容器直连OBS服务进行训练性能很差,系统会自动下载训练数据至运行容器的本地路径。
按需计费 规格单价 * 计算节点个数 * 使用时长 专属资源池 专属资源池的费用已在购买时支付,部署服务不再收费。 专属资源池的费用请参考专属资源池计费项。 - - 存储资源 对象存储OBS 用于存储批量部署服务的输入和输出数据。 具体费用可参见对象存储价格详情。
取值范围:枚举类型,取值如下: SFS:弹性文件服务 EVS:云硬盘 OBS:对象存储服务 OBSFS:并行文件系统 EFS:弹性文件服务(SFS Turbo) mount_path String 参数解释:存储挂载至Notebook实例的目录,当前固定在/home/ma-user
400 ModelArts.1002 OBS operation failed. 操作对象存储服务(OBS)失败。 请确认对象存储服务(OBS)是否可用。
图2 上传至model目录 创建模型,源模型来源选择“从对象存储服务(OBS)中选择”,元模型选择至model目录,AI引擎选择Custom,引擎包选择步骤3构建的镜像。
”,适用于访问自己名下的OBS数据;您可以访问OBS服务的对象获取路径。
Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。
Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。
Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。