-
响应示例 状态码:200 {
"count": 1,
"next": null,
"previous": null,
"results": [
{
"url": "/v2/54d37c8f25af42xxxxxf4ee9772687bf/sim/pm/algorithm-images/25/",
"id": 25,
"created_at": 1742373593.066916,
"updated_at": 1742373593.066938,
"version": "1",
"algorithm": "/v2/54d37c8f25af42xxxxxf4ee9772687bf/sim/pm/algorithms/30/"
}
]
}
-
响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 count Integer 数量信息 next String 下一页结果集资源地址 previous String 上一页结果集资源地址 results Array of AlgImageListSrlz objects 当前页结果集信息 表5 AlgImageListSrlz 参数 参数类型 描述 url String 算法镜像资源地址 id Integer 算法镜像ID created_at TimeStamp 创建时间 updated_at TimeStamp 更新时间 version String 镜像版本 algorithm String 算法资源地址
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,通过调用
IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 表3 Query参数 参数 是否必选 参数类型 描述 algorithm_id 否 Integer 算法ID version 否 String 镜像版本,需使用数字 limit 否 Integer 返回个数上限,最大值为100,默认值为10 offset 否 Integer 查询偏移量
-
Step5 在ModelArts上创建Notebook并调试 将上传到SWR上的镜像注册到ModelArts的镜像管理中。 登录ModelArts管理控制台,在左侧导航栏中选择“镜像管理 ”,单击“注册镜像”,根据界面提示注册镜像。注册后的镜像可以用于创建Notebook。 在Notebook中使用自定义镜像创建Notebook并调试,调试成功后,保存镜像。 在Notebook中使用自定义镜像创建Notebook操作请参见基于自定义镜像创建Notebook实例。 保存Notebook镜像操作请参见保存Notebook镜像环境。 已有的镜像调试成功后,再使用ModelArts训练模块训练作业。
-
训练mindspore-verification.py文件 mindspore-verification.py文件内容如下: import os
import numpy as np
from mindspore import Tensor
import mindspore.ops as ops
import mindspore.context as context
print('Ascend Envs')
print('------')
print('JOB_ID: ', os.environ['JOB_ID'])
print('RANK_TABLE_FILE: ', os.environ['RANK_TABLE_FILE'])
print('RANK_SIZE: ', os.environ['RANK_SIZE'])
print('ASCEND_DEVICE_ID: ', os.environ['ASCEND_DEVICE_ID'])
print('DEVICE_ID: ', os.environ['DEVICE_ID'])
print('RANK_ID: ', os.environ['RANK_ID'])
print('------')
context.set_context(device_target="Ascend")
x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(ops.add(x, y))
-
场景描述 目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用Ascend规格资源运行训练作业。 ubuntu-18.04 cann-8.0.0 (商用版本) python-3.7.13 mindspore-2.1.1 本教程以cann-8.0.0、mindspore-2.1.1为例介绍。 本示例仅用于示意Ascend容器镜像制作流程,且在匹配正确的Ascend驱动/固件版本的专属资源池上运行通过。
-
Step2 准备脚本文件并上传至OBS中 准备本案例所需训练脚本mindspore-verification.py文件和Ascend的启动脚本文件(共5个)。 训练脚本文件具体内容请参见训练mindspore-verification.py文件。 Ascend的启动脚本文件包括以下5个,具体脚本内容请参见Ascend的启动脚本文件。 run_ascend.py common.py rank_table.py manager.py fmk.py mindspore-verification.py和run_ascend.py脚本文件在创建训练作业时的“启动命令”参数中调用,具体请参见启动命令。 run_ascend.py脚本运行时会调用common.py、rank_table.py、manager.py、fmk.py脚本。 上传训练脚本mindspore-verification.py文件至OBS桶的“obs://test-modelarts/ascend/demo-code/”文件夹下。 上传Ascend的启动脚本文件(共5个)至OBS桶的“obs://test-modelarts/ascend/demo-code/run_ascend/”文件夹下。
-
Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。如下示例中,请创建命名为“test-modelarts”的桶,并创建如表1所示的文件夹。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 obs://test-modelarts/ascend/demo-code/ 用于存储Ascend训练脚本文件。 obs://test-modelarts/ascend/demo-code/run_ascend/ 用于存储Ascend训练脚本的启动脚本。 obs://test-modelarts/ascend/log/ 用于存储训练日志文件。
-
操作场景 您可以删除不需要的私有镜像。 删除私有镜像后,将无法找回,请谨慎操作。 删除私有镜像后,不能再使用该镜像创建云服务器或云硬盘。 删除私有镜像后,已使用该镜像创建的云服务器仍可正常使用,并会继续产生费用,但是无法重装操作系统,也不能创建相同配置的云服务器。 删除复制镜像的源镜像,对复制后的镜像没有影响;反之亦然。 删除正在制作的整机镜像可能会导致备份残留继续收费,如果不需要此备份,请在云备份或云服务器备份控制台进行删除。
-
前提条件 云服务器的状态为“运行中”。 需保证根目录可写入,且剩余空间大于300MB。 对于Linux弹性云服务器,selinux会影响重置密码插件运行。若开启了selinux,请参考关闭selinux禁用selinux。 使用SUSE 11 SP4镜像创建的云服务器,内存需要大于等于4G时才能支持一键式重置密码功能。 云服务器使用的VPC网络DHCP不能禁用。 云服务器网络正常通行。 云服务器安全组出方向规则满足如下要求: 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 如果您使用的是默认安全组出方向规则,则已经包括了如上要求,可以正常初始化。默认安全组出方向规则为: 协议:ALL 端口范围:ALL 远端地址:0.0.0.0/16
-
操作步骤 检查弹性云服务器是否已安装一键式重置密码插件。 以root用户登录弹性云服务器。 执行以下命令,查询是否已安装CloudResetPwdAgent。 ls -lh /Cloud* 图1 查询是否已安装一键式重置密码插件 检查结果是否如图1所示。 是,表示已安装一键式重置密码插件,结束。 否,表示未安装一键式重置密码插件,请继续执行如下操作进行安装。 请参考获取并校验一键式重置密码插件完整性(Linux),下载对应的一键式重置密码插件CloudResetPwdAgent.zip并完成完整性校验。 安装一键式重置密码插件对插件的具体放置目录无特殊要求,请您自定义。 执行以下命令,解压软件包CloudResetPwdAgent.zip。 安装一键式重置密码插件对插件的解压目录无特殊要求,请您自定义。 unzip -o -d 插件解压目录 CloudResetPwdAgent.zip 示例: 假设插件解压的目录为/home/linux/test,则命令行如下: unzip -o -d /home/linux/test CloudResetPwdAgent.zip 安装一键式重置密码插件。 执行以下命令,进入文件CloudResetPwdAgent.Linux。 cd CloudResetPwdAgent/CloudResetPwdAgent.Linux 执行以下命令,添加文件setup.sh的运行权限。 chmod +x setup.sh 执行以下命令,安装插件。 sudo sh setup.sh 如果脚本执行成功打印“cloudResetPwdAgent install successfully.”,且未打印“Failed to start service cloudResetPwdAgent”,表示安装成功。 您也可以根据1,检查密码重置插件是否安装成功。 如果密码重置插件安装失败,请检查安装环境是否符合要求,并重试安装操作。 修改重置密码插件的文件权限。 chmod 700 /CloudrResetPwdAgent/bin/cloudResetPwdAgent.script chmod 700 /CloudrResetPwdAgent/bin/wrapper chmod 600 /CloudrResetPwdAgent/lib/*
-
安装须知 用户自行决定是否安装CloudResetPwdAgent插件,使云服务器具备一键式重置密码功能。 一键式重置密码插件CloudResetPwdAgent已按照GNU General Public License v2.0协议开源至Github开源平台,开放、透明、安全,请您放心使用。 支持安装一键式重置密码插件的操作系统版本如表1所示。 表1 支持安装一键式重置密码插件的操作系统版本 操作系统类型 操作系统版本 CentOS CentOS 8.3 64bit CentOS 8.2 64bit CentOS 8.1 64bit CentOS 8.0 64bit CentOS 7.3 64bit CentOS 7.2 64bit CentOS 7.0 64bit CentOS 7.1 64bit CentOS 6.9 64bit CentOS 6.8 64bit CentOS 6.8 32bit CentOS 6.6 32bit CentOS 6.6 64bit CentOS 6.5 64bit CentOS 6.4 64bit CentOS 6.3 64bit 说明: CentOS 8需要先关闭selinux后再安装一键式重置密码插件,安装后再根据需要选择是否打开selinux。 Debian Debian 9.0 64bit Debian 8.8 64bit Debian 8.2 64bit Debian 7.5 64bit Debian 7.5 32bit openSUSE openSUSE 42.2 64bit openSUSE 13.2 64bit openSUSE Leap 42.2 64bit openSUSE Leap 42.1 64bit SUSE SUSE 12 SP2 64bit SUSE 12 SP1 64bit SUSE 11 SP4 64bit Ubuntu Ubuntu 16.10 32bit Ubuntu 16.04 32bit Ubuntu Server 16.04 64bit Ubuntu Server 14.04 64bit Ubuntu Server 14.04 32bit EulerOS EulerOS 2.2 64bit Fedora Fedora 25 64bit Fedora 24 64bit Oracle Linux Oracle Linux 7.3 64bit Oracle Linux 6.9 64bit Oracle Linux 6.5 64bit Rocky Linux 64bit:Rocky Linux 9.5 64bit:Rocky Linux 9.4 64bit:Rocky Linux 9.3 64bit:Rocky Linux 9.2 64bit:Rocky Linux 9.0 64bit:Rocky Linux 8.8 64bit:Rocky Linux 8.5 64bit:Rocky Linux 8.4
-
准备软件 制作私有镜像需准备的软件如表1所示。 表1 所需软件包 软件包名称 软件包说明 获取方式 操作系统ISO镜像文件 用于安装用户桌面的操作系统。 请根据所需获取对应的操作系统版本。 1060_ARM版本 点此获取 点此获取校验文件 1060_X86版本 点此获取 点此获取校验文件 1050_ARM版本 点此获取 点此获取校验文件 1050_X86版本 点此获取 点此获取校验文件 须知: 操作系统的ISO镜像文件需为从正规渠道获取的官方纯净镜像。非官方镜像或私有定制镜像,对操作系统做了很多未知的修改,可能导致模板制作失败,或者与HDP不兼容导致无法使用,请勿使用此类镜像。 FusionSphere_OpenStack_Image_Tool-xxx.zip 用于制作镜像。 点此获取 点此获取校验文件 Cloud-Init 说明: 仅操作系统为1060版本需要安装。 在使用镜像创建云服务器时,可初始化
云服务器配置 。 ARM: 点此获取 点此获取校验文件 X86: 点此获取 点此获取校验文件 HDPSysAgentPackage_Linux_Server_Release.zip SysAgent安装包。 ARM: 点此获取 点此获取校验文件 X86: 点此获取 点此获取校验文件 Workspace_HDP_LinuxDesktop_xx.x.x.iso 用于安装HDA。 点此获取 点此获取校验文件 系统补丁 操作系统补丁。 自备 应用程序 请用户根据个人需求准备应用软件(如办公、实时通讯等软件)。 自备 外设驱动程序 请用户根据个人需求准备外设驱动程序。 自备 auto_fix_metrics.sh 修复网卡路由表 点此获取 点此获取校验文件 auto_fix_metrics.service 点此获取 点此获取校验文件 父主题: 制作UOS操作系统桌面私有镜像
-
准备软件 制作Windows操作系统私有镜像需准备的软件如表1所示。 表1 所需软件包 软件包名称 软件包说明 获取方式 Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso Windows镜像制作工具。 点此获取镜像制作工具 点此获取镜像工具校验文件 操作系统ISO文件 Windows 10 64位(中文,英文) Windows Server 2016标准版本 64位(中文、英文) Windows Server 2019标准版本 64位(中文、英文) 请根据用户桌面需求类型从微软或者其他合法渠道获取正规操作系统ISO镜像文件。 须知: 操作系统的ISO镜像文件需为从正规渠道获取的官方纯净镜像。非官方镜像或私有定制镜像,对操作系统做了很多未知的修改,可能导致模板制作失败,或者与HDP不兼容导致无法使用,请勿使用此类镜像。 AnyBurn 光驱制作工具。 点此获取 virtio驱动包 virtio驱动 请前往virtio官网下载所需驱动包(建议下载最新版本中的virtio-win.iso包):点此获取 应用程序 请用户根据个人需求准备应用软件(如办公、实时通讯等软件)。 自备 7z1900-x64.exe 7-Zip压缩软件,用于压缩/解压缩的软件包。 点此获取 VC_redist.x64.exe Visual Studio 2017运行库,安装桌面应用运行的基础库。 获取路径: 截至文档发布日期为止,有效链接为:点此获取 VC_redist.x86.exe CloudbaseInitSetup_xxx.msi 在使用镜像创建云服务器时,可自定义设定云服务器的hostname、hosts文件以及用户名密码。 根据Windows操作系统的不同位数,您需要下载不同版本的Cloudbase-Init工具安装包。 Cloudbase-Init分为稳定版本和Beta版本两种。 稳定版本获取路径: 64位:点此获取 32位:点此获取 Beta版本获取路径: 64位:点此获取 32位:点此获取 外设驱动程序 请用户根据个人需求准备外设驱动程序。 自备 HW.SysAgent.Installer_64.msi HW.SysPrep.Installer_64.msi 桌面发放和HDA升级时使用。 安装方式:双击安装。 点此获取HW.SysAgent 点此获取HW.SysAgent校验文件 点此获取HW.SysPrep 点此获取HW.SysPrep校验文件 WKSAppCenterAgent.msi WKSAppCenter.msi
云桌面 使用应用中心需要安装。 安装方式:双击安装 点此获取WKSAPPCenterAgent 点此获取WKSAPPCenterAgent校验文件 点此获取WKSAppCenter 点此获取WKSAppCenter校验文件 父主题: 制作Windows普通桌面私有镜像
-
准备软件 制作Windows操作系统私有镜像需准备的软件如表1所示。 表1 所需软件包 软件包名称 软件包说明 获取方式 Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso Windows镜像制作工具。 点此获取镜像制作工具 点此获取镜像工具校验文件 操作系统ISO文件 Windows Server 2016数据中心版本 64位(中文、英文) Windows Server 2019数据中心版本 64位(中文、英文) 请根据用户需求类型从微软或者其他合法渠道获取正规操作系统ISO镜像文件。 须知: 操作系统的ISO镜像文件需为从正规渠道获取的官方纯净镜像。非官方镜像或私有定制镜像,对操作系统做了很多未知的修改,可能导致模板制作失败,或者与HDP不兼容导致无法使用,请勿使用此类镜像。 AnyBurn 光驱制作工具。 点此获取 virtio驱动包 virtio驱动 点此获取virtio驱动 点此获取virtio驱动其他版本 参考
镜像服务 安装virtio驱动章节安装virtio驱动。 应用程序 请用户根据个人需求准备应用软件(如办公、实时通讯等软件)。 自备 7z1900-x64.exe 7-Zip压缩软件,用于压缩/解压缩的软件包。 点此获取 VC_redist.x64.exe Visual Studio 2017运行库,安装应用运行的基础库。 获取路径: 截至文档发布日期为止,有效链接为:点此获取 VC_redist.x86.exe CloudbaseInitSetup_xxx.msi 在使用镜像创建云服务器时,可自定义设定云服务器的hostname、hosts文件以及用户名密码。 根据Windows操作系统的不同位数,您需要下载不同版本的Cloudbase-Init工具安装包。 Cloudbase-Init分为稳定版本和Beta版本两种。 稳定版本获取路径: 64位:点此获取 32位:点此获取 Beta版本获取路径: 64位:点此获取 32位:点此获取 CloudResetPwdAgent.zip 云服务器的密码重置插件。 点此获取 GPU驱动 仅在制作GPU镜像时需要。 云应用支持RTX5000型号的直通卡。 RTX5000请参考如下方式获取驱动: 使用Web浏览器,登录英伟达官网,在驱动程序下载页面,根据操作系统(包括Windows驱动程序类型、语言)及GPU卡类型,配置参数,选择最新版本驱动进行下载。 例如,需要Windows Server 2019数据中心版的中文操作系统的桌面、使用RTX 5000显卡,则信息配置如下: 产品类型:NVIDIA RTX / Quadro 产品系列:Quadro RTX Series 产品家族:Quadro RTX 5000 操作系统:Windows Server 2019 语言:Chinese (Simplified) 外设驱动程序 请用户根据个人需求准备外设驱动程序。 自备 HW.SysAgent.Installer_64.msi HW.SysPrep.Installer_64.msi 云应用服务器发放和HDA升级时使用。 安装方式:双击安装。 点此获取HW.SysAgent 点此获取HW.SysAgent校验文件 点此获取HW.SysPrep 点此获取HW.SysPrep校验文件 WKSRStorageAgent_windows-amd64.msi 使用
云存储 功能时使用。 安装方式:双击安装。 点此获取 点此获取校验文件 Sandboxie 通过Sandboxie软件,可以使应用以沙箱的方式运行,如需安装请参考如何安装沙箱软件?章节。 点此获取 父主题: 制作Windows私有镜像(基础镜像)