华为云用户手册

应用场景 通过工作空间的访问控制能力，可限制仅允许部分人访问对应的工作空间。通过此功能可实现类似如下场景： 教育场景：老师可给每个学生分配1个INTERNAL的工作空间并且限制该工作空间被指定学生访问，这样可使得学生可独立完成在ModelArts上的实验。 企业场景：管理者可创建用于生产任务的工作空间并限制仅让运维人员使用，用于日常调试的工作空间并限制仅让开发人员使用。通过这种方式让不同的企业角色只能在指定工作空间下使用资源。

前提条件 给用户组授权之前，请您了解用户组可以添加的使用ModelArts及依赖服务的权限，并结合实际需求进行选择，ModelArts支持的系统权限，请参见表1。 表1 服务授权列表 待授权的服务 授权说明 IAM 权限设置 是否必选 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限，只有使用权限。推荐给子用户配置此权限。 ModelArts CommonOperations 必选 如果需要给子用户开通专属资源池的创建、更新、删除权限，此处要勾选ModelArts FullAccess，请谨慎配置。 ModelArts FullAccess 可选 ModelArts FullAccess权限和ModelArts CommonOperations权限只能二选一，不能同时选。 OBS 对象存储服务 授予子用户使用OBS服务的权限。ModelArts的数据集、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像 仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖 镜像服务 SWR FullAccess权限。 SWR OperateAccess 必选 密钥管理服务 当子用户使用ModelArts Notebook的SSH远程功能时，需要配置子用户密钥管理服务的使用权限。 KMS CMKFullAccess 可选 IEF智能边缘平台 授予子用户智能边缘平台使用权限，ModelArts的边缘服务依赖智能边缘平台，要求配置Tenant Administrator权限。 Tenant Administrator 可选 CES 云监控 授予子用户使用CES 云监控服务 的权限。通过CES 云监控 可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 可选 SMN 消息服务 授予子用户使用SMN消息服务的权限。SMN 消息通知 服务配合CES监控告警功能一起使用。 SMN FullAccess 可选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 SFS弹性文件服务 授予子用户使用SFS服务的权限，ModelArts的专属资源池中可以挂载SFS系统作为开发环境或训练的存储。 SFS Turbo FullAccess SFS FullAccess 可选

ModelArts开发环境使用权限的自定义策略样例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "modelarts:notebook:list", "modelarts:notebook:create" , "modelarts:notebook:get" , "modelarts:notebook:update" , "modelarts:notebook:delete" , "modelarts:notebook:action" , "modelarts:notebook:access" ] } ] }

ModelArts依赖的OBS权限自定义策略样例 如下示例为ModelArts依赖OBS服务的最小化权限项，包含OBS桶和OBS对象的权限。授予示例中的权限您可以通过ModelArts正常访问OBS不受限制。 { "Version": "1.1", "Statement": [ { "Action": [ "obs:bucket:ListAllMybuckets", "obs:bucket:HeadBucket", "obs:bucket:ListBucket", "obs:bucket:GetBucketLocation", "obs:object:GetObject", "obs:object:GetObjectVersion", "obs:object:PutObject", "obs:object:DeleteObject", "obs:object:DeleteObjectVersion", "obs:object:ListMultipartUploadParts", "obs:object:AbortMultipartUpload", "obs:object:GetObjectAcl", "obs:object:GetObjectVersionAcl", "obs:bucket:PutBucketAcl", "obs:object:PutObjectAcl" ], "Effect": "Allow" } ] }

删除授权 为了更好的管理您的授权，您可以删除某一IAM用户的授权，也可批量清空所有用户的授权。 删除某一用户的授权 在“权限管理”页面，展示当前账号下为其IAM用户配置的授权列表，针对某一用户，您可以单击“操作”列的“删除”，输入“DELETE”后单击“确认”，可删除此用户的授权。删除生效后，此用户将无法继续使用ModelArts的相关功能。 批量清空所有授权 在“权限管理”页面，单击授权列表上方的“清空授权”，输入“DELETE”后单击“确认”，可删除当前账号下的所有授权。删除生效后，此账号及其所有IAM子用户将无法继续使用ModelArts的相关功能。

修改授权权限范围 在查看授权详情时，如果想要修改授权范围，可以在权限详情页单击“去IAM修改委托权限”。 图8 去IAM修改委托权限 进入IAM控制台的委托页面。找到对应的委托信息，修改该委托的基本信息，主要是持续时间。“持续时间”可以选择永久、1天，或者自定义天数，例如 30天。 图9 手动创建的委托 在授权记录页面单击“授权”，勾选要配置的策略，单击下一步设置最小授权范围，单击确定，完成授权修改。 设置最小授权范围时，可以选择指定的区域，也可以选择所有区域，即不设置范围。

场景描述 为了完成AI计算的各种操作，AI平台ModelArts在任务执行过程中需要访问用户的其他服务，典型的就是训练过程中，需要访问OBS读取用户的训练数据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。用户授权ModelArts再代表自己访问特定的云服务，以完成其在ModelArts平台上执行的AI计算任务。 ModelArts提供了添加授权功能，用户可以在ModelArts Standard的权限管理功能中，快速完成委托授权，由ModelArts为用户自动创建委托并配置到ModelArts服务中。 ModelArts Standard的权限配置支持普通模式和高权限模式两种方式。 普通模式：普通模式下，用户可以基于使用的具体业务场景，自由定制授权范围，确保最小范围授权，授权方式灵活安全。适用于对授权范围有严格要求的场景。 高权限模式：高权限模式配置简单，但创建的委托权限比较大，适用于有管理员权限需求的用户。如果需要对委托授权的权限范围进行精确控制，建议使用普通模式。

约束与限制 华为云账号 只有华为云账号可以使用委托授权，可以为当前账号授权，也可以为当前账号下的所有IAM用户授权。 多个IAM用户或账号，可使用同一个委托。 一个账号下，最多可创建100个委托。 对于首次使用ModelArts的新用户，请直接新增委托即可。一般用户新增普通用户权限即可满足使用要求。如果有精细化权限管理的需求，可以自定义权限按需设置。 IAM用户 如果已获得委托授权，则可以在权限管理页面中查看到已获得的委托授权信息。 如果未获得委托授权，当打开“添加授权”页面时，ModelArts会提醒您当前用户未配置授权，需联系此IAM用户的管理员账号进行委托授权。

Standard使用流程说明 ModelArts Standard平台提供了从数据准备到模型部署的AI全流程开发，兼容开发者的使用习惯，支持多种引擎和用户场景，使用自由度较高。针对AI开发的每个环节，Standard功能使用相对自由，您可以根据实际需要选择其中的环节。下文介绍使用ModelArts平台，从准备数据到完成模型开发上线的全流程。 图1 Standard使用流程 表1 使用流程说明 流程 子任务 说明 详细指导 配置权限 配置ModelArts委托授权 ModelArts功能使用还依赖与其他云服务的交互，需要先配置委托授权，允许ModelArts访问相关依赖服务。 快速配置ModelArts委托授权 创建OBS桶（可选） 创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能，使用Modelarts Standard进行AI开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。因此，建议您在使用ModelArts之前先创建一个OBS桶。 创建OBS桶可以提前完成，也可以在后续使用到时再创建。 创建OBS桶用于ModelArts存储数据 准备资源（可选） 创建Standard专属资源池 ModelArts Standard支持公共资源池和专属资源池。 公共资源池：方便快捷，无需创建，创建训练推理任务时直接选择即可。此时，忽略此步骤。 专属资源池：用户独占资源，需要先购买创建。如果使用专属资源池，需要完成此步骤。 创建Standard专属资源池 准备数据（可选） 创建数据集 ModelArts Standard提供了数据管理功能，用户可以在ModelArts Standard中创建数据集，用于管理、预处理、标注数据。 如果用户已经准备了可用于训练的数据，直接上传到OBS即可，无需使用数据管理功能。 创建数据集 标注数据 发布数据集 开发调试 创建Notebook 创建一个Notebook作为开发环境，用于调试训练和推理代码。 建议先在开发环境中调试完成训练代码后再创建生产训练作业。 创建Notebook实例 训练模型 准备算法 创建训练作业前需要先准备算法，可以订阅AI Gallery中的算法，也可以使用用户自己的算法。 准备算法 创建训练作业 创建一个训练作业，选择可用的数据集版本，并使用前面编写完成的训练脚本。训练完成后，将生成模型并存储至OBS中。 创建训练作业 管理模型 编写推理代码和配置文件 针对您生成的模型，建议您按照ModelArts提供的模型包规范，编写推理代码和配置文件，并将推理代码和配置文件存储至训练输出位置。 模型包规范介绍 创建模型 将训练完成的模型导入至ModelArts创建为模型，方便将模型部署上线。 创建模型 部署模型 部署服务 ModelArts支持将模型部署为在线服务、批量服务和边缘服务。 部署为在线服务 部署为批量服务 访问服务 服务部署完成后，针对在线服务和边缘服务，您可以访问并使用服务，针对批量服务，您可以查看其预测结果。 访问在线服务 查看批量服务预测结果

Standard使用场景介绍 ModelArts Standard是面向AI开发者的一站式开发平台，提供了简洁易用的管理控制台，包含自动学习、数据管理、开发环境、模型训练、模型管理、部署上线等端到端的AI开发工具链。 Standard的自动学习可以帮助用户零代码构建AI模型。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。具体请参见自动学习简介。 Standard的Workflow是一套低代码的AI开发流水线工具，覆盖数据标注、数据处理、模型开发、训练、模型评估、部署上线等步骤，提供可视化的工作流运行方式。具体请参见什么是Workflow。 Standard的开发环境Notebook提供了云上JupyterLab环境和本地IDE插件，方便用户编写训练推理代码，并使用云上资源进行代码调试。具体请参见Notebook使用场景。 Standard的模型训练功能提供了界面化的训练调试环境和生产环境，用户可以使用自己的数据和算法，利用Standard提供的计算资源开展模型训练。具体请参见使用ModelArts Standard训练模型。 Standard的推理部署功能提供了界面化的推理部署生产环境，AI模型开发完成后，在Standard中可以纳管AI模型并快速部署为推理服务，您可以进行在线推理预测，也可以通过调用API把AI推理能力集成到自己的IT平台。具体请参见推理部署使用场景。

组件说明 容器组件 说明 资源类型 fluent-bit 轻量级的日志收集器和转发器，部署在每个节点上采集日志。1.5.0及以上版本将直接上报日志到LTS。 DaemonSet cop-logs 负责生成采集文件的软链接，和fluent-bit运行在同一Pod。 DaemonSet log-operator 负责生成内部的配置文件。 Deployment otel-collector 负责采集Kubernetes事件上报到LTS以及 AOM ，同时接收日志数据上报至LTS。 其中，日志数据上报范围与插件版本有关。在1.5.1及以上版本则仅上报弹性到CCI的工作负载日志。 Deployment

日志采集可靠性说明 日志系统的核心功能在于记录业务组件的全生命周期状态数据（包括启动初始化、退出、运行时信息及异常事件等），主要服务于组件运行状态查看与故障根因分析等运维场景。 请注意标准输出流（stdout/stderr）采用非持久化存储机制，其数据完整性受制于以下风险因素： 日志轮转压缩机制可能触发历史文件清除。 Kubernetes Pod实例终止导致的临时存储卷回收。 节点存储空间限制触发的操作系统自动清理。 尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性，但在以下场景仍存在日志采集丢失的可能： 业务日志吞吐量超过采集端处理能力。 业务Pod终止并立即被容器引擎回收。 日志采集器Pod运行异常。 基于云原生日志最佳实践，为您提供以下重要建议： 请通过专用高可靠性通道记录并持久化关键业务数据（如金融交易）。 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。

版本记录 表3 节点本地 域名 解析加速版本记录 插件版本 更新特性 1.6.66 支持CCE 1.31集群；更新admission-controller组件日志输出为容器标准输出；node-local-dns支持自定义健康检查端口 1.6.64 支持CCE 1.31集群; 更新admission-controller组件日志输出为容器标准输出; node-local-dns支持自定义健康检查端口 1.6.63 支持CCE 1.31集群; 更新admission-controller组件日志输出为容器标准输出; node-local-dns支持自定义健康检查端口 1.6.62 支持CCE 1.31集群；更新admission-controller组件日志输出为容器标准输出；node-local-dns支持自定义健康检查端口

插件简介 节点本地域名解析加速（NodeLocal DNSCache）是基于社区NodeLocal DNSCache提供的插件，通过在集群节点上作为守护程序集运行DNS缓存代理，提高集群DNS性能。 开源社区地址：https://github.com/kubernetes/dns。 启用NodeLocal DNSCache之后，DNS查询所遵循的路径如下图所示。 图1 NodeLocal DNSCache查询路径 其中解析线路说明如下： ①：已注入DNS本地缓存的Pod，默认会通过NodeLocal DNSCache解析请求域名。 ②：NodeLocal DNSCache本地缓存如果无法解析请求，则会请求集群CoreDNS进行解析。 ③：对于非集群内的域名，CoreDNS会通过VPC的DNS服务器进行解析。 ④：已注入DNS本地缓存的Pod，如果无法连通NodeLocal DNSCache，则会直接通过CoreDNS解析域名。 ⑤：未注入DNS本地缓存的Pod，默认会通过CoreDNS解析域名。

插件简介 Volcano 是一个基于 Kubernetes 的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当下缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户，最大支持1000Pod/s的调度并发数，轻松应对各种规模的工作负载，大大提高调度效率和资源利用率。 Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 目前Volcano项目已经在Github开源，项目开源地址：https://github.com/volcano-sh/volcano。

版本记录 表2 Volcano调度器版本记录 插件版本 更新特性 1.16.8 优化超节点资源调度能力 支持Kubernetes v1.31 1.15.8 支持昇腾NPU双DIE亲和调度能力 1.15.6 新增基于应用资源画像的超卖能力 1.13.5 支持自定义资源按照节点优先级缩容 优化抢占与节点扩容联动能力 1.12.18 适配CCE v1.29集群 默认开启抢占功能 1.12.1 应用弹性扩缩容性能优化 1.11.9 优化NPU芯片rank table排序能力 支持应用弹性伸缩场景下的优先级调度 1.10.10 修复本地持久卷插件未计算预绑定到节点的pod的问题 1.10.7 修复本地持久卷插件未计算预绑定到节点的pod的问题 1.7.1 Volcano支持v1.25集群

版本记录 表2 AI套件（Ascend NPU）版本记录 插件版本 更新特性 2.7.63 修复安全漏洞 2.7.42 支持Kubernetes v1.31 2.1.23 修复部分问题 2.1.22 修复了一些页面显示问题 支持查询超节点信息 支持上报显卡拓扑信息 修复了日志打印问题 2.1.5 适配CCE v1.29集群 新增静默故障码 1.2.15 支持v1.23集群 1.2.14 支持NPU监控 1.2.5 支持NPU驱动自动安装

版本记录 表2 AI套件（NVIDIA GPU）版本记录 插件版本 更新特性 2.7.63 修复安全漏洞 2.7.42 新增NVIDIA 535.216.03驱动，支持XGPU特性 2.6.4 更新GPU卡逻辑隔离逻辑 2.0.72 更新GPU卡逻辑隔离逻辑 2.0.48 修复安装驱动的问题 2.0.44 支持535版本Nvidia驱动 支持非root用户使用XGPU 优化启动逻辑 2.0.14 支持xGPU设备监控 支持nvidia.com/gpu与volcano.sh/gpu-* api兼容 1.2.29 适配OS Ubuntu22.04 GPU驱动目录自动挂载优化 1.2.24 节点池支持配置GPU驱动版本 支持GPU指标采集 1.2.20 设置插件别名为gpu 1.2.15 适配CCE v1.23集群

组件说明 表1 CCE AI套件（GPU）插件组件 容器组件 说明 资源类型 nvidia-driver-installer 为节点安装Nvidia GPU驱动的工作负载，仅在安装场景占用资源，安装完成后无资源占用。 DaemonSet hce20-nvidia-driver-installer 为节点安装Nvidia GPU驱动的工作负载，仅在安装场景占用资源，安装完成后无资源占用（用于适配OS HCE 2.0）。 DaemonSet ubuntu22-nvidia-driver-installer 为节点安装Nvidia GPU驱动的工作负载，仅在安装场景占用资源，安装完成后无资源占用（用于适配OS Ubuntu22）。 DaemonSet nvidia-gpu-device-plugin 为容器提供Nvidia GPU异构算力的Kubernetes设备插件。 DaemonSet nvidia-operator 为集群提供Nvidia GPU节点管理能力。 Deployment dcgm-exporter 启用dcgm-exporter组件进行DCGM指标观测时安装，用于采集GPU指标。 DaemonSet

验证插件 插件安装完成后，在GPU节点及调度了GPU资源的容器中执行nvidia-smi命令，验证GPU设备及驱动的可用性。 GPU节点： # 插件版本为2.0.0以下时，执行以下命令： cd /opt/cloud/cce/nvidia/bin && ./nvidia-smi # 插件版本为2.0.0及以上时，驱动安装路径更改，需执行以下命令： cd /usr/local/nvidia/bin && ./nvidia-smi 容器： cd /usr/local/nvidia/bin && ./nvidia-smi 若能正常返回GPU信息，说明设备可用，插件安装成功。

默认安装插件 在创建专属资源池时，会按照资源池类型、作业类型，默认安装相应的插件。 表1 默认安装插件简介 插件名称 插件简介 节点故障检测(ModelArts Node Agent) Modelarts节点故障检测是一款监控集群节点异常事件的插件，以及对接第三方监控平台功能的组件。它是一个在每个节点上运行的守护程序，可从不同的守护进程中搜集节点问题。 AI套件（NVIDIA GPU） AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 创建专属资源池时，仅实例规格类型选择“GPU”时自动安装。 AI套件（Ascend NPU） AI套件（Ascend NPU）是支持容器里使用huawei NPU设备的管理插件。 创建专属资源池时，仅实例规格类型选择“Ascend”时自动安装。 Volcano调度器 Volcano 是一个基于 Kubernetes 的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当下缺失的一系列特性。 创建专属资源池时，作业类型选择“训练作业”时自动安装。

手动安装插件 可根据业务需求，选择性安装插件用于扩展资源池功能。 表2 手动安装插件简介 插件名称 插件简介 节点本地域名解析加速节点本地域名解析加速（NodeLocal DNSCache） NodeLocal DNSCache是运行在集群节点上的守护程序集，通过DNS缓存代理，提高集群DNS性能。 云原生日志采集插件 Log Collect是基于开源fluent-bit和opentelemetry构建的云原生日志、k8s事件采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点日志及k8s事件日志进行采集与转发到LTS。同时支持上报k8s事件到AOM，用于配置事件告警，默认上报所有异常事件和部分正常事件。

插件生命周期 表3 插件生命周期 状态 状态属性 说明 安装中 中间状态 插件正处于部署状态。 如遇到插件配置错误或资源不足所有实例均无法调度等情况，系统会在10分钟后将该插件置为“不可用”状态。 运行中 稳定状态 插件正常运行状态，所有插件实例均正常部署，插件可正常使用。 升级中 中间状态 插件正处于更新状态。 不可用 稳定状态 不可用，表示插件状态异常，插件不可使用。可单击状态查看失败原因。 删除中 中间状态 插件处于正在被删除的状态。 如果长时间处于该状态，则说明出现异常。

Step3 在TMS中根据资源类型查询ModelArts资源使用情况 登录TMS控制台，在资源标签页面根据资源类型和资源标签查询指定区域的资源任务。 区域：使用华为云的具体Region，区域概念请参见什么是区域、可用区？。 资源类型：ModelArts支持查询的资源类型如表1所示。 资源标签：不填写标签时，表示查询所有资源，无论此资源是否有配置标签。选择相应标签查询资源，用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook ModelArts的开发环境Notebook对应的资源类型。 ModelArts-TrainingJob ModelArts的训练作业对应的资源类型。 ModelArts-RealtimeService ModelArts的推理在线服务对应的资源类型。 ModelArts-ResourcePool ModelArts的专属资源池对应的资源类型。 如您的组织已经设定ModelArts的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。

Step2 在ModelArts任务中添加标签 在ModelArts中创建Notebook、创建训练作业、创建推理在线服务时，对这些任务配置标签。 在ModelArts的Notebook中添加标签。 可以在创建Notebook页面添加标签，也可以在已经创建完成的Notebook详情页面的“标签”页签中添加标签。 在ModelArts的训练作业中添加标签。 可以在创建训练作业页面添加标签，也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签，也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建ModelArts Standard专属资源池页面添加标签，也可以在已经创建的Standard专属资源池详情页面的“标签”页签中添加标签。 图1 添加标签 用户也可以在ModelArts任务中添加标签时，创建新的标签，直接输入标签键和标签值即可。此处创建的标签仅当前的项目Project可见。不同的项目中查看不到。

创建Dashboards查看指标 打开“DashBoards”，单击“New”，选择“New Dashboards”。 在New Dashboards界面，单击“Add a new panel”。 在New dashboard /Edit Panel界面，填写如下参数。 Data source：已配置Grafana数据源； Metric：指标名称，可参考表1、表2、表3获取想要查询的指标； Labels：填写过滤该指标的标签，请参考表4。 图10 创建Dashboards查看指标

准备工作 ModelArts提供了集群视图、节点视图、用户视图、任务视图和任务详细视图这5个模板，这些模板在Grafana官方文档可以搜索下载，您导入模板配置Dashboards时，可直接使用。 表1 模板下载地址 模板名称 下载地址 集群视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Cluster-View.json 节点视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Node-View.json 用户视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-User-View.json 任务视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Task-View.json 任务详细视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Task-Detail-View.json

操作步骤 将本地命令复制至E CS 服务器请参考如下方法： 在ECS桌面单击“复制粘贴”，使用快捷键“Ctrl+V”将命令粘贴至窗口中并单击“发送”，将复制的命令发送至命令行窗口，如下图所示。 图3 复制粘贴按钮 图4 粘贴并发送安装命令 登录弹性云服务器。根据需要选择登录方式，具体操作请参考登录弹性云服务器 。 执行如下命令安装libfontconfig1。 sudo apt-get install -y adduser libfontconfig1 回显如下代表执行成功： 执行如下命令下载Grafana安装包。 wget https://dl.grafana.com/oss/release/grafana_9.3.6_amd64.deb --no-check-certificate 下载完成： 执行如下命令安装Grafana。 sudo dpkg -i grafana_9.3.6_amd64.deb 执行命令启动Grafana。 sudo /bin/systemctl start grafana-server 在本地PC访问Grafana配置。 确保ECS绑定了弹性公网IP，且对应配置正确（入方向放开TCP协议的3000端口，出方向全部放通）。设置如下： 单击ECS服务器名称进入详情页，单击“安全组”页签，单击“配置规则”。 单击“入方向规则”，入方向放开TCP协议的3000端口，出方向默认全部放通。 在浏览器中输入“http://{弹性公网IP}:3000”，即可进行访问。首次登录用户名和密码为admin，登录成功后请根据提示修改密码。

操作步骤 下载Grafana安装包。 进入下载链接，单击Download the installer，等待下载成功即可。 安装Grafana。 双击安装包，按照指示流程安装完成即可。 在Windows的“服务”中，找到Grafana，将其开启，如果已经开启，则直接进入4。 登录Grafana。 Grafana默认在本地的3000端口启动，打开链接http://localhost:3000，出现Grafana的登录界面。首次登录用户名和密码为admin，登录成功后请根据提示修改密码。

Label相关指标介绍 表4 Label名字栏 指标对象 Label名字 Label描述 容器级别指标 modelarts_service 容器属于哪个服务，包含notebook，train和infer。 instance_name 容器所属pod的名字。 service_id 页面展示的实例或者job id。如开发环境为：cf55829e-9bd3-48fa-8071-7ae870dae93a， 训练作业为：9f322d5a-b1d2-4370-94df-5a87de27d36e node_ip 容器所属的节点IP值。 container_id 容器ID。 cid 集群ID。 container_name 容器名称。 project_id 用户所属的账号的project id。 user_id 提交作业的用户所属的账号的user id。 npu_id 昇腾卡的ID信息，比如davinci0（即将废弃）。 device_id 昇腾系列AI处理器的Physical ID。 device_type 昇腾系列AI处理器类型。 pool_id 物理专属池对应的资源池id。 pool_name 物理专属池对应的资源池name。 logical_pool_id 逻辑子池的id。 logical_pool_name 逻辑子池的name。 gpu_uuid 容器使用的GPU的UUID。 gpu_index 容器使用的GPU的索引。 gpu_type 容器使用的GPU的型号。 account_name 训练、推理或开发环境任务创建者的账号名。 user_name 训练、推理或开发环境任务创建者的用户名。 task_creation_time 训练、推理或开发环境任务的创建时间。 task_name 训练、推理或开发环境任务的名称。 task_spec_code 训练、推理或开发环境任务的规格。 cluster_name CCE集群名称。 node级别指标 cid 该node所属CCE集群的ID。 node_ip 节点的IP。 host_name 节点的主机名。 pool_id 物理专属池对应的资源池ID。 project_id 物理专属池的用户的project id。 npu_id 昇腾卡的ID信息，比如davinci0（即将废弃）。 device_id 昇腾系列AI处理器的Physical ID。 device_type 昇腾系列AI处理器类型。 gpu_uuid 节点上GPU的UUID。 gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name infiniband或RoCE网络网卡的设备名称。 port IB网卡的端口号。 physical_state IB网卡每个端口的状态。 firmware_version IB网卡的固件版本。 filesystem NFS挂载的文件系统。 mount_point NFS的挂载点。 Diagnos cid GPU所在节点所属的CCE集群ID。 node_ip GPU所在节点的IP。 pool_id 物理专属池对应的资源池ID。 project_id 物理专属池的用户的project id。 gpu_uuid GPU的UUID。 gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name 网络设备或磁盘设备的名称。 port IB网卡的端口号。 physical_state IB网卡每个端口的状态。 firmware_version IB网卡的固件版本。