k8s Cluster资源使用-华为云

AI开发平台MODELARTS-节点池管理

节点池管理在资源池详情页，单击“节点池管理”页签，您可以创建、更新和删除节点池。图1 节点池管理创建节点池当您需要更多节点池时，可单击“创建节点池”新增节点池，相关参数请参见k8s Cluster资源购买。查看节点列表当您想查看某一节点池下的节点相关信息，可单击操作列的“节点列表”，可查询节点的名称、规格及可用区。更新节点池当您想更新节点池配置时，可单击操作列的“更新”，相关参数介绍请参见k8s Cluster资源购买。需注意，更新节点池配置时，不同参数的作用范围不同，例如K8S标签节点、污点的修改，会同步更新节点池下的存量节点。容器引擎空间大小、节点子网等参数，仅对新增的节点（扩容或重置生效），存量节点配置保持不变。图2 更新节点池删除节点池当有多个节点池时，支持删除节点池，此时在操作列会显示“删除”按钮，单击“删除”后输入“DELETE”并单击“确定”即可。每个资源池至少需要有一个节点池，当只有一个节点池时不支持删除。父主题： k8s Cluster资源使用

AI开发平台MODELARTS k8s Cluster资源使用

AI开发平台MODELARTS-资源池驱动升级:场景介绍

场景介绍当专属资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。驱动升级有两种升级方式：安全升级、强制升级。安全升级：不影响正在运行的业务，开始升级后会先将节点进行隔离（不能再下发新的作业），待节点上的存量作业运行完成后再进行升级，因需要等待作业完成，故升级周期可能比较长。强制升级：忽略资源池中正在运行的作业，直接进行驱动升级，可能会导致运行中作业失败，需谨慎选择。

AI开发平台MODELARTS k8s Cluster资源使用

AI开发平台MODELARTS-节点故障定位:故障说明和处理建议

故障说明和处理建议图1 Lite池故障处理流程对于ModelArts Lite资源池，每个节点会以DaemonSet方式部署node-agent组件，该组件会检测节点状态，并将检测结果写到K8S NodeCondtition中。同时，节点故障指标默认会上报到AOM，您可在AOM配置告警通知。当发生节点异常时，在故障初步分析阶段，您可先按表1识别是否为亚健康并自助进行处理，若不是，则为故障，请联系客户经理发起维修流程（若无客户经理可提交工单）。

AI开发平台MODELARTS k8s Cluster资源使用

AI开发平台MODELARTS-节点管理

节点管理在资源池详情页，单击“节点管理”页签，您可以对节点进行退订、替换等操作。退订/释放节点：若是“包年/包月”且资源未到期的资源池，您可单击操作列的“退订”，即可实现对单个节点的资源释放。若是“包年/包月”且资源到期的资源池（处于宽限期），您可单击操作列的“释放”，即可实现对单个节点的资源释放。部分“包年/包月”节点会出现“删除”按钮，原因是该节点为存量节点，单击“删除”即可实现节点的资源释放。退订/释放节点可能导致该节点上运行的作业失败，请保证该节点无任务运行时再进行操作。当资源池中存在异常节点时，可通过退订/释放操作，将资源池中指定的异常节点移除，再通过扩容专属资源池获得和之前相同的总节点个数。仅有一个节点时，无法进行退订/释放操作。替换节点： “节点”页签中提供对单个节点替换的功能。可单击操作列的“替换”，即可实现对单个节点的替换。替换节点操作不会收取费用。单击“操作记录”可查看当前资源池替换节点的操作记录。“运行中”表示节点在替换中。替换成功后，节点列表中会显示新的节点名称。替换最长时间为24小时，超时后仍然未找到合适的资源，状态会变为“失败”。可将鼠标悬浮在图标上，查看具体失败原因。每天累计替换的次数不超过资源池节点总数的20%，同时替换的节点数不超过资源池节点总数的5%。替换节点时需确保有空闲节点资源，否则替换可能失败。当操作记录里有节点处于重置中时，该资源池无法进行替换节点操作。父主题： k8s Cluster资源使用

AI开发平台MODELARTS k8s Cluster资源使用

AI开发平台MODELARTS-在Lite资源池上使用ranktable路由规划完成Pytorch NPU分布式训练:约束与限制

约束与限制该功能只支持贵阳一区域，如果要在其他区域使用请联系技术支持。 ModelArts Lite资源池对应的CCE集群需要安装1.10.12及以上版本的华为云版Volcano插件。Volcano调度器的安装升级请参见Volcano调度器。仅华为云版Volcano插件支持开启路由加速特性。训练使用的Python版本是3.7或3.9，否则无法实现ranktable路由加速。训练作业的任务节点数要大于或等于3，否则会跳过ranktable路由加速。建议在大模型场景（512卡及以上）使用ranktable路由加速。脚本执行目录不能是共享目录，否则ranktable路由加速会失败。路由加速的原理是改变rank编号，所以代码中对rank的使用要统一，如果rank的使用不一致会导致训练异常。

AI开发平台MODELARTS k8s Cluster资源使用

AI开发平台MODELARTS-风险操作

风险操作当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite k8s Cluster资源时，可能会导致资源池部分功能异常，下表可帮助您定位异常出现的原因，风险操作包括但不限于以下内容：表1 操作及其对应风险类型操作风险集群升级、修改、休眠集群、删除集群等。可能影响ModelArts侧基本功能，包括但不限于资源池管理、节点管理、扩缩容、驱动升级等。节点退订、移除、关机、污点管理、修改登录密码、修改网络安全组、切换/重装操作系统等。可能影响ModelArts侧基本功能，包括但不限于节点管理、扩缩容、驱动升级等。网络修改/删除集群关联网段。影响ModelArts侧基本功能，包括但不限于节点管理、扩缩容、驱动升级等。插件升级、卸载gpu-beta插件。可能导致NPU驱动使用异常。升级、卸载huawei-npu插件。可能导致NPU驱动使用异常。升级、卸载volcano插件。可能导致作业调度异常。卸载ICAgent插件。可能导致日志、监控功能异常。 helm 升级、回退、卸载os-node-agent。可能影响节点故障检测。升级、回退、卸载rdma-sriov-dev-plugin。可能影响容器内使用RDMA网卡。父主题： k8s Cluster资源使用

AI开发平台MODELARTS k8s Cluster资源使用

云服务器内容精选

k8s Cluster资源使用

7*24

备案

专业服务

退订

建议反馈

售前咨询热线