华为云首页 用户手册

AI开发平台ModelArts-训练作业的监控内存指标持续升高直至作业失败:处理步骤

AI开发平台ModelArts-训练作业的监控内存指标持续升高直至作业失败:处理步骤

时间：2025-02-12 15:02:55
AI开发平台ModelArts 训练作业运行失败

处理步骤

  1. 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。
    • 是，训练作业的日志里存在OOM报错，执行2。
    • 否，训练作业的日志里没有OOM报错，但是存在监控指标异常，执行3。
  2. 排查训练代码是否存在不断占用资源的代码，使得资源未被合理使用。
    • 是，优化代码，等待作业运行正常。
    • 否，提高训练作业使用的资源规格或者联系技术支持。
  3. 重启训练作业，使用CloudShell登录训练容器监控内存指标，确认是否有突发性的内存增加现象。
    • 是，排查内存突发增加的时间点附近的训练作业日志，优化对应的代码逻辑，减少内存申请。
    • 否，提高训练作业使用的资源规格或者联系技术支持。
support.huaweicloud.com/trouble-modelarts/modelarts_trouble_0127.html

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

看了此文的人还看了
X实例 域名 函数工作流 定制网站建设 裸金属服务器 云手机 云服务器 云容器引擎 云容器实例 主机迁移
产品专区
AI开发平台ModelArts-训练作业的监控内存指标持续升高直至作业失败:处理步骤

搜索反馈

您搜索到想要的结果了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
推荐文章
更多内容
云硬盘存储EVS Web应用防火墙 人机语音识别 云计算入门 云数据库选择