AI开发平台ModelArts-在线服务预测报错ModelArts.4302:原因分析及处理方法

时间:2023-11-01 16:25:38

原因分析及处理方法

服务预测报错ModelArts.4302有多种场景,以下主要介绍两种场景:

  1. "error_msg": "Gateway forwarding error. Failed to invoke backend service due to connection refused. "

    出现该报错有两种情况:

    • 流量超过了模型的处理能力。可以考虑降低流量或者增加模型实例数量。
    • 镜像自身有问题。需要单独运行镜像确保镜像本身能正确提供服务。
  2. "error_msg":"Due to self protection, the backend service is disconncted, please wait moment."

    出现该错误,是因为模型报错太多。当模型报错太多时,会触发dispatcher的熔断机制,导致预测失败。建议您检查模型返回结果,处理模型报错问题,可尝试通过调整请求参数、降低请求流量等方式,提高模型调用的成功率。

support.huaweicloud.com/trouble-modelarts/modelarts_13_0218.html