AI开发平台MODELARTS-推理服务端到端运维:方案概述

时间:2024-06-07 18:38:04

方案概述

推理服务的端到端运维流程

  • 算法开发阶段,先将业务AI数据存放到对象存储服务(OBS)中,接着通过ModelArts数据管理进行标注和版本管理,然后通过训练获得AI模型结果,最后通过开发环境构建AI应用镜像。
  • 服务运维阶段,先利用镜像构建AI应用,接着部署AI应用为在线服务,然后可在云监控服务(CES)中获得ModelArts推理在线服务的监控数据,最后可配置告警规则实现实时告警通知。
  • 业务运行阶段,先将业务系统对接在线服务请求,然后进行业务逻辑处理和监控设置。
图1 推理服务的端到端运维流程图

整个运维过程会对服务请求失败和资源占用过高的场景进行监控,当超过阈值时发送告警通知。

图2 监控告警流程图

方案优势

通过端到端的服务运维配置,可方便地查看业务运行高低峰情况,并能够实时感知在线服务的健康状态。

约束限制

端到端服务运维只支持在线服务,因为推理的批量服务和边缘服务无CES监控数据,不支持完整的端到端服务运维设置。

support.huaweicloud.com/bestpractice-modelarts/modelarts_04_0204.html