Inference

Inference

ModelArts支持在线推理、批量推理、边缘推理多种形态。同时,高并发在线推理满足线上大业务量诉求,高吞吐批量推理能快速解决沉积数据推理诉求,高灵活性边缘部署使推理动作可以在本地环境完成。

ModelArts支持在线推理、批量推理、边缘推理多种形态。同时,高并发在线推理满足线上大业务量诉求,高吞吐批量推理能快速解决沉积数据推理诉求,高灵活性边缘部署使推理动作可以在本地环境完成。

关键特性

状态监测&在线预测&数据采集

针对部署上线的模型,提供状态监测能力,允许用户实时了解该服务对于资源的消耗情况与api调用情况;

在线预测允许用户直接添加输入数据对在线服务进行效果测试;

在线服务数据采集帮助用户快速全量回采需要的样本数据,通过难例筛选加持,可以更精准得获取推理过程中的难例,帮助用户更好得进行模型优化。

模型评估

针对不同类型模型的评估任务,提供相应的评估指标,在展示评估结果的同时,会根据不同的数据特征对模型进行详细的评估,获得每个数据特征对评估指标的敏感度,并给出优化建议。使得用户可以全面了解模型对不同数据特征的适应性,使得模型调优可以做到有的放矢。

云端/边端部署&异构资源支持

一个平台同时支持模型在云端和边端的部署以及多种异构硬件的适配,帮助用户统一管理在多种硬件多个物理位置的推理计算节点。