模型优化-AI模型落地的加速器
- 模型落地痛点
AI模型在落地时往往会遇到性能问题,例如时延高、计算资源消耗过多等,最终导致成本超出客户预期,模型使用效果大打折扣。
- 模型优化特点
ModelArts模型优化技术可以很好地解决这些问题,我们针对业务场景与目标硬件平台特点,从模型结构、计算图、推理精度、算子代码生成等各个维度自动定制最优策略,自动帮助客户完成AI模型的性能优化,助力客户达成业务目标,同时降低业务成本。

技术架构
模型优化能力
- 多维度
支持多种维度的优化能力:模型结构优化、计算图融合、算子编译。
- 多硬件
支持多种主流硬件:ARM、X86、GPU、昇腾。
- 多引擎
支持多种机器学习引擎,如开源引擎,包括Tensorflow、Pytorch、Mindspore,华为自研引擎Xengine,第三方引擎TensorRT。

满足不同需求的分层优化
方案简介:
适用模型范围广泛的快速优化模式,利用图优化、高效算子库、算子调优、量化等技术,面向目标硬件平台实现性能优化。同时,支持动态尺寸的模型优化,模型性能最高可提升5倍以上。
性能要求较高,精度敏感。
方案简介:
在通用优化的基础上,利用模型结构优化、知识蒸馏、混合量化、QAT等技术能力,面向目标业务场景和硬件平台进行深度性能优化,性能最高可提升10倍以上。
边侧、端侧,有较大的性能及成本压力。