模型优化-AI模型落地的加速器
模型优化-AI模型落地的加速器
- 模型落地痛点
AI模型在落地时往往会遇到性能问题，例如时延高、计算资源消耗过多等，最终导致成本超出客户预期，模型使用效果大打折扣。
- 模型优化特点
ModelArts模型优化技术可以很好地解决这些问题，我们针对业务场景与目标硬件平台特点，从模型结构、计算图、推理精度、算子代码生成等各个维度自动定制最优策略，自动帮助客户完成AI模型的性能优化，助力客户达成业务目标，同时降低业务成本。
技术架构
模型优化能力
模型优化能力
- 多维度
支持多种维度的优化能力：模型结构优化、计算图融合、算子编译。
- 多硬件
支持多种主流硬件：ARM、X86、GPU、昇腾。
- 多引擎
支持多种机器学习引擎，如开源引擎，包括Tensorflow、Pytorch、Mindspore，华为自研引擎Xengine，第三方引擎TensorRT。
满足不同需求的分层优化
通用优化
方案简介：
适用模型范围广泛的快速优化模式，利用图优化、高效算子库、算子调优、量化等技术，面向目标硬件平台实现性能优化。同时，支持动态尺寸的模型优化，模型性能最高可提升5倍以上。
适用场景
性能要求较高，精度敏感。
深度优化
方案简介：
在通用优化的基础上，利用模型结构优化、知识蒸馏、混合量化、QAT等技术能力，面向目标业务场景和硬件平台进行深度性能优化，性能最高可提升10倍以上。
适用场景
边侧、端侧，有较大的性能及成本压力。
客户案例
了解更多技术能力
