模型优化-AI模型落地的加速器

模型优化-AI模型落地的加速器

  • 模型落地痛点
  • AI模型在落地时往往会遇到性能问题,例如时延高、计算资源消耗过多等,最终导致成本超出客户预期,模型使用效果大打折扣。

  • 模型优化特点
  • ModelArts模型优化技术可以很好地解决这些问题,我们针对业务场景与目标硬件平台特点,从模型结构、计算图、推理精度、算子代码生成等各个维度自动定制最优策略,自动帮助客户完成AI模型的性能优化,助力客户达成业务目标,同时降低业务成本。

技术架构

模型优化能力

模型优化能力

  • 多维度
  • 支持多种维度的优化能力:模型结构优化、计算图融合、算子编译。

  • 多硬件
  • 支持多种主流硬件:ARM、X86、GPU、昇腾。

  • 多引擎
  • 支持多种机器学习引擎,如开源引擎,包括Tensorflow、Pytorch、Mindspore,华为自研引擎Xengine,第三方引擎TensorRT。

方案优势

  • 全自动
  • 可自动完成优化策略制定、作业执行、模型评估等流程。

  • 速度快
  • 最快可实现分钟级优化。

  • 高性能提升
  • 经真实业务场景验证,可提升处理速度高达10倍,同时不会影响准确性。

满足不同需求的分层优化

通用优化

方案简介:

适用模型范围广泛的快速优化模式,利用图优化、高效算子库、算子调优、量化等技术,面向目标硬件平台实现性能优化。同时,支持动态尺寸的模型优化,模型性能最高可提升5倍以上。

适用场景

性能要求较高,精度敏感。

深度优化

方案简介:

在通用优化的基础上,利用模型结构优化、知识蒸馏、混合量化、QAT等技术能力,面向目标业务场景和硬件平台进行深度性能优化,性能最高可提升10倍以上。

适用场景

边侧、端侧,有较大的性能及成本压力。

通用优化

方案简介:

适用模型范围广泛的快速优化模式,利用图优化、高效算子库、算子调优、量化等技术,面向目标硬件平台实现性能优化。同时,支持动态尺寸的模型优化,模型性能最高可提升5倍以上。

适用场景

性能要求较高,精度敏感。

深度优化

方案简介:

在通用优化的基础上,利用模型结构优化、知识蒸馏、混合量化、QAT等技术能力,面向目标业务场景和硬件平台进行深度性能优化,性能最高可提升10倍以上。

适用场景

边侧、端侧,有较大的性能及成本压力。

客户案例

中山市某区政府项目

车型识别业务

客户的车辆车型识别业务,在自身已经尝试了较轻量级模型以及模型编译量化等技术后,仍有性能提升的诉求。最终,客户基于ModelArts模型优化的深度优化模式,对模型从结构层面进行了更深层的优化,使得模型性能进一步提升了1倍以上。

某出行软件公司

乘客识别业务

涉及乘客数量和乘客司机行为识别等视觉模型,在对单模型优化基础上,使用ModelBox进行了模型编排优化,支撑总体业务QPS提升8~10倍。

某社交媒体公司

网络内容审核业务

涉及视觉识别、检测、分割等多种业务模型,基于ModelArts模型优化获得总体业务QPS提升8倍以上。

扫描二维码填写相关信息,华为云专家将与您联系,并为您提供专业解决方案