AI开发平台ModelArts

昇腾云服务

了解CloudMatrix384超节点

了解CloudMatrix384超节点

了解CloudMatrix384产品详情 ,请联系对应客户经理或华为云售前咨询热线

了解CloudMatrix384产品详情 ,请联系对应客户经理或华为云售前咨询热线

CloudMatrix384超节点

新一代昇腾AI算力CloudMatrix384,支持最大规模384卡高速总线互联,训练推理性能大幅度提升

纵向扩展(Scale up):通过高速网络交换机组成384卡超节点

横向扩展(Scale out):参数面交换机最大支持16万卡集群规模

全新超节点架构算力底座

支持最大支持16万卡集群,用高速总线互联替代传统以太,通信带宽提升15倍,通信时延降低10倍

AI数据加速更快

支持EMS服务,跨节点共享KV缓存,大幅降低首Token时延。支持SFS Turbo服务,实现AI数据加载速度提升10倍

大规模集群性能更高

超节点+大规模专家并行的技术,支持单卡性能提升近4倍,支持一卡一专家分布式推理部署,相较于非超节点推理性能提升4X

资源利用率提升

支持朝推夜训,通过训推共池,训练资源池和推理资源池资源灵活调度,实现资源利用提升30%以上

展开 收起
  • 全新超节点架构算力底座

    支持最大超过10万卡集群,用高速总线互联替代传统以太,通信带宽提升15倍,通信时延降低10倍

  • AI数据加速更快

    支持EMS服务,跨节点共享KV缓存,大幅降低首Token时延。支持SFS Turbo服务,实现AI数据加载速度提升10倍

  • 大规模集群性能更高

    超节点+大规模专家并行的技术,支持单卡性能提升5到10倍,支持一卡一专家分布式推理部署,相较于非超节点推理性能提升3X

  • 资源利用率提升

    支持朝推夜训,通过训推共池,训练资源池和推理资源池资源灵活调度,实现资源利用提升30%以上

一图了解昇腾云服务产品架构

一图了解昇腾云服务产品架构

活动规则

为什么选择昇腾云

领先的昇腾架构

领先的昇腾架构

  • 昇腾达芬奇架构领先,算力相比友商提升30%+;

  • MindSpore原生支持大模型开发,千亿参数模型调优时间缩短60%。

高效的迁移工具链

高效的迁移工具链

  • 全流程昇腾迁移工具链,典型场景迁移至生产环境<2周;

  • 易用的训练、推理迁移工具,支撑客户自主昇腾迁移。

极致的资源利用

极致的资源利用

  • 统一资源调度,资源极致利用,综合分配率达90%;

  • 弹性调度、训练&推理融合调度,资源发放<30分钟。

丰富的生态

丰富的生态

  • AI Gallery生态繁荣,沉淀行业资产10万+;

  • 汇聚主流开源大模型,高效连接云上昇腾算力。

丰富的应用场景,满足海量访问诉求

大模型
支持三方开源大模型,加速客户大模型业务上线
构建大模型应用开发工具链,使能大模型开箱即用

构建大模型应用开发工具链,完善云上数据清洗|模型微调|部署|Prompt|评测|Agent,大模型应用开发效率提升;

原生昇腾云组件Agent,构建“大模型+云组件”组合竞争力,如搜索Agent,大数据Agent等,使能云上存量用户零迁移构建大模型应用;

支持业内主流大模型应用开发框架:兼容主流应用框架, 生态应用“零”改造迁移。

提供昇腾版主流开源大模型

支持业内主流大模型,精度、性能超越友商;

内源代码、镜像、性能三层开放,引领客户技术选型,同源大模型昇腾开发周期由月降至天。

提供昇腾版大模型工具链,大模型100%覆盖迁移

提供昇腾大模型原生应用开发工具链及三方大模型工具链,支持大模型调优&工具链集成,丰富用户选择。

AIGC
AIGC场景模型推理使用昇腾芯片对比友商性能明显提升
模型转换

分钟级模型转换,提供模型转换工具一键转换成mindpore格式。

自动调优

自动图优化,生成调优策略、编译、在NPU芯片上验证的闭环反馈机制,不断迭代出更优的调优策略。

性能&精度校验

提供工具,定量分析推理耗时,指定模型输出进行精度误差分析,保证切换到昇腾后性能提升&精度无损。

自动驾驶
支撑自动驾驶场景PB级数据下模型高效训练,助力算法创新,高等级自动驾驶数据闭环,快速迭代
感知、仿真算法性能深度优化:

自动驾驶全链路算法深度优化,针对特有的感知、规控、仿真生成相关算法深度优化,性能提升明显。

大规模分布式训练:

实现大规模分布式训练,支撑PB级数据训练。

算力升级:

快速供应,支撑昇腾云算力升级,加速客户算法迭代。

内容审核
内容审核昇腾云服务方案

深入业务场景,提供完备成熟的内容审核/CV场景快速昇腾迁移的方案,高效解决业务内容审核的算力/国产化需求,助力企业业务稳健发展

快速迁移评估:

昇腾迁移工具链快速提供,模型算子分析,模型精度诊断,模型性能测试,模型性能调优,模型转换能力。

降本增效:

在审核场景中,昇腾芯片综合性能对比友商显著提升。

昇腾云服务

百模千态

专区
AI Gallery