了解CloudMatrix384超节点
了解CloudMatrix384超节点
了解CloudMatrix384产品详情 ,请联系对应客户经理或华为云售前咨询热线
了解CloudMatrix384产品详情 ,请联系对应客户经理或华为云售前咨询热线
新一代昇腾AI算力CloudMatrix384,支持最大规模384卡高速总线互联,训练推理性能大幅度提升
纵向扩展(Scale up):通过高速网络交换机组成384卡超节点
横向扩展(Scale out):参数面交换机最大支持16万卡集群规模
支持最大支持16万卡集群,用高速总线互联替代传统以太,通信带宽提升15倍,通信时延降低10倍
支持EMS服务,跨节点共享KV缓存,大幅降低首Token时延。支持SFS Turbo服务,实现AI数据加载速度提升10倍
超节点+大规模专家并行的技术,支持单卡性能提升近4倍,支持一卡一专家分布式推理部署,相较于非超节点推理性能提升4X
支持朝推夜训,通过训推共池,训练资源池和推理资源池资源灵活调度,实现资源利用提升30%以上
-
全新超节点架构算力底座
支持最大超过10万卡集群,用高速总线互联替代传统以太,通信带宽提升15倍,通信时延降低10倍
-
AI数据加速更快
支持EMS服务,跨节点共享KV缓存,大幅降低首Token时延。支持SFS Turbo服务,实现AI数据加载速度提升10倍
-
大规模集群性能更高
超节点+大规模专家并行的技术,支持单卡性能提升5到10倍,支持一卡一专家分布式推理部署,相较于非超节点推理性能提升3X
-
资源利用率提升
支持朝推夜训,通过训推共池,训练资源池和推理资源池资源灵活调度,实现资源利用提升30%以上