华为云存储创新LAB

Data Grows As Ever, Storage Lasts For Ever

Data Grows As Ever, Storage Lasts For Ever

flowserve推理研究项目

致力于面向CloudMatrix384超节点集群架构下的大模型推理基础设施能力建设，围绕极致性能推理框架与主流模型加速技术持续创新突破。

  • 加速技术和框架优化

    核心聚焦于高效模型量化、MTP、稀疏化、前缀匹配等加速技术的研发与落地，同时深度优化推理框架的 DP、TP、EP 负载均衡、Zero Overhead 请求调度及高性能 PD kvcache 传输等关键路径，加速推理引擎整体性能提升。

    核心聚焦于高效模型量化、MTP、稀疏化、前缀匹配等加速技术的研发与落地，同时深度优化推理框架的 DP、TP、EP 负载均衡、Zero Overhead 请求调度及高性能 PD kvcache 传输等关键路径，加速推理引擎整体性能提升。

  • 自研分布式推理架构

    通过自研分布式推理架构，极大提升了大规模 LLM 推理任务的吞吐和弹性扩展能力，为华为云 AI 能力提供坚实的基础设施底座。

    目前，XDS 后端推理引擎 flowserve 已在 CloudMatrix384 超节点集群成功部署，全面支撑华为云 MaaS 业务的百亿 Token 级推理服务需求，显著提升推理时延和系统稳定性。

    通过自研分布式推理架构，极大提升了大规模 LLM 推理任务的吞吐和弹性扩展能力，为华为云 AI 能力提供坚实的基础设施底座。

    目前，XDS 后端推理引擎 flowserve 已在 CloudMatrix384 超节点集群成功部署，全面支撑华为云 MaaS 业务的百亿 Token 级推理服务需求，显著提升推理时延和系统稳定性。