数据工坊 DWR-产品优势
时间：2025-05-23 18:54:02
下载数据工坊 DWR用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
产品优势
EMS内存存储具有以下优势：
- 半托管融合部署，降低成本
EMS数据面部署在AI服务器上，采用融合部署，统一纳管AI服务器上空闲的D RAM 内存资源，复用DRAM内存资源，提供推理加速服务，降低推理KVCache存储成本。
- 分级缓存，提升推理吞吐，优化推理时延
EMS通过构建“显存-内存-存储”三级缓存体系，实现历史KVCache动态分层存储，突破显存瓶颈，实现显存扩展；通过缓存推理历史KVCache，实现以存代算，提升LLM推理服务的吞吐性能，降低推理资源成本；同时缩短LLM推理首Token输出时延，改善用户对话体验。
- 分布式共享内存池，提升缓存命中率
EMS将AI服务器上空闲的DRAM内存构建成分布式内存池，突破单机内存瓶颈，提升缓存空间，同时使得节点间能够进行高效的数据共享，支持亲和调度，提升缓存命中率，满足大规模分布式推理需求。
- 兼容主流推理框架，满足多样化访问
EMS提供SDK，供各种推理框架集成，兼容vLLM等开源框架及其他企业自研的LLM框架，适配LLM推理环节中对内存Cache的多样化访问需求。
support.huaweicloud.com/productdesc-ems/ems_01_0200.html
