数据工坊 DWR-EMS内存池需要占用AI节点多少DRAM内存

时间：2025-05-23 18:54:18

数据工坊 DWR EMS部署类问题

EMS内存池需要占用AI节点多少D RAM 内存

EMS数据面镜像部署在用户的CCE容器集群上，EMS镜像运行需要占用AI节点的vCPU、内存等资源，同时EMS用于保存推理KVCache需要额外占用AI节点的内存资源。AI推理场景受限于显存瓶颈，DRAM内存富余较多，建议分配一半DRAM内存给EMS的KVCache内存池，EMS内存池空间越大，有利于提高KVCache缓存命中率，提升推理吞吐。

父主题： EMS部署类问题

上一篇：华为云WELINK-PC端:2020/08/07-WeLink PC端 V6.7.4

下一篇：数据工坊 DWR-EMS以存代算:以存代算原理