检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hostpath 节点文件路径 容器内挂载 容器文件路径 “允许文件多次采集”选择开启。 其余参数请根据需求设置,设置完成后单击“下一步:索引配置”。 在“索引配置”页面保持默认设置,直接单击“跳过并提交”,界面提示“日志接入成功”。 父主题: 收集日志
纳管AI服务器上空闲的DRAM内存资源,复用DRAM内存资源,提供推理加速服务,降低推理KVCache存储成本。 分级缓存,提升推理吞吐,优化推理时延 EMS通过构建“显存-内存-存储”三级缓存体系,实现历史KVCache动态分层存储,突破显存瓶颈,实现显存扩展;通过缓存推理历史
重复计算,显著降低了首字时延,提高了推理预填充阶段(Prefill阶段)的吞吐量,并降低了端到端的推理成本。 缓存系统性能优化 EMS还采用了以下技术来优化缓存系统性能,如图2所示: 图2 EMS以存代算技术 采用异步保存和读取策略,以减少加载和保存KV缓存的时间。 利用多级缓存
息。 内核参数优化:虚拟内存映射管理 调整系统内核配置,将“vm.max_map_count”参数值由默认值调整至建议值“6553000”。此参数控制每个进程可拥有的最大虚拟内存区域数量,EMS因需处理海量数据流与频繁内存映射操作故对此值有较高要求。 内核参数优化:大页配置 配置“vm