检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS，您可以获取EMS的相关操作日志，从而帮助您定位问题。 卸载EMS 如果您的业务不再使用EMS，可以卸载EMS。 激活凭证将作为软件license关联您的EMS软件使用计费，请您妥善保管激活凭证，避免泄露。
产品优势 EMS内存存储具有以下优势： 半托管融合部署，降低成本 EMS数据面部署在AI服务器上，采用融合部署，统一纳管AI服务器上空闲的DRAM内存资源，复用DRAM内存资源，提供推理加速服务，降低推理KVCache存储成本。 分级缓存，提升推理吞吐，优化推理时延 EMS通过构
华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题： 安全
Service，EMS）是一种以DRAM内存（动态随机存取存储器）为主要存储介质的云基础设施服务，为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理，将LLM推理场景下多轮对话及公共前缀等历史KVCache缓存到EMS内存存储中，通过以存代算，减少了冗余计算，提升推
如下载安装依赖软件，安装开发工具等，以便您能顺利完成推理/训练环境准备，以及SDK的安装、基于SDK的代码开发与运行。 准备环境 在推理/训练容器内执行命令npu-smio info查看NPU卡信息，确保成功挂载NPU加速卡，同时安装CANN软件包。安装CANN软件包请参考：昇腾CANN软件安装。
文将占用约4.5MB * 2048 = 10GB的AI服务器显存空间。 然而，AI服务器通常只能提供几十GB的显存容量，其中一部分还要用于存储模型参数，仅剩余部分空间用于KVCache缓存。例如：使用8张64GB的AI服务器部署GPT3模型，系统显存总容量为512GB（8 * 6
约束与限制 EMS权限管理 IAM认证用户默认可以直接访问EMS控制台，无需授予任何IAM权限。 您需要使用通过EMS控制台申请的激活凭证激活EMS软件后才能正常使用EMS内存缓存功能。 EMS使用须知 EMS提供的是内存缓存，不是持久化存储，在EMS镜像重启/升级、节点重启、发生异常导致
针对AI推理场景面临的痛点问题，华为云通过EMS加速推理业务，提升推理业务吞吐，降低推理时延，降低推理资源部署成本。LLM在线推理场景示意图如图1所示。 由于AI服务器显存内存墙瓶颈，EMS利用AI集群的空闲内存构建分布式内存池，实现显存容量的扩展，突破单机内存的瓶颈。通过EMS将LLM推理中的多轮对话、
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
初始化 EMS存储初始化 环境变量
异常处理 获取错误码 获取详细信息
ContextCaching相关接口 同步保存KVCache 异步保存KVCache 同步加载KVCache 异步加载KVCache
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 （Cloud Container Engine，CCE） EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘（Elastic
概念类问题 什么是KVCache
控制台使用类问题 为什么需要激活凭证
Ems存储相关接口 获取Context Caching对象 健康检查
常见问题 EMS初始化失败如何定位？ ContextCaching接口超时时间如何设置？
收集日志 日志接入 日志授权
部署类问题 EMS内存池需要占用AI节点多少DRAM内存 在执行主机配置脚本的过程中，无返回信息怎么办
安全 责任共担 身份认证与访问控制 数据保护技术 认证证书
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
