检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
每个Transformer层由自注意力模块和前馈网络模块组成。 在自注意力模块中，上下文词元（token）与模型参数结合，生成中间数据K（键）和V（值），并进行注意力计算。为避免在迭代生成过程中重复计算KV，生成的KV中间数据被存储在AI服务器的显存中，形成KV缓存。
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。
node-exporter监听端口：该端口使用主机网络，用于监听并暴露所在节点的指标供普罗采集；默认为9100，若与您已有应用的端口冲突，可按需修改。 调度策略：可单独配置插件各个组件的节点亲和性和污点容忍能力。
日志接入 本章节介绍了如何把部署了EMS的CCE集群应用日志接入LTS，应用日志接入后，可以在LTS控制台可以对收集到的日志进行统一管理和分析，帮助快速发现EMS的问题，提高服务性能和可靠性。还可以将日志报表进行可视化展示，从而更好地监控和管理EMS的运行状态。 操作步骤 登录LTS
卸载EMS EMS使用helm uninstall命令卸载EMS后台系统，同时通过主机配置脚本，还原系统大页配置。 卸载EMS后台系统 返回到CCE控制台，在左侧导航栏中单击“集群管理”。在右侧集群列表中，找到对应集群，在右侧单击“命令行工具”进入命令行。 待命令行工具界面初始化完毕后
升级EMS 当客户需要使用EMS新版本时，需要执行升级操作更新EMS后台系统。系统通过Helm的滚动升级能力进行升级， 一次升级一个节点。 前提条件 客户已经下载了新版本的Helm包。 升级前检查，所有的EMS进程均正常（参考部署后检查），如果不正常，请联系EMS技术支持。 请注意升级不支持修改大页参数
数据保护技术 数据安全 EMS通过多种数据保护手段和特性，保障EMS数据安全可靠。 表1 EMS数据保护手段 数据保护手段 简要说明 传输加密（HTTPS） 为保证数据传输的安全性，访问EMS服务控制台时支持HTTPS协议。 操作认证 所有EMS服务管理面的API都会进行IAM身份认证
产品功能 表1列出了弹性内存存储服务EMS提供的常用功能特性。 表1 EMS功能概览 功能名称 功能描述 创建凭证 使用EMS前，需要先创建凭证，用于激活EMS。 部署EMS 在已创建的CCE集群的节点上部署EMS，以提供内存服务。 激活EMS 使用已创建的凭证激活EMS后，才能正常使用
约束与限制 EMS权限管理 IAM认证用户默认可以直接访问EMS控制台，无需授予任何IAM权限。 您需要使用通过EMS控制台申请的激活凭证激活EMS软件后才能正常使用EMS内存缓存功能。 EMS使用须知 EMS提供的是内存缓存，不是持久化存储，在EMS镜像重启/升级、节点重启、发生异常导致故障等场景下会导致内存缓存丢失
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 （Cloud Container Engine，CCE） EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘
什么是弹性内存存储 弹性内存存储（Elastic Memory Service，EMS）是一种以DRAM内存（动态随机存取存储器）为主要存储介质的云基础设施服务，为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理，将LLM推理场景下多轮对话及公共前缀等历史KVCache
计费说明 计费模式 EMS支持按需付费（后付费）计费方式。 按需付费（后付费）即先使用后付费的付费方式。您在华为云账户先充值，系统每小时统计前一小时的实际使用量并进行结算，从账户余额中扣除实际消费金额。 详细的服务资费费率标准请提工单咨询。 计费项 计费项为安装EMS业务集群节点使用的时长
在执行主机配置脚本的过程中，无返回信息怎么办 问题现象 在执行主机配置脚本的过程中，当屏幕上显示如下信息时，可能会出现脚本一直无法结束的现象： Modifying the kernel parameters.. If the process takes too long, restart
部署EMS 部署准备 EMS部署时将自动创建3个50GB的云硬盘，并将其用作PVC挂载到ZooKeeper的Pod实例上，用于ZooKeeper数据持久化保存。 EMS会将运行日志保存在“/var/log/ems”目录下，需要准备20GB的本地磁盘空间用于存放EMS运行日志。 部署前请确保
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
