检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在自注意力模块中，上下文词元（token）与模型参数结合，生成中间数据K（键）和V（值），并进行注意力计算。为避免在迭代生成过程中重复计算KV，生成的KV中间数据被存储在AI服务器的显存中，形成KV缓存。
日志授权 用户需通过创建委托的方式，将日志资源权限委托给EMS运维账号，以便EMS运维账号能够获取日志。 操作步骤 使用管理员账号登录IAM控制台。 在统一身份认证服务的左侧导航窗格中，选择“委托”页签，单击右上方的“创建委托”。 “委托名称” 输入ems-lts-{account-name
服务的主机标签值。
value_list List[List[KvBufferWrapper]] 必选 参数解释： ContextCaching访问内存池的值列表。 约束限制： 值列表的数目必须跟键列表中的数目相同，形成一一对应的键值对。 取值范围： 无 默认取值： 无。
默认取值： 无 value_list List[List[KvBufferWrapper]] 必选 参数解释： ContextCaching访问内存池的值列表。 约束限制： 值列表的数目必须跟键列表中的数目相同，形成一一对应的键值对。 取值范围： 无 默认取值： 无。
默认取值： 无 value_list List[List[KvBufferWrapper]] 必选 参数解释： ContextCaching访问内存池的值列表。 约束限制： 值列表的数目必须跟键列表中的数目相同，形成一一对应的键值对。 默认取值： 无。
亲和节点标签值：填写节点标签值，为插件实例设置节点亲和性。 容忍节点污点键：目前仅支持污点键级别的污点容忍策略，组件可以调度到拥有该污点键的节点。 完成配置后，单击“安装”。
默认取值： 无 value_list List[List[KvBufferWrapper]] 必选 参数解释： ContextCaching访问内存池的值列表。 约束限制： 值列表的数目必须跟键列表中的数目相同，形成一一对应的键值对。 取值范围： 无 默认取值： 无。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
