弹性内存存储 EMS-同步加载KVCache:请求参数说明

时间:2025-06-19 16:52:48

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

option

CcKvOption

必选

参数解释

ContextCaching访问内存池的KV操作选项。

约束限制:

不能为None。

取值范围:

默认取值:

key_list

List[str]

必选

参数解释:

ContextCaching访问内存池的键名列表。

约束限制:

所有键名必须唯一。

取值范围:

单个key的长度小于128,且保证全局唯一。

默认取值:

value_list

List[List[KvBufferWrapper]]

必选

参数解释

ContextCaching访问内存池的值列表。

约束限制:

值列表的数目必须跟键列表中的数目相同,形成一一对应的键值对。

取值范围:

默认取值:

无。

表2 CcKvOption

参数名称

参数类型

是否必选

描述

write_rcache

bool

可选

参数解释:

是否将本次写入保存为本地读缓存,默认值为True。

约束限制:

取值范围:

True:将本次写入保存为本地读缓存

False:不将本次写入保存为本地读缓存

默认取值:

True

read_local_only

bool

可选

参数解释:

是否只读本地缓存,如果置为True,则不会从其他节点读取数据,只有读流程生效。

约束限制:

取值范围:

True:只读本地缓存

False:优先读本地缓存,如果本地未命中,则从其他节点读取数据

默认取值:

False

timeout

int

可选

参数解释:

请求超时时间,单位为毫秒。

约束限制:

取值范围:

大于等于0。

默认取值:

5000

表3 KvBufferWrapper

参数名称

参数类型

是否必选

描述

data_ptr

int

必选

参数解释:

加速卡计算产生的KVCache连续显存起始地址。

约束限制:

只支持NPU显存地址。

取值范围:

大于0。

默认取值:

length

int

必选

参数解释:

加速卡计算产生的KVCache连续显存长度。

约束限制:

取值范围:

大于0。

默认取值:

support.huaweicloud.com/sdk-python-devg-ems/obs_22_1804.html