弹性内存存储 EMS-同步加载KVCache:请求参数说明
请求参数说明
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
option |
必选 |
参数解释: ContextCaching访问内存池的KV操作选项。 约束限制: 不能为None。 取值范围: 无 默认取值: 无 |
|
key_list |
List[str] |
必选 |
参数解释: ContextCaching访问内存池的键名列表。 约束限制: 所有键名必须唯一。 取值范围: 单个key的长度小于128,且保证全局唯一。 默认取值: 无 |
value_list |
List[List[KvBufferWrapper]] |
必选 |
参数解释: ContextCaching访问内存池的值列表。 约束限制: 值列表的数目必须跟键列表中的数目相同,形成一一对应的键值对。 取值范围: 无 默认取值: 无。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
write_rcache |
bool |
可选 |
参数解释: 是否将本次写入保存为本地读缓存,默认值为True。 约束限制: 无 取值范围: True:将本次写入保存为本地读缓存 False:不将本次写入保存为本地读缓存 默认取值: True |
read_local_only |
bool |
可选 |
参数解释: 是否只读本地缓存,如果置为True,则不会从其他节点读取数据,只有读流程生效。 约束限制: 无 取值范围: True:只读本地缓存 False:优先读本地缓存,如果本地未命中,则从其他节点读取数据 默认取值: False |
timeout |
int |
可选 |
参数解释: 请求超时时间,单位为毫秒。 约束限制: 无 取值范围: 大于等于0。 默认取值: 5000 |