华为云 弹性内存存储 EMS-EMS存储初始化:构造函数参数描述
构造函数参数描述
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
config |
必选 |
参数解释: EMS存储SDK初始化配置。 约束限制: 不能为None 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
access_id |
string |
可选 |
参数解释: 业务访问内存池身份凭证,由用户自行指定并保证唯一性,在需要进行业务多租隔离场景使用。 约束限制: 默认取值: None,即为空。 |
access_key |
string |
可选 |
参数解释: SDK访问内存池资源的密钥,与身份凭证access_id配合使用。多租场景需要在部署EMS服务时搭建鉴权服务,并通过控制面Restful接口预先申请。 约束限制: access_key创建规则:32~256个字符,支持数字、大小写字母、“+”、“/”、“=”。 默认取值: None,即为空。 |
cc_config |
可选 |
参数解释: 用于初始化Context Caching的配置。 默认取值: None,表示不使用Context Caching功能。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
rank_id |
int |
是 |
参数解释: 当前计算进程,使用加速卡的全局rank ID。 约束限制:
|
device_id |
int |
是 |
参数解释: 当前计算进程,使用加速卡的本地节点rank ID。 约束限制:
|
model_id |
string |
是 |
参数解释: 唯一标识当前实例使用的推理模型。 约束限制:
|
tp_world_size |
int |
否 |
参数解释: 实例TP并行度。 约束限制: tp_world_size 取值范围: [1,当前实例rank个数) 默认取值: 1。 |
pp_world_size |
int |
否 |
参数解释: 实例PP并行度。 约束限制: pp_world_size 取值范围: [1,当前实例rank个数) 默认取值: 1。 |