华为云弹性内存存储 EMS-EMS存储初始化:代码样例

时间：2025-06-18 17:48:10

华为云弹性内存存储 EMS 初始化

代码样例

默认不使用密钥（access_id/access_key）访问内存池：

# 引入模块
import os
from ems import Ems, EmsConfig, EmsException, CcConfig

# 初始化cc配置
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b")

# 初始化Ems
config = EmsConfig(cc_config=cc_config)
try:
    Ems.init(config)
except EmsException as e:
    print(f"exception: {e}.")

多租户场景，指的是同一套推理服务器集群中，仅有一套EMS集群，通过租户隔离不同业务/租户在推理中产生的KVCache数据。需要引入额外的鉴权组件服务，提前申请access_id/access_key后，通过永久访问密钥（access_id/access_key）初始化EMS SDK代码如下：

# 引入模块
import os
from ems import Ems, EmsConfig, EmsException

# 通过环境变量获取access_id及access_key
access_id = os.getenv("access_id", None)
access_key = os.getenv("access_key", None)

# 初始化cc配置
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b")

# 初始化Ems 
config = EmsConfig(access_id=access_id, access_key=access_key, cc_config=cc_config)
try:
    Ems.init(config)
except EmsException as e:
    print(f"exception: {e}.")