检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“申请公测”,进入申请公测页面。 在公测申请页面,请根据实际情况填写企业规模、研发人员比例、应用场景、业务当前阶段、业务描述等申请信息。 勾选“同意《公测试用服务协议》”,单击“申请公测”。 公测申请提交后,5个工作日内审核结果将发送到您的邮箱和手机。
单击步骤2创建的日志组名称。 单击“创建日志流”。 “日志流名称”填写规划的日志流名称。参考表5“日志流/采集配置名称”列。 “企业项目”选择规划的企业项目。 “日志存储”选择打开。 “日志存储时间”选择关闭。 其他参数参考LTS文档设置,设置完成后,单击“确定”,完成日志流的创建。
存命中率,满足大规模分布式推理需求。 兼容主流推理框架,满足多样化访问 EMS提供SDK,供各种推理框架集成,兼容vLLM等开源框架及其他企业自研的LLM框架,适配LLM推理环节中对内存Cache的多样化访问需求。
基于控制台方式和SDK方式访问弹性内存存储服务: 控制台方式 关于EMS资源发放部署等操作,请使用控制台方式访问弹性内存存储服务。 SDK方式 模型推理框架(如:vLLM)及企业自研的推理框架通过集成EMS SDK方式访问弹性内存存储服务,具体操作请参见弹性内存存储服务SDK参考。