AI开发平台MODELARTS-部署推理服务:Step5 进入容器安装推理依赖软件
时间：2025-05-19 09:57:50
下载AI开发平台MODELARTS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
Step5 进入容器安装推理依赖软件
- 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
docker exec -it ${container_name} bash
- 上传代码和权重到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。
#统一文件属主为ma-user用户 sudo chown -R ma-user:ma-group ${container_work_dir} # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录 #例如：sudo chown -R ma-user:ma-group /home/ma-user/ws - 解压算子包并将相应算子安装到环境中。
unzip AscendCloud-OPP-*.zip pip install ascend_cloud_ops-1.0.0-py3-none-any.whl pip install cann_ops-1.0.0-py3-none-any.whl
- 解压软件推理代码并安装依赖包。
unzip AscendCloud-3rdLLM-*.zip cd llm_inference pip install -r requirements.txt - 运行推理构建脚本build.sh文件，会自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。
cd llm_inference bash build.sh
运行完后，在当前目录下会生成ascend_vllm文件夹，即为昇腾适配后的vLLM代码。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1902.html
