AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step2 准备模型代码包和权重文件
时间：2025-05-19 09:57:51
下载AI开发平台MODELARTS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
Step2 准备模型代码包和权重文件
- 将OBS中的模型权重和表1获取的AscendCloud-3rdLLM-6.3.905-xxx.zip代码包上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。
import moxing as mox obs_dir = "obs://${bucket_name}/${folder-name}" local_dir = "/home/ma-user/work/qwen-14b" mox.file.copy_parallel(obs_dir, local_dir)实际操作如下图所示。图1 上传OBS文件到Notebook的代码示例
- 构建推理代码。
解压AscendCloud-3rdLLM-6.3.905-xxx.zip代码包。
unzip AscendCloud-3rdLLM-6.3.905-*.zip
运行推理构建脚本build.sh文件，自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。
cd llm_inference bash build.sh
运行完后，在当前目录下会生成ascend_vllm文件夹，即为昇腾适配后的vLLM代码。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1969.html
