AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step3 配置NPU环境
Step3 配置NPU环境
在Notebook的terminal中执行如下命令进行环境配置。
配置需要的NPU卡。
export ASCEND_RT_VISIBLE_DEVI CES =0,1,2,3
0,1,2,3修改为需要使用的卡,如需使用全部8张卡,修改为0,1,2,3,4,5,6,7。
配置PYTHONPATH。
export PYTHONPATH=$PYTHONPATH:${vllm_path}
${vllm_path}:指定到ascend_vllm文件夹的绝对路径。
进入工作目录。
cd ascend_vllm