支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(MindSpeed-LLM) qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(Llama-Factory) llama3.1-8b llama3.1-70b llama3.2-1b llama3.2-3b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b glm4-9b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b qwen2.5-vl-7b qwen2.5-vl-72b LLM开源大模型基于Lite Server适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： QwQ-32B DeepSeek-R1-Distill-Llama-8B DeepSeek-R1-Distill-Llama-70B DeepSeek-R1-Distill-Qwen-1.5B DeepSeek-R1-Distill-Qwen-7B DeepSeek-R1-Distill-Qwen-14B DeepSeek-R1-Distill-Qwen-32B bge-reranker-v2-m3 internvl2.5-38B qwen2.5-vl-7B qwen2.5-vl-72B Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持W4A16、W8A16和W8A8量化 升级vLLM 0.7.2 部分模型支持Reasoning Outputs 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： Stable Diffusion 1.5（Diffusers、ComfyUI） Stable Diffusion XL（Diffusers、ComfyUI） Stable Diffusion 3（Diffusers） Stable Diffusion 3.5（Diffusers、ComfyUI） Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 CogVideoX1.5 5b Cogvideo 5b Deepseek Janus-Pro 1b Deepseek Janus-Pro 7b Wan2.1 1.3b Wan2.1 14b 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Stable Diffusion 1.5（Diffusers、Kohya_ss） Stable Diffusion XL（Diffusers、Kohya_ss） Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 Bunny-Llama-3-8B-V 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.0-py_3.10-hce_2.0.2412-aarch64-snt9b-20250207103006-97ebd68 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：24.1.0.6 CANN：cann_8.0.rc3、8.0.0.B100 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是 CCE Turbo v1.28及以上

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.5.902-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.5.902版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(MindSpeed-LLM，原名ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b MiniCPM-2B MiniCPM3-4B LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B internvl2.5-4B internvl2.5-8B internvl2.5-78B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 gte-Qwen2-7B-instruct bge-large-en-v1.5 bge-base-en-v1.5 llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 支持流水线并行 支持 input_embed输入 分离部署支持调优工具 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 SD3 SD3.5 CogVideoX1.5 5b Cogvideo 5b 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 Bunny-Llama-3-8B-V 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核 模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.5.901-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.5.901 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 gte-Qwen2-7B-instruct llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 支持流水线并行 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 SD3 SD3.5 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.912-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Stable-diffusion-webui Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.911-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241114095658-d7e26d8 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR，从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3 -

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-26B internvl2-40B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-7B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.0 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 Open-Sora 1.2 基于DevServer适配PyTorch NPU训练推理指导 CogVideoX基于DevServer适配PyTorch NPU训练推理指导 LLama-VID基于DevServer适配PyTorch NPU推理指导 InternVL2基于DevServer适配PyTorch NPU训练指导 MiniCPM-V2.6基于DevServer适配PyTorch NPU训练推理指导 Qwen-VL基于DevServer适配PyTorch NPU的Finetune训练指导 LLaVA-Next基于DevServer适配PyTorch NPU训练指导 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert Yolov8基于DevServer适配MindSpore Lite推理指导 Bert基于DevServer适配MindSpore Lite推理指导 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.910-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。