W8A8量化权重生成 介绍如何将BF16权重量化为W8A8的权重，具体操作步骤如下。 在Server机器上创建权重量化后的存放目录${path-to-file}/deepseekV3-w8a8或${path-to-file}/deepseekR1-w8a8目录。 下载msit源码，请下载指定分支br_noncom_MindStudio_8.0.0_POC_20251231。 git clone -b br_noncom_MindStudio_8.0.0_POC_20251231 https://gitee.com/ascend/msit.git 进入到msit/msmodelslim的目录；并在进入的msmodelslim目录下，运行安装脚本install.sh。 cd msit/msmodelslim
bash install.sh 执行install过程会下载依赖包，因此需要确保能够访问到pip源。 进入到msit/msmodelslim/example/DeepSeek目录，执行转换命令。 BF16权重路径是${path-to-file}/deepseekV3-bf16，例如：/home/data/deepseekV3-bf16，将量化后的W8A8权重输出到${path-to-file}/deepseekV3-w8a8，例如：/home/data/deepseekV3-w8a8，可以使用以下命令，此处以deepseekV3为例。 cd example/DeepSeek
python3 quant_deepseek_w8a8.py --model_path ${path-to-file}/deepseekV3-bf16 --save_path ${path-to-file}/deepseekV3-w8a8 quant_deepseek_w8a8.py脚本文件在下载的msit源码包目录msit/msmodelslim/example/DeepSeek中。 量化后的权重文件再复制到另外一台机器的相同目录。
