AI开发平台MODELARTS-Eagle投机小模型训练:步骤五：训练生成权重转换成可以支持vLLM推理的格式

时间：2025-06-09 09:05:48

AI开发平台MODELARTS

步骤五：训练生成权重转换成可以支持vLLM推理的格式

将训练完成后的权重文件（.bin文件或. safetensors文件），移动到下载好的开源权重目录下（即步骤四：执行训练中config文件所在目录）。

然后在llm_tools/spec_decode/EAGLE文件夹，执行

python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址 --draft-path 小模型权重地址 --base-weight-name 大模型包含lm_head的权重文件名 --draft-weight-name 小模型权重文件名

具体参数解释如表4所示。

表4 训练后权重转换适配vllm阶段
py文件名称	配置项	取值类型	配置说明
convert_eagle_ckpt_to_vllm_compatible.py	--base-path	str	LLM原始模型权重地址，例如 ./llama2-7b-chat
	--draft-path	str	Eagle模型权重存放地址，即步骤四：执行训练中config文件所在目录，例如 ./eagle_llama2-7b-chat
	--base-weight-name	str	为大模型包含lm_head的权重文件名，可以在base-path目录下的model.safetensors.index.json文件获取，例如llama2-7b-chat的权重名为pytorch_model-00001-of-00002.bin
	--draft-weight-name	str	Eagle小模型权重文件名，其格式为.bin文件或者.safetensors文件，即刚才移动的.bin文件或者.safetensors文件。