AI开发平台MODELARTS-附录：大模型推理常见问题:问题13：使用SmoothQuant做权重转换时报错

时间：2025-04-09 09:16:49

图8 权重转换报错

涉及模型：qwen2-1.5b, qwen2-0.5b

解决方法：修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/examples/smoothquant_model.py中的main函数，保存模型时将safe_serialization指定为False

int8_model.save_pretrained(output_path,safe_serialization=False)

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

AI开发平台MODELARTS-附录：大模型推理常见问题:问题13：使用SmoothQuant做权重转换时报错

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！