AI开发平台MODELARTS-附录：大模型推理常见问题:问题5：使用AWQ转换llama3.1系列模型权重出现报错

时间：2025-04-09 09:16:49

AI开发平台MODELARTS 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）

问题5：使用AWQ转换llama3.1系列模型权重出现报错

使用AWQ转换llama3.1系列模型权重出现报错：ValueError: 'rope_scaling' must be a dictionary with two fields, 'type' and 'factor'

解决方法：

该问题通过将transformers升级到4.44.0，修改对应transformers中的transformers/models/llama/modeling_llama.py，在class LlamaRotaryEmbedding中的forward函数中增加self.inv_freq = self.inv_freq.npu()

上一篇：AI开发平台MODELARTS-附录：大模型推理常见问题:问题2：在推理预测过程中遇到ValueError:User-specified max_model_len is greater than the drived max_model_len

下一篇：AI开发平台MODELARTS-附录：大模型推理常见问题:问题3：使用llama3.1系列模型进行推理时报错

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

AI开发平台MODELARTS-附录：大模型推理常见问题:问题5：使用AWQ转换llama3.1系列模型权重出现报错

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！