AI开发平台MODELARTS-LoRA微调训练:Step2 LoRA微调权重转换
Step2 LoRA微调权重转换
LoRA微调训练前,需要先把训练权重文件转换为Megatron格式。
LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件转换为Megatron格式后的结果也是通用的。
如果在SFT微调任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用SFT微调中的权重转换结果。
如果前面没有执行HuggingFace权重转换任务,可以参考SFT微调权重转换章节完成。