AI开发平台MODELARTS-MindSpeed-LLM:权重文件组合方式
权重文件组合方式
适配权重文件支持以下组合方式,用户根据自己实际要求选择
训练stage |
不加载权重 |
增量训练:加载权重,不加载优化器(默认开启) |
断点续训:加载权重+优化器 |
---|---|---|---|
|
ckpt_load_type=0 |
ckpt_load_type=1 user_converted_ckpt_path=xxx,(转换MG的权重) |
ckpt_load_type=2 user_converted_ckpt_path=xxx(训练输出MG权重) |