AI开发平台MODELARTS-准备代码:代码目录介绍

时间:2024-06-17 15:07:55

代码目录介绍

AscendCloud-3rdLLM代码包结构介绍如下:
xxx-Ascend                #xxx表示版本号
    ├──llm_evaluation  #推理评测代码包
          ├──benchmark_eval   #精度评测
          ├──benchmark_tools  #性能评测
    ├──llm_train       #模型训练代码包
          ├──AscendSpeed  #基于AscendSpeed的训练代码
                 ├──AscendSpeed  #加速库
                 ├──ModelLink   #基于ModelLink的训练代码
                 ├──scripts/    #训练需要的启动脚本

本教程需要使用到的训练相关代码存放在llm_train/AscendSpeed目录下,具体文件介绍如下:

├──llm_train       #模型训练代码包
          ├──AscendSpeed   #基于AscendSpeed的训练代码
                 ├──AscendSpeed  #加速库 
                 ├──ModelLink   #基于ModelLink的训练代码,数据预处理脚本
                 ├──scripts/    #训练需要的启动脚本,调用ModelLink                    
                         ├──baichuan2   #Baichuan2的训练代码
                              ├──baichuan2.sh                 #Baichuan2训练脚本    
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1914.html