AI开发平台MODELARTS-场景介绍:操作流程

时间：2024-06-17 17:57:10

AI开发平台MODELARTS

图1 操作流程图

表1 操作任务流程说明
阶段	任务	说明
准备工作	准备环境	本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。
	准备代码	准备AscendSpeed训练代码、分词器Tokenizer和推理代码。
	准备数据	准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。
	准备镜像	准备训练模型适用的容器镜像。
预训练	预训练	介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。
微调训练	SFT全参微调	介绍如何进行SFT全参微调。
微调训练	LoRA微调训练	介绍如何进行LoRA微调训练。
推理前的权重转换	-	模型训练完成后，可以将训练产生的权重文件用于推理。推理前参考本章节，将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。如果无推理任务或者使用开源Huggingface权重文件进行推理，可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。