云服务器内容精选

华为云首页用户手册

LLM大语言模型

AI开发平台MODELARTS-ChatGLM系列模型基于Standard的的全参微调训练:操作流程

操作流程开始使用如下样例前，请务必按准备工作指导完成必要操作。 Step1 准备算法：在AI Gallery中订阅算法。 Step2 准备训练数据：准备训练数据。创建OBS桶和文件夹，并将训练数据上传到OBS中。 Step3 全量微调训练：对算法进行全量微调。 Step4 部署模型并推理预测：训练完成后，部署模型并进行推理预测。 Step5 清理资源：运行完成后，停止服务并删除OBS中的数据，避免不必要的资源浪费。

AI开发平台MODELARTS LLM大语言模型
AI开发平台MODELARTS-ChatGLM系列模型基于Standard的的全参微调训练:Step2 准备训练数据

Step2 准备训练数据 ChatGLM-6B-finetune训练使用的是ADGEN数据集，可以从Tsinghua Cloud下载。下载数据集之后，请参考以下要求创建OBS桶中的文件夹，并上传数据到OBS桶中，用于后续的算法微调训练。 OBS文件夹目录要求如下： {chatglm-mindspore-ma} # OBS对象桶，用户可以自定义名称，例如：chatglm-mindspore-ma -{data} # OBS文件夹，用于存放训练输入数据，用户可以自定义名称，例如：data -{AdvertiseGen} # OBS文件夹，用于存放训练输入数据，用户可以自定义名称，例如：AdvertiseGen - train.json # 训练数据集 - dev.json # 评估数据集 -{OBS文件夹} #训练输出路径，用于存放训练生成的模型文件等，用户可以自定义名称，例如：output -{OBS文件夹} #作业日志路径，用于存放训练日志，用户可以自定义名称，例如：log 本文档中使用的是开源数据集，主要用于跑通流程和体验，客户的实际业务开展需要根据数据集格式要求匹配自己的业务数据来做精细的调参。

AI开发平台MODELARTS LLM大语言模型