盘古大模型 PANGULARGEMODELS-NLP大模型训练流程与选择建议:NLP大模型训练流程介绍
时间：2025-06-06 14:26:16
下载盘古大模型 PANGULARGEMODELS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
NLP大模型训练流程介绍
NLP大模型的训练分为两个关键阶段：预训练和微调。
- 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。
针对预训练阶段，还可以继续进行训练，这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续训练模型。增量预训练旨在使模型能够适应新的领域或数据需求，保持其长期的有效性和准确性。
- 微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。
针对微调阶段，微调后的模型可以直接部署，也可以继续进行强化学习（DPO）训练，以进一步对齐任务场景下的用户偏好，例如模型回答的风格、模型的价值观等。注意，目前盘古NLP大模型仅支持对N4系列进行DPO微调训练。
support.huaweicloud.com/usermanual-pangulm/pangulm_04_0168.html
