华为云首页用户手册

盘古大模型 PANGULARGEMODELS-使用数据工程构建NLP大模型数据集:NLP大模型支持接入的数据集类型

盘古大模型 PANGULARGEMODELS-使用数据工程构建NLP大模型数据集:NLP大模型支持接入的数据集类型

时间：2025-06-06 14:26:16

盘古大模型 PANGULARGEMODELS 开发盘古NLP大模型

NLP大模型支持接入的数据集类型

盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。

表1 训练NLP大模型数据集类型要求
基模型	训练场景	数据集类型	数据集内容	文件格式
NLP	预训练	文本	预训练文本	jsonl
	微调	文本	单轮问答	jsonl、csv
		文本	多轮问答	jsonl
		文本	单轮问答（人设）	jsonl、csv
		文本	多轮问答（人设）	jsonl
	强化学习（RFT）	文本	单轮问答	jsonl
	强化学习（DPO）	文本	偏好优化DPO	jsonl

上一篇：盘古大模型 PANGULARGEMODELS-使用数据工程构建NLP大模型数据集:训练NLP大模型所需数据量

下一篇：盘古大模型 PANGULARGEMODELS-使用数据工程构建NLP大模型数据集:训练NLP大模型所需数据量

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

盘古大模型 PANGULARGEMODELS-使用数据工程构建NLP大模型数据集:NLP大模型支持接入的数据集类型

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题