华为云用户手册

训练预测大模型所需数据量 训练预测大模型时，所需的数据通常为表格格式，即由行和列组成的扁平化数据。具体要求如下： 行：每行代表一个样本。每行与其他行具有相同的列，并且顺序相同，这些行通常按照某种特定顺序排列。 列：每列表示一种特征。每列的数据类型应保持一致，不同列可以具有不同的数据类型。 顺序：表格中的行通常按照特定顺序排列。 行数：数据表的行数应大于5000行。 维度：数据的维度（列数）应大于10维。 数据完整性：必须确保数据中没有缺失值。

构建预测大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古预测大模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 发布预测类数据集 数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 发布预测类数据集

预测大模型支持接入的数据集类型 盘古预测大模型仅支持接入预测类数据集，不同模型所需数据见表1，该数据集格式要求请参见预测类数据集格式要求。 表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集类型 文件格式 预测大模型 时序预测分类大模型 时序分类 csv 时序预测回归大模型 时序回归 csv 融合推荐分类大模型 结构化分类 csv 融合推荐回归大模型 结构化回归 csv 融合推荐异常检测大模型 结构化分类 csv 图1 创建数据集

科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 训练日志提示“TrainErrorCodes.NotEnoughTrainData”或“TrainErrorCodes.NotEnoughValidData”报错 日志提示“TrainErrorCodes.NotEnoughTrainData”，表示训练集没有有效样本，“TrainErrorCodes.NotEnoughValidData”，表示验证集没有有效样本。 该日志表示数据集中的有效样本量为0，可能有如下原因： 数据文件特征与模型输入要求不符。 数据的时间跨度未满足模型训练要求。 请检查数据是否符合模型要求。 父主题： 训练科学计算大模型

提示词工程简介 提示词工程（Prompt Engineering）是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将大语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户更好地了解大语言模型的能力和局限性。 提示词工程不仅是关于设计和研发提示词，它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示词工程来提高大语言模型的安全性，还可以赋能大语言模型，如借助专业领域知识和外部工具来增强大语言模型的能力。

提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。 提示词撰写 提示词调优支持对提示词文本的编辑、提示词变量设置、提示词结果生成和调优历史记录管理。 提示词候选 提示词候选支持用户对调优后初步筛选的提示词进行候选管理，每个工程任务下可以保存上限9个候选提示词，进一步基于候选提示词进行比较和评估。 提示词比较 提示词比较支持选择两个候选提示词对其文本和参数进行比较，支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理，支持评估任务的创建、查询、修改、删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程

提示词基本要素 您可以通过简单的提示词（Prompt）获得大量结果，但结果的质量与您提供的信息数量和完善度有关。一个提示词可以包含您传递到模型的指令或问题等信息，也可以包含其他种类的信息，如上下文、输入或示例等。您可以通过这些元素来更好地指导模型，并因此获得更好的结果。提示词主要包含以下要素： 指令：希望模型执行的特定任务或指令，如总结、提取、生成等。 上下文：包含外部信息或额外的上下文信息，引导语言模型更好地响应。 输入数据：用户输入的内容或问题。 输出指示：指定输出的类型或格式。 提示词所需的格式取决于您希望语言模型完成的任务类型，并非所有以上要素都是必须的。

NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0” 日志提示“root: XXX valid number is 0”，表示训练集/验证集的有效样本量为0，例如： INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0，可能有如下原因： 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”，并打印出标签数据，例如： ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题： 训练NLP大模型

工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误，请联系客服解决。 结束节点 101531 结束节点初始化失败。 检查结束节点配置，可能为校验报错。 101532 结束节点模板拼接失败。 先检查模板占位符与输入是否匹配，请联系客服解决。 101533 结束节点流式处理失败。 请联系客服解决。 大模型节点 101561 大模型节点初始化失败。 检查大模型节点配置，可能为校验报错。 代码节点 101591 代码组件初始化失败。 检查代码节点配置，可能为校验报错。 101592 代码节点安全沙箱请求失败。 请联系客服解决。 101593 代码节点安全沙箱执行失败。 检查代码的语法是否有误，检查是否用到了未引用的变量。 101594 代码组件安全沙箱其他报错。 请联系客服解决。 101595 代码节点执行失败未知错误。 请联系客服解决。 消息节点 101651 消息组件初始化失败。 检查消息节点配置，可能为校验报错。 101652 消息节点缺少模板信息。 配置消息节点的提示词模板。 101653 消息节点模板拼接错误。 先检查模板占位符与输入是否匹配，若仍无法解决，请联系客服解决。 101654 消息组件执行失败。 请联系客服解决。 101655 消息组件异步执行失败。 请联系客服解决。 意图识别节点 101098 意图识别prompt模板请求失败。 检查模板占位符与输入是否匹配。 101097 意图识别调用大模型的prompt不符合模型输入的规范。 检查输入的prompt格式，消息的角色和内容。 101096 意图识别调用大模型失败。 检查消息的格式，内容以及大模型服务是否正常。 101095 意图识别用户query输入/引用解析失败。 检查用户query格式和内容。 101094 意图识别prompt模板构建失败。 检查内置模板以及输入的system prompt格式与内容。 提问器节点 101043 当单个提问器内的对话轮数超过预设轮数上限时触发该错误码，对话状态回到开始节点状态。 可通过调大对话轮数上限解决。 101047 初始化深度定制前后处理模块失败时触发该错误码。 可检查护栏配置是否符合要求。 101048 执行深度定制用户回复改写（前处理）失败时触发该错误码。 可检查前处理护栏代码。 101049 执行深度定制大模型生成的参数取值改写（后处理）失败时触发该错误码。 可检查后处理护栏代码。 101050 执行默认护栏（时间参数解析）失败时触发该错误码。 可检查支持处理的时间类型是否超出支持范围。 102053 提示词模板有误时触发该错误码。 检查提示词模板是否格式有误。 103004 大模型推理失败时触发该错误码。 请检查模型服务是否可以正常运行。 插件节点 101741 插件组件初始化失败。 检查插件组件配置，可能为校验报错。 101742 工作流插件节点参数类型转换时出错。 根据error message确定具体转换出错的参数名称，并确认类型是否正确。 101743 工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。 101744 插件定义了response，但实际插件执行结果与定义不一致。 检查插件response定义和实际插件执行结果是否匹配。 101745 工作流插件节点执行出错。 插件执行出错，可以根据具体的error message信息定位。如果message无有效信息，说明该错误属于未捕获到的异常。 105001 插件执行时发生了无法捕获的异常。 检查插件本身是否可用。 105004 插件定义时check param error。 根据对应error message信息确定具体出错的参数定义。 105005 插件定义不合法。 插件定义时的数据不合法，例如字段定义超出最长长度，具体根据error message判断。 105008 插件内部错误。 请联系客服解决。 105010 插件运行时鉴权出错。 可根据error message信息确定具体出错的鉴权问题，并检查鉴权信息的传递和插件鉴权定义是否正确。 105011 插件运行返回的响应代码非200。 可根据报信息查看实际的http返回码。 105012 插件request请求超时。 插件请求超时，检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回，超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503 工作流连接数据库失败。 请联系客服解决。 112504 缺少必要权限。 查看当前用户权限。 112513 工作流流程中存在死循环。 检查工作流画布。 112514 工作流被引用，无法删除。 查看知识型应用中是否引用了该工作流。 112600 workflow ir转化失败 需要查看工作流配置是否正确。 112941 获取workflow对话历史失败 请联系客服解决。

获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见CV大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志

查看训练指标 对于训练状态为“已完成”的任务，单击任务名称，可在“训练结果”页面查看训练指标，模型的训练指标介绍请参见图1。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 Pangu-CV-物体检测-S-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 Pangu-CV-物体检测-N-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 Pangu-CV-图像分类-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。

查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置，准备开始训练。 排队中 模型训练任务正在排队，请稍等。 运行中 模型正在训练中，训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误，需查看日志定位训练失败原因。 已完成 模型训练已完成。

数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的获取、加工、合成、标注、配比、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 加工数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 合成数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 标注数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 配比数据集 数据配比是将多个数据集按特定比例组合并生成为“加工数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 发布数据集 评估数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 发布数据集 数据发布是将数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。该格式的数据集可发布为资产，但不可应用于盘古大模型的开发中。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 父主题： 使用数据工程构建数据集

插件介绍 在Agent开发平台中，插件是大模型能力的重要扩展。通过模块化方式，插件能够为大模型提供更多专业技能和复杂任务处理能力，使其在多样化的实际场景中更加高效地满足用户需求。 通过插件接入，用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口，当任务执行时，模型会根据提示词感知适用的插件，并自动调用它们，从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务，甚至跨领域解决问题，实现对复杂问题的自动化处理。 Agent开发平台支持两种类型的插件： 预置插件：平台为开发者和用户提供了预置插件，直接可用，无需额外开发。例如，平台提供的“Python解释器插件”能够根据用户输入的问题自动生成Python代码，并执行该代码获取结果。此插件为Agent提供了强大的计算、数据处理和分析功能，用户只需将其添加到应用中，即可扩展功能。 自定义插件：为了满足更个性化的需求，平台允许开发者创建自定义插件，支持将API通过配置方式快速创建为插件，并供Agent调用。这样，开发者可以根据特定需求为应用增加专属功能。 父主题： 创建与管理插件

预览提示词效果 提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”，输出模型回复结果，用户可以基于预览的效果调整提示词文本和变量。 父主题： 撰写提示词

预测大模型选择建议 选择合适的预测大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景，选择合适的模型，从而提高模型的整体效果，详见表1。 表1 预测大模型的类型 模型名称 适用场景 盘古融合推荐异常检测大模型（Pangu-Predict-Anom-Table-2.0.0） 异常检测模型用于识别数据集中的异常或离群点，常应用于安全、质量控制等领域。 矿山行业：进行设备故障检测，例如监控设备运行数据，识别异常行为，防止设备故障。 电力行业：进行电网异常检测，例如监控电网运行状态，识别异常情况，防止电网故障。 盘古时序预测分类大模型（Pangu-Predict-Cla-TS-2.1.0） 分类模型用于预测离散类别，可以应用于各种分类任务。 矿山行业：进行智能洗选，例如根据煤炭的特征，将煤炭分类，提高洗选效率，降低能耗。 油气行业：进行地质分层，例如基于地质数据，对不同地层进行分类，识别储层和非储层，提高勘探和开发效率。进行岩性识别，例如对不同岩石类型进行分类，帮助识别岩石的性质和特征，指导钻井和开采。进行流体识别，例如根据测井数据，识别储层中的油、气、水等流体类型。 预测大模型提供了两种分类大模型，支持多种场景下的分类任务： 盘古时序预测分类大模型，支持时序数据分类预测任务。 盘古融合推荐分类大模型，支持结构化数据分类预测任务。 盘古融合推荐分类大模型（Pangu-Predict-Cla-Table-2.0.0） 盘古时序预测回归大模型（Pangu-Predict-Reg-TS-2.1.0） 回归模型用于预测连续性数值，在工业场景中广泛用于工艺参数和性能指标的预测。 矿山行业：进行智慧配煤，例如预测焦炭成分质量，优化配煤比例，提高焦炭质量，降低生产成本。进行智能浓缩，例如预测焦炭成分质量，优化配煤比例，提高焦炭质量，降低生产成本。 油气行业：进行储层参数预测，例如预测储层的物理参数，如孔隙度、渗透率等，提高油气资源的开发利用效率。进行产能分级预测，例如预测油井的产能等级，优化油气生产计划。 电力行业：进行电力负荷预测，例如根据历史负荷数据，预测未来的电力负荷，优化电力生产和调度。 钢铁行业：进行钢水温度预测，例如预测钢水温度，提高浇注和连铸的准确性和效率。 预测大模型提供了两种回归大模型，支持不同场景下的回归任务： 盘古时序预测回归大模型，支持时序数据回归预测任务。 盘古融合推荐预测大模型，支持结构化数据回归预测任务。 盘古融合推荐回归大模型（Pangu-Predict-Reg-Table-2.0.0）

数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，支持将不同来源和格式的数据导入平台，并生成“原始数据集”。 支持的接入方式：通过OBS服务导入数据。 支持的数据类型：文本、图片、视频、气象、预测、其他。 通过这些功能，用户可以轻松将大量数据导入平台，为后续的数据加工和模型训练等操作做好准备。 数据加工：平台提供了数据加工、数据合成、数据标注、数据配比的加工操作，旨在确保原始数据能够满足各种业务需求和模型训练的标准，生成“加工数据集”。 数据加工：数据加工旨在通过使用数据集加工算子对数据进行预处理操作，针对不同类型的数据集，平台设计了专用的加工算子，以确保数据符合模型训练的标准和业务需求。 数据合成：数据合成利用预置或自定义的数据指令对原始数据集进行处理，并根据设定的轮数生成新的数据。 数据标注：数据标注旨在为无标签的数据集添加准确的标签，标注数据的质量直接影响模型的训练效果和精度。针对不同数据集平台支持人工标注与AI预标注两种形式。 其中，图片Caption、视频Caption标注项支持AI预标注功能。 数据配比：将多个数据集按照特定比例关系组合并为一个“加工数据集”的过程，确保数据的多样性、平衡性和代表性。 通过数据加工操作，平台能够有效清理噪声数据、标准化数据格式，提升数据集的整体质量。 数据发布：平台提供了数据评估、数据发布操作，旨在通过数据质量评估确保数据满足大模型训练的多样性、平衡性和代表性需求，并促进数据的高效流通与应用，生成“发布数据集”。 数据评估：数据评估通过对数据集进行系统的质量检查，依据评估标准评估数据的多个维度，旨在发现潜在问题并加以解决。 数据发布：将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 支持发布的数据集格式为标准格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。 在集成了数据获取、数据加工、数据发布功能外，平台还支持对原始数据集、加工数据集、发布数据集、数据合成指令进行一站式管理。在大规模数据集的构建过程中，ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性，确保了数据处理的各个环节都能紧密协作，快速响应不断变化的业务需求和技术要求。

数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估和数据发布操作，旨在通过数据质量评估，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式，还要求根据任务需求评估数据集效果，确保数据集在规模、质量和内容上符合模型训练的标准。 数据评估 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 数据发布 数据发布是将数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。支持的发布格式为标准格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。 通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。

数据发布意义 数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义： 多格式支持 对于文本类、图片类数据集，平台支持多种数据发布格式，包括“标准格式”、“盘古格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节，确保数据集符合模型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。

构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 加工文本类数据集 合成文本类数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 合成文本类数据集 标注文本类数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 配比文本类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 配比文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 评估文本类数据集 发布文本类数据集 发布流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 发布文本类数据集

训练NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表2。 表2 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N2 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N4 微调 - 1000条/每场景 ≥ 1万条/每场景 4K版本：4096 32K版本：32768 预训练 4GB(等价10亿Tokens) - - 4K版本：4096 32K版本：32768 DPO强化学习 5万 ~ 15万条 1000条 -

NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1 训练NLP大模型数据集类型要求 基模型 训练场景 数据集类型 数据集内容 文件格式 NLP 预训练 文本 预训练文本 jsonl 微调 文本 单轮问答 jsonl、csv 文本 多轮问答 jsonl 文本 单轮问答（人设） jsonl、csv 文本 多轮问答（人设） jsonl 强化学习（DPO） 文本 偏好优化DPO jsonl

预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不同，回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序分类、时序回归 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，回归预测目标列要求为连续型数据、分类预测目标列要求为离散数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。 时序预测必须要包含一个时间列，时间列值的格式示例为 2024-05-27 或 2024/05/27 或 2024-05-27 12:00:00 或 2024/05/27 12:00:00 。 示例如下： timestamp,feature1,feature2,target 2024-05-27 12:00:00,10.5,20.3,100 2024-05-27 12:01:00,10.6,20.5,101 2024-05-27 12:02:00,10.7,20.7,102 2024-05-27 12:03:00,10.8,20.9,103 2024-05-27 12:04:00,10.9,21.0,104 从OBS导入：单个文件大小不限制，文件数量不限制。 结构化分类、结构化回归 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，回归预测目标列要求为连续型数据，分类预测目标列要求为离散数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。 示例如下： feature1,feature2,target 10.5,20.3,100 10.6,20.5,101 10.7,20.7,102 10.8,20.9,103 10.9,21.0,104 从OBS导入：单个文件大小不限制，文件数量不限制。 父主题： 数据集格式要求

修改盘古子用户权限 当需要修改空间内某个子用户权限时可以按如下步骤操作： 登录ModelArts Studio大模型开发平台。 进入需要修改子用户权限的空间，在空间内单击左侧导航栏“空间管理”，在“角色管理”页签，可以查看各角色名称及其权限的描述。 图10 角色管理 单击进入“成员管理”页签。 如图，以授权子用户“模型开发工程师”权限为例。单击用户列表操作栏的“编辑”，勾选需要赋予用户的角色，单击“确认”。 图11 授权子用户“模型开发工程师”权限

添加盘古子用户至工作空间 在添加盘古子用户至工作空间前，请先完成创建盘古子用户。 登录ModelArts Studio大模型开发平台。 进入需要添加子用户的空间，在空间内单击左侧导航栏“空间管理”，并进入“成员管理”页签。 如图，以添加子用户为“模型开发工程师”角色为例。在搜索框中搜索子用户名称，在“请选择角色”选项栏中设置用户角色，设置完成后单击右侧“添加”，将该用户添加至本空间。 图9 添加成员为“模型开发工程师”角色

创建盘古子用户 创建盘古子用户步骤如下： 使用主账号登录 IAM 服务控制台。 左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息，单击“下一步”。 配置用户信息时，需要勾选“编程访问”，如果未勾选此项，会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。 图8 加入用户组

创建用户组 管理员可以创建用户组，并给用户组授予策略或角色，然后将用户加入用户组，使得用户组中的用户获得相应的权限。 创建用户组的步骤如下： 使用主账号登录IAM服务控制台。 左侧导航栏中，选择“用户组”页签，单击右上方的“创建用户组”。 图1 创建用户组 在“创建用户组”页面，输入“用户组名称”，单击“确定”，创建用户组。 返回用户组列表，单击操作列的“授权”。 图2 用户组授权 参考表1，在搜索框中搜索授权项，为用户组设置权限，选择后单击“下一步”。 表1 授权项 授权项 说明 Agent Operator 拥有该权限的用户可以切换角色到委托方账号中，访问被授权的服务。 Tenant Administrator 全部云服务管理员（除IAM管理权限）。 Security Administrator 统一身份认证 服务（除切换角色外）所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略，系统会自动推荐授权范围方案。 可以选择“所有资源”，即用户组内的IAM用户可以基于设置的授权项使用账号中所有的企业项目、区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如 对象存储服务 （OBS）、内容分发网络（CDN）等。 选择完成后，单击“确定”。 图4 设置最小授权范围 单击“完成”，完成用户组授权。 图5 完成授权

图文文本语言过滤 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型：提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。 参数配置样例： 去重样例： 加工前： 参数配置： 加工后：

图文文本长度过滤 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型：过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度统计为1。 参数配置样例： 过滤样例： 加工前： 参数配置： 加工后：

图文去重 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型： 1.基于结均化图片去重图文; 2.判断相同文本对应不同的图片数据是否超过单文本最大图片数阈值，如果超过则随机删除多余图片， 仅保留阈值以内的图文数量 参数配置样例： 去重样例： 加工前： 参数配置： 加工后：