检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配比并发布数据集 数据配比介绍 不同数据源与大语言模型某些特定能力的学习具有紧密的联系,根据来源不同,预训练数据主要分为两种类型: 通用文本数据和行业文本数据。通用文本数据涵盖了网页、书籍和对话文本等,主要是为了保留模型的通用能力,避免在下游任务上过拟合。
配比并发布数据集 数据配比介绍 不同数据源与大语言模型某些特定能力的学习具有紧密的联系,根据来源不同,微调数据主要分为两种类型: 通用问答数据和行业问答数据。通用问答数据涵盖了数学、代码和逻辑推理等,主要是为了保留模型的通用能力。 行业指令数据主要为了提升模型解决下游任务的能力。
用户在盘古大模型平台训练并发布的模型。 管理模型资产 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“空间资产 > 模型”。
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布文本类数据集。
配比视频类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布视频类数据集。
构建NLP大模型微调数据集 获取源数据 预处理数据 导入数据 加工数据集 评估数据集 配比并发布数据集 父主题: 构建数据集实践
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布图片类数据集。
构建NLP大模型增量预训练数据集 获取源数据 预处理数据 导入数据 加工数据集 评估数据集 配比并发布数据集 父主题: 构建数据集实践
num 会议室人数 String 图11 会议室预定提问器-输入输出参数 参数校验配置见下图。
全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署,4K支持256并发,32K支持256并发。 Pangu-NLP-N1-128K-3.1.34 128K 2024年11月发布的版本,仅支持128K序列长度推理,4个推理单元2并发。
每个Executor多个核同时能跑多个task任务,相当于增大了任务的并发度。但是由于所有核共用Executor的内存,所以要在内存和核数之间做好平衡。 numExecutors * executorMemory最小值为4,最大值为16。
单击“新增版本”,并配置模型版本、并发数、QPM、URL、Param、Body、Response。 模型版本:自定义。 并发数:可以根据模型的性能进行配置,范围1~32。 QPM:可以根据模型的性能进行配置,范围1~5000。 URL:模型推理地址。
表2 推理特性 推理精度 FP16 INT8 序列长度 32K 32K 起推规格(推理单元) 32 16 并发 256 256 父主题: 开发Deepseek大模型
单击“新增版本”,并配置模型版本、并发数、QPM、URL、Param、Body、Response。 模型版本:自定义。 并发数:可以根据模型的性能进行配置,范围1~32。 QPM:可以根据模型的性能进行配置,范围1~5000。 URL:模型推理地址。
单击“新增版本”,并配置版本、并发数、QPM、URL、Param、Body、Response。 版本:自定义。 并发数:可以根据模型的性能进行配置,范围1~32。 QPM:可以根据模型的性能进行配置,范围1~5000。 URL:模型推理地址。
每个Executor多个核同时能跑多个task任务,相当于增大了任务的并发度。但是由于所有核共用Executor的内存,所以要在内存和核数之间做好平衡。 numExecutors * executorMemory最小值为4,最大值为16。
每个Executor多个核同时能跑多个task任务,相当于增大了任务的并发度。但是由于所有核共用Executor的内存,所以要在内存和核数之间做好平衡。 numExecutors * executorMemory最小值为4,最大值为16。
stream: true Request Body: { "query": "查询A12会议室在9:00到10:00的状态" } 响应示例 data:{"event":"start","createdTime":1735558575017} data:{"event
如:帮我预定会议室、帮我查询天气预报。 图2 配置推荐问题 配置追问 追问:在每轮回复后,默认根据对话内容提供提问建议,可以挖掘用户的潜在需求。 在“对话体验 > 追问”中,可选择是否开启“追问”功能,若开启,模型在每轮回复后,默认根据对话内容提供提问建议。
16个推理单元即可部署,32K支持256并发。 DeepSeek-V3-32K-0.0.2 32K 2025年6月发布的版本,支持32K序列长度推理。16个推理单元即可部署,32K支持256并发。该版本基模型为DeepSeek V3-0324开源版本模型。