华为云用户手册

  • 科学计算大模型支持的平台操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2 盘古科学计算大模型支持的操作 模型名称 模型版本及时间分辨率 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-AI4S-Global-Ocean v1.1.2(时间分辨率:24h) - - - - √ √ Pangu-AI4S-Regional-Ocean v1.1.2(时间分辨率:24h) √ √ - - √ √ Pangu-AI4S-Global-Ecology v1.1.2(时间分辨率:24h) - - - - √ √ Pangu-AI4S-Global-Swell v1.1.2(时间分辨率:24h) - - - - √ √ Pangu-AI4S-Global-Weather v1.1.2(时间分辨率:1h) √ √ - - √ √ Pangu-AI4S-Global-Weather v1.2.2(时间分辨率:3h) √ √ - - √ √ Pangu-AI4S-Global-Weather v1.3.2(时间分辨率:6h) √ √ - - √ √ Pangu-AI4S-Global-Weather v2.1.2(时间分辨率:6h) - - - - √ √ Pangu-AI4S-Global-Weather v1.4.2(时间分辨率:24h) √ √ - - √ √ Pangu-AI4S-Global-Precip v1.1.2(时间分辨率:6h) - - - - √ √ Pangu-AI4S-Regional-Pollution v1.1.2(时间分辨率:1h) √ √ - - √ √
  • 多模态大模型支持的平台操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古多模态大模型支持的具体操作: 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-MM-M2-Text2Video-1.0.0 - - - - √ √ Pangu-MM-M2-AIGVideo-1.0.0 √ √ - - √ √ Pangu-MM-M2-Img2Txt-12K-V3.1.1 √ √ - - - - Pangu-MM-M2-Img2Txt-4K-3.1.1 √ √ - - - -
  • 多模态大模型规格 盘古多模态大模型融合文本、图像、视频等数据,利用深度学习实现跨模态语义对齐,实现多种模态的理解与生成。 ModelArts Studio大模型开发平台为用户提供了多种规格的多模态大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-MM-M2-Text2Video-1.0.0 2025年4月发布的版本,支持16:9、9:16、1:1、4:3、3:4等5种长宽比、时长5s的视频生成,需要8个推理单元部署。 Pangu-MM-M2-AIGVideo-1.0.0 2025年4月发布的版本,图生视频支持16:9、9:16、1:1、4:3、3:4、原始比例等6种长宽比,时长5s的视频生成,视频续写支持16:9、9:16、1:1、4:3、3:4、原始比例等6种长宽比,续写96帧(24帧率的视频续写约4s),需要8个推理单元部署。 Pangu-MM-M2-Img2Txt-12K-V3.1.1 2025年3月发布的多模态理解大模型首版本。该模型具有百亿级参数量,支持图像理解,支持预训练、微调。 Pangu-MM-M2-Img2Txt-4K-3.1.1 盘古多模态图生文千亿级大模型,支持预训练、微调,在线推理。
  • 搜索规划大模型支持的平台操作 在选择和使用Pangu-SearchPlan-ZH_EN时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作: 表8 搜索规划大模型支持的平台操作 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-SearchPlan-ZH_EN-7.1.5.1 - - - √ -
  • 向量&重排大模型支持的平台操作 在选择和使用Pangu-EmbeddingRank-zh时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作: 表5 表5 向量&重排大模型支持的平台操作 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-EmbeddingRank-zh-2.0.3 - - - √ -
  • BI专业大模型支持的平台操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作: 表2 BI专业大模型支持的平台操作 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130 - - - √ - Pangu-NLP-BI-32K-20241130 - - - √ -
  • BI专业大模型规格 盘古BI专业大模型是盘古百亿级NL2SQL模型,适用于问数场景下的自然语言问题到SQL语句生成,支持常见的聚合函数(如去重、计数、平均、最大、最小、合计)、分组、排序、比较、条件(逻辑操作、离散条件、范围区间等条件的混合和嵌套)、日期操作,支持多表关联查询。 与非专业大模型相比,专业大模型针对特定场景优化,更适合执行数据分析、报告生成和业务洞察等任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的专业大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 BI专业大模型规格 模型支持区域 模型类别 模型名称 说明 西南-贵阳一 BI大模型 Pangu-NLP-BI-4K-20241130 2024年11月发布的版本,支持4K序列长度推理,支持4个推理单元部署。 Pangu-NLP-BI-32K-20241130 2024年11月发布的版本,支持32K序列长度推理,支持8个推理单元部署。
  • 图像搜索 模型规格 盘古搜索模型,用于服装标签场景,基于transformer结构,其中Large模型的参数量31M,模型推理使用固定的尺寸,推理速度快,兼具模型效果和推理性能。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-AIKits-ImageSearch-Large-Tagging-1.0.0 2025年5月发布的版本,基于transformer结构,其中Large模型的参数量31M,模型推理使用固定的尺寸,推理速度快,兼具模型效果和推理性能。
  • 盘古NLP行业大模型支持的平台操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作: 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 体验中心 Pangu-Medical-NLP-N2-32K-3.1.35 √ √ √ √ √ √
  • 盘古NLP行业大模型 盘古NLP行业大模型是业界首个超千亿参数的中文预训练大模型,结合了各大行业预训练和多源知识,借助持续学习不断吸收海量文本数据,持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古NLP大模型还具备模型调用等高级特性,可在智能客服、创意营销等多个典型场景中,提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP行业大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-Medical-NLP-N2-32K-3.1.35 32K 4K 2025年3月发布版本,支持32K序列长度训练,32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署,支持128并发。此模型版本差异化支持INT8量化特性。
  • 三方大模型规格 除了盘古自研模型外,当前 ModelArts Studio 还面向 NLP 领域,集成热门的开源三方NLP模型以供客户选择使用。 例如:DeepSeek V3 发布于2024年12月26日,是一个MoE 架构的 LLM 模型,总共 671B 参数量,在数学、代码类相关评测集上取得了超过 GPT-4.5 的得分成绩。DeepSeek R1 与 DeepSeek V3 结构类似,其于2025年1月20号正式开源,其作为强推理能力模型的杰出代表,引起了极大的关注。DeepSeek R1在数学推理、代码生成等核心任务上追平甚至超过 GPT-4o 和 o1 等顶尖闭源模型的效果,成为业界公认的 LLM 领先模型。 ModelArts Studio大模型开发平台为用户提供了多种规格的三方NLP大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 DeepSeek-V3-32K-0.0.1 32K 8K 2025年3月发布的版本,支持32K序列长度推理。16个推理单元即可部署,32K支持256并发。 DeepSeek-R1-32K-0.0.1 32K 4K 2025年3月发布的版本,支持32K序列长度推理。16个推理单元即可部署,32K支持256并发。
  • 已下线的模型 本文所列模型均已下架。 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 Pangu-NLP-N1-Chat-32K-20241030 32K 4K 2024年10月发布的版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署,4K支持64并发,32K支持32并发。 Pangu-NLP-N1-Chat-32K-20241130 32K 4K 2024年11月发布的版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署,4K支持64并发,32K支持32并发。 Pangu-NLP-N1-Chat-128K-20241030 128K 4K 2024年10月发布的版本,支持128K序列长度推理,8个推理单元部署,支持2并发。 Pangu-NLP-N1-Chat-128K-20241130 128K 4K 2024年11月发布的版本,支持128K序列长度推理,8个推理单元部署,支持2并发。 Pangu-NLP-N2-Base-20241030 32K / 2025年10月发布的版本,支持8K序列长度训练,预训练32个训练单元起训。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布的版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署,4K支持64并发,32K支持64并发。 Pangu-NLP-N2-32K-3.1.35 32K 4K 2024年12月新增版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署,4K支持192并发,32K支持128并发。 Pangu-NLP-N4-Chat-4K-20241130 128K 4K 2024年11月发布的版本,支持4K训练,4K推理。64个训练单元起训,8个推理单元部署。此模型版本支持全量微调、LoRA微调、DPO训练、INT8量化、断点续训、模型评测、在线推理、能力调测特性。4K模型版本支持64并发。 Pangu-NLP-N4-Chat-32K-20241130 128K 4K 2024年11月发布的版本,支持32K训练,32K推理。96个训练单元起训,8个推理单元部署。此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、模型评测、在线推理、能力调测特性。32K模型版本支持64并发。 父主题: 模型能力与规格
  • gds.conf参数说明 表1 gds.conf配置说明 属性 说明 取值范围 name 标识名。 - ip 监听ip地址。 IP需为合法IP地址。 IP的默认值:127.0.0.1 port 监听端口号。 取值范围:1024~65535,正整数。 默认值:8098。 data_dir 数据文件目录。 - err_dir 错误日志文件目录。 默认值:数据文件目录 log_file 日志文件路径。 - host 设置允许连接到GDS的主机IP地址(参数为CIDR格式,仅支持linux系统)。 - recursive 是否递归数据文件目录。选择true时会递归读取location指定的目录层级下所有的同名文件。 取值范围: true:递归 。 false:不递归。 默认值:false。 daemon 是否以DAEMON(后台)模式运行。 取值范围: true:以DAEMON模式运行。 false:不以DAEMON模式运行。 默认值:false。 parallel 导入工作线程并发数目。 取值范围:0~200,正整数。 默认值:8。
  • 背景信息 GDS的版本需与集群版本保持一致(如:GDS V100R008C00版本与DWS 1.3.X版本配套),否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后,请按照操作步骤中的办法下载 GaussDB (DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时,GaussDB(DWS)也会进行两端的版本一致性检测,不一致时会在屏幕上显示报错信息并终止对应操作。 GDS的版本号的查看办法为:在GDS工具的解压目录下执行如下命令。 gds -V 数据库版本的查看办法为:连接数据库后,执行如下SQL命令查看。 1 SELECT version();
  • 类型对照 表1 字符串类型对照表 MySQL字符串类型 MySQL INPUT GaussDB(DWS) OUTPUT CHAR CHAR[(0)] CHAR[(n)] VARCHAR[(1)] VARCHAR[(4n)] CHARACTER CHARACTER[(0)] CHARACTER[(n)] CHAR[(1)] CHAR[(4n)] NCHAR NCHAR[(0)] NCHAR[(n)] CHAR[(1)] CHAR[(4n)] LONGTEXT LONGTEXT TEXT MEDIUMTEXT MEDIUMTEXT TEXT TEXT TEXT TEXT TINYTEXT TINYTEXT TEXT VARCHAR VARCHAR[(0)] VARCHAR[(n)] VARCHAR[(1)] VARCHAR[(4n)] NVARCHAR NVARCHAR[(0)] NVARCHAR[(n)] VARCHAR[(1)] VARCHAR[(4n)] CHARACTE VARYING CHARACTE VARYING VARCHAR CHARACTER/NCHAR进行转换时,如果其精度小于等于0时,转换后为CHAR(1),如果精度大于0,则转换为CHAR类型4倍的精度大小。 VARCHAR/NVARCHAR/CHAR进行转换时,如果其精度小于等于0时,转换后为VARCHAR(1),如果精度大于0,则转换为VARCHAR类型4倍的精度大小。 输入示例CHAR MySQL一个长度CHAR列被固定在创建表声明的长度,长度可以是从0到255之间的任何值。CHAR存储值时,它们将空格填充到指定的长度。 1 2 3 4 5 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`( `dataType_1` CHAR NOT NULL, `dataType_2` CHAR(0) NOT NULL, `dataType_3` CHAR(255) NOT NULL ); 输出示例 1 2 3 4 5 6 7 8 9 CREATE TABLE IF NOT EXISTS "public"."runoob_datatype_test" ( "datatype_1" CHAR NOT NULL, "datatype_2" CHAR(1) NOT NULL, "datatype_3" CHAR(1020) NOT NULL ) WITH ( ORIENTATION = ROW, COMPRESSION = NO ) NOCOMPRESS DISTRIBUTE BY HASH ("datatype_1"); 输入示例[LONG|MEDIUM|TINY]TEXT 1 2 3 4 5 6 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`( `dataType_1` LONGTEXT, `dataType_2` MEDIUMTEXT, `dataType_3` TEXT, `dataType_4` TINYTEXT ); 输出示例 1 2 3 4 5 6 7 8 9 10 CREATE TABLE IF NOT EXISTS "public"."runoob_datatype_test" ( "datatype_1" TEXT, "datatype_2" TEXT, "datatype_3" TEXT, "datatype_4" TEXT ) WITH ( ORIENTATION = ROW, COMPRESSION = NO ) NOCOMPRESS DISTRIBUTE BY HASH ("datatype_1"); 输入示例VARCHAR MySQL VARCHAR列中的 值是可变长度的字符串。长度可以指定为0到65,535之间的值。 1 2 3 4 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`( `dataType_1` VARCHAR(0), `dataType_2` VARCHAR(1845) ); 输出示例 1 2 3 4 5 6 7 8 CREATE TABLE IF NOT EXISTS "public"."runoob_datatype_test" ( "datatype_1" VARCHAR(1), "datatype_2" VARCHAR(7380) ) WITH ( ORIENTATION = ROW, COMPRESSION = NO ) NOCOMPRESS DISTRIBUTE BY HASH ("datatype_1");
  • 类型对照 表1 空间数据类型对照表 MySQL空间数据类型 MySQL INPUT GaussDB(DWS) OUTPUT GEOMETRY GEOMETRY GEOMETRY POINT POINT POINT LINESTRING LINESTRING POLYGON POLYGON POLYGON POLYGON MULTIPOINT MULTIPOINT BOX MULTILINESTRING MULTILINESTRING BOX MULTIPOLYGON MULTIPOLYGON POLYGON GEOMETRYCOLLECTION GEOMETRYCOLLECTION CIRCLE GEOMETRY可以存储任何类型的几何值。其他单值类型(POINT, LINESTRING和POLYGON)将其值限制为特定的几何类型。 GEOMETRYCOLLECTION可以存储任何类型的对象的集合。其他集合类型(MULTIPOINT, MULTILINESTRING, MULTIPOLYGON,和 GEOMETRYCOLLECTION)限制集合成员像那些具有特定的几何形状的类型。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 CREATE TABLE `t_geo_test2` ( `id` int(11) NOT NULL, `name` varchar(255), `geometry_1` geometry NOT NULL, `point_1` point NOT NULL, `linestring_1` linestring NOT NULL, `polygon_1` polygon NOT NULL, `multipoint_1` multipoint NOT NULL, `multilinestring_1` multilinestring NOT NULL, `multipolygon_1` multipolygon NOT NULL, `geometrycollection_1` geometrycollection NOT NULL, PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB; 输出示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 CREATE TABLE "public"."t_geo_test2" ( "id" INTEGER(11) NOT NULL, "name" VARCHAR(255), "geometry_1" GEOMETRY NOT NULL, "point_1" POINT NOT NULL, "linestring_1" POLYGON NOT NULL, "polygon_1" POLYGON NOT NULL, "multipoint_1" BOX NOT NULL, "multilinestring_1" BOX NOT NULL, "multipolygon_1" POLYGON NOT NULL, "geometrycollection_1" CIRCLE NOT NULL, PRIMARY KEY ("id") ) WITH ( ORIENTATION = ROW, COMPRESSION = NO ) NOCOMPRESS DISTRIBUTE BY HASH ("id");
  • 使用“体验中心”功能 “体验中心”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“体验中心”,进入“文本对话”页签,选择服务,参数设置为默认参数,在输入框输入问题,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量: 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。 图2 “核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2
  • 步骤2:配置提示词 创建应用后,需要撰写提示词(Prompt),为应用设定人设、能力、核心技能、执行步骤。 应用会根据盘古NLP大模型对提示词的理解,来响应用户问题。因此,一个好的提示词可以让模型更好地理解并执行任务,应用效果与提示词息息相关。 配置提示词步骤如下: 在“提示词”模块,可依据模板填写Prompt,单击“”,输入框中将自动填入角色指令模板。 示例如图2,您可以依据模板进行填写。 图2 配置Prompt 填写后可通过大模型进行优化,单击“智能优化”,在 “Prompt优化”窗口中单击“确定”。
  • 步骤5:调试应用 创建应用后,平台支持对应用执行过程的进行预览与调试。 调试应用的步骤如下: 在页面右上角单击,参考图5配置大模型参数。 图5 大模型配置 在“预览调试”的左下角,选择开启“代码解释器”。 在“预览调试”的下方文本框中输入对话,例如“请编写输出10以内的素数的Python代码”,应用将根据对话生成相应的回答。 图6 预览调试结果 单击右上角“调试”,可查看应用的运行结果与调用详情。 图7 调用详情示例
  • 数据工程介绍 数据工程是ModelArts Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台,并生成“原始数据集”。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、音频、气象、预测、其他。 自定义格式:用户可以根据业务需求上传自定义格式的数据,提升数据获取的灵活性和可扩展性。 通过这些功能,用户可以轻松将大量数据导入平台,为后续的数据加工和模型训练等操作做好准备。 数据加工:平台提供了数据加工、数据合成、数据标注、数据配比的加工操作,旨在确保原始数据能够满足各种业务需求和模型训练的标准,生成“加工数据集”。 数据加工:数据加工旨在通过使用数据集加工算子对数据进行预处理操作,针对不同类型的数据集,平台设计了专用的加工算子,以确保数据符合模型训练的标准和业务需求。 数据合成:数据合成利用预置或自定义的数据指令对原始数据集进行处理,并根据设定的轮数生成新的数据。 数据标注:数据标注旨在为无标签的数据集添加准确的标签,标注数据的质量直接影响模型的训练效果和精度。针对不同数据集平台支持人工标注与AI预标注两种形式。 其中,图片Caption、视频Caption标注项支持AI预标注功能。 数据配比:将多个数据集按照特定比例关系组合并为一个“加工数据集”的过程,确保数据的多样性、平衡性和代表性。 通过数据加工操作,平台能够有效清理噪声数据、标准化数据格式,提升数据集的整体质量。 数据发布:平台提供了数据评估、数据发布操作,旨在通过数据质量评估确保数据满足大模型训练的多样性、平衡性和代表性需求,并促进数据的高效流通与应用,生成“发布数据集”。 数据评估:数据评估通过对数据集进行系统的质量检查,依据评估标准评估数据的多个维度,旨在发现潜在问题并加以解决。 数据发布:将单个数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 支持发布的数据集格式为标准格式、盘古格式(适用于训练盘古大模型时)。目前,仅文本类和图片类数据集支持发布为“盘古格式”。 在集成了数据获取、数据加工、数据发布功能外,平台还支持对原始数据集、加工数据集、发布数据集、数据合成指令进行一站式管理。在大规模数据集的构建过程中,ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性,确保了数据处理的各个环节都能紧密协作,快速响应不断变化的业务需求和技术要求。
  • 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误,请联系客服解决。 结束节点 101531 结束节点初始化失败。 检查结束节点配置,可能为校验报错。 101532 结束节点模板拼接失败。 先检查模板占位符与输入是否匹配,请联系客服解决。 101533 结束节点流式处理失败。 请联系客服解决。 大模型节点 101561 大模型节点初始化失败。 检查大模型节点配置,可能为校验报错。 代码节点 101591 代码组件初始化失败。 检查代码节点配置,可能为校验报错。 101592 代码节点安全沙箱请求失败。 请联系客服解决。 101593 代码节点安全沙箱执行失败。 检查代码的语法是否有误,检查是否用到了未引用的变量。 101594 代码组件安全沙箱其他报错。 请联系客服解决。 101595 代码节点执行失败未知错误。 请联系客服解决。 消息节点 101651 消息组件初始化失败。 检查消息节点配置,可能为校验报错。 101652 消息节点缺少模板信息。 配置消息节点的提示词模板。 101653 消息节点模板拼接错误。 先检查模板占位符与输入是否匹配,若仍无法解决,请联系客服解决。 101654 消息组件执行失败。 请联系客服解决。 101655 消息组件异步执行失败。 请联系客服解决。 意图识别节点 101098 意图识别prompt模板请求失败。 检查模板占位符与输入是否匹配。 101097 意图识别调用大模型的prompt不符合模型输入的规范。 检查输入的prompt格式,消息的角色和内容。 101096 意图识别调用大模型失败。 检查消息的格式,内容以及大模型服务是否正常。 101095 意图识别用户query输入/引用解析失败。 检查用户query格式和内容。 101094 意图识别prompt模板构建失败。 检查内置模板以及输入的system prompt格式与内容。 提问器节点 101043 当单个提问器内的对话轮数超过预设轮数上限时触发该错误码,对话状态回到开始节点状态。 可通过调大对话轮数上限解决。 101047 初始化深度定制前后处理模块失败时触发该错误码。 可检查护栏配置是否符合要求。 101048 执行深度定制用户回复改写(前处理)失败时触发该错误码。 可检查前处理护栏代码。 101049 执行深度定制大模型生成的参数取值改写(后处理)失败时触发该错误码。 可检查后处理护栏代码。 101050 执行默认护栏(时间参数解析)失败时触发该错误码。 可检查支持处理的时间类型是否超出支持范围。 102053 提示词模板有误时触发该错误码。 检查提示词模板是否格式有误。 103004 大模型推理失败时触发该错误码。 请检查模型服务是否可以正常运行。 插件节点 101741 插件组件初始化失败。 检查插件组件配置,可能为校验报错。 101742 工作流插件节点参数类型转换时出错。 根据error message确定具体转换出错的参数名称,并确认类型是否正确。 101743 工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。 101744 插件定义了response,但实际插件执行结果与定义不一致。 检查插件response定义和实际插件执行结果是否匹配。 101745 工作流插件节点执行出错。 插件执行出错,可以根据具体的error message信息定位。如果message无有效信息,说明该错误属于未捕获到的异常。 105001 插件执行时发生了无法捕获的异常。 检查插件本身是否可用。 105004 插件定义时check param error。 根据对应error message信息确定具体出错的参数定义。 105005 插件定义不合法。 插件定义时的数据不合法,例如字段定义超出最长长度,具体根据error message判断。 105008 插件内部错误。 请联系客服解决。 105010 插件运行时鉴权出错。 可根据error message信息确定具体出错的鉴权问题,并检查鉴权信息的传递和插件鉴权定义是否正确。 105011 插件运行返回的响应代码非200。 可根据报信息查看实际的http返回码。 105012 插件request请求超时。 插件请求超时,检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回,超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503 工作流连接数据库失败。 请联系客服解决。 112504 缺少必要权限。 查看当前用户权限。 112513 工作流流程中存在死循环。 检查工作流画布。 112514 工作流被引用,无法删除。 查看知识型应用中是否引用了该工作流。 112600 workflow ir转化失败 需要查看工作流配置是否正确。 112941 获取workflow对话历史失败 请联系客服解决。
  • CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0” 日志提示“root: XXX valid number is 0”,表示训练集/验证集的有效样本量为0,例如: INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0,可能有如下原因: 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”,并打印出标签数据,例如: ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致,导致该错误发生。 例如,训练集中的标签共有4个,验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题: 训练CV大模型
  • 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见CV大模型训练常见报错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图2 获取训练日志
  • 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置,准备开始训练。 排队中 模型训练任务正在排队,请稍等。 运行中 模型正在训练中,训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已完成 模型训练已完成。
  • 查看训练指标 对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 Pangu-CV-物体检测-S-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中,真正类样本的比例。数值越高,表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中,被模型正确预测为正类的比例。数值越高,表明模型在检测正类样本时的全面性越高。 Pangu-CV-物体检测-N-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中,真正类样本的比例。数值越高,表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中,被模型正确预测为正类的比例。数值越高,表明模型在检测正类样本时的全面性越高。 Pangu-CV-图像分类-2.1.0 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 精准率 精准率是指在模型预测为正类的样本中,真正类样本的比例。数值越高,表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中,被模型正确预测为正类的比例。数值越高,表明模型在检测正类样本时的全面性越高。
  • 色情图像检测算子 适用的文件格式: jpg、jpeg、png、bmp tar:所有图片保存为tar包。tar包含图片支持:jpg、jpeg、png、bmp图片类型; 各参数说明: 待打标内容类型:对图片的涉黄程度进行评分, 分数越高越危险。 评分范围[(0. 100), 默认评分≥50分的视频可视为涉黄视频。 参数配置样例: 不需要配置参数 检测样例: 检测结果以image_porn对象存储在标注文件中: suggestion:对文件检测是否通过的结果,pass代表审核通过无相应的问题;review代表需要人工复核,您可以按照您的审核策略选择放通还是拦截;block代表待审文件存在问题。 confidence:模型结果检测的置信度(注意这里的置信度代表模型给出建议的置信度)。如果suggestion为pass,则为零;如果suggestion为review/block,则为0-1。 label:模型检测出的具体色情标签,如果未检测出则为空。
  • 图文去重 适用的文件格式: tar+jsonl:所有图片保存为tar包。图片支持:jpg、jpeg、png、bmp图片类型 图片文本保存为一份jsonl文件,jsonl文件中图片名称必须要与tar包中的图片名称一致 各参数说明: 待过滤内容类型: 基于结均化图片去重图文。 判断相同文本对应不同的图片数据是否超过单文本最大图片数阈值,如果超过则随机删除多余图片, 仅保留阈值以内的图文数量。 参数配置样例: 去重样例: 加工前: 参数配置: 加工后:
  • 危情图像检测算子 适用的文件格式: jpg、jpeg、png、bmp tar:所有图片保存为tar包。tar包含图片支持:jpg、jpeg、png、bmp图片类型; 各参数说明: 待打标内容类型:给危情图片内容打标签 参数配置样例: 不需要配置参数 检测样例:检测结果以image_danger对象存储在标注文件中: suggestion:对文件检测是否通过的结果,pass代表审核通过无相应的问题;review代表需要人工复核,您可以按照您的审核策略选择放通还是拦截;block代表待审文件存在问题。 confidence:模型结果检测的置信度(注意这里的置信度代表模型给出建议的置信度)。如果suggestion为pass,则为零;如果suggestion为review/block,则为0-1。 label:模型检测出的具体危情标签,如果未检测出则为空。
  • 暴恐图像检测算子 适用的文件格式: jpg、jpeg、png、bmp tar:所有图片保存为tar包。tar包含图片支持:jpg、jpeg、png、bmp图片类型; 各参数说明: 待打标内容类型:过滤暴恐图像 参数配置样例: 不需要配置参数 检测样例:检测结果以image_terrorism对象存储在标注文件中: suggestion:对文件检测是否通过的结果,pass代表审核通过无相应的问题;review代表需要人工复核,您可以按照您的审核策略选择放通还是拦截;block代表待审文件存在问题。 confidence:模型结果检测的置信度(注意这里的置信度代表模型给出建议的置信度)。如果suggestion为pass,则为零;如果suggestion为review/block,则为0-1。 label:模型检测出的具体暴恐标签,如果未检测出则为空
  • 图文文本长度过滤 适用的文件格式: tar+jsonl:所有图片保存为tar包。图片支持:jpg、jpeg、png、bmp图片类型 图片文本保存为一份jsonl文件,jsonl文件中图片名称必须要与tar包中的图片名称一致 各参数说明: 待过滤内容类型:过滤文本长度不在”文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度统计为1。 参数配置样例: 过滤样例: 加工前: 参数配置: 加工后:
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全