华为云用户手册

  • 续费相关的功能 包周期 安全云脑 续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包周期安全云脑从购买到被自动删除之前,您可以随时在SecMaster控制台续费,以延长安全云脑的使用时间。 自动续费 开通自动续费后,安全云脑会在每次到期前自动续费,避免因忘记手动续费而导致资源被自动删除。 在包周期安全云脑生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。 图1 安全云脑生命周期 安全云脑从购买至到期前,处于正常运行阶段,功能均可用。 到期未续费时,安全云脑首先会进入宽限期,宽限期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在安全云脑到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至安全云脑到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
  • 变更计费模式概述 安全云脑支持通过包周期或按需计费方式购买,其中基础版、标准版只支持包周期计费方式购买,专业版支持包周期或按需计费方式购买。您可以根据业务需求购买安全云脑。 按需计费:按需计费是后付费模式,按安全云脑服务的实际使用时长计费,可以随时开通/取消。 包年/包月:包年/包月即包周期,是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 安全云脑基础版、标准版不支持变更计费模式。 安全云脑专业版支持包周期和按需两种计费方式,如果您可预估使用安全云脑服务的周期,并需要长期使用安全云脑服务,可以将按需购买的专业版安全云脑资源转为包周期计费模式,节省开支,详细操作请参考按需转包周期。 安全云脑增值包不支持变更计费模式。 父主题: 变更计费模式
  • 计费场景 某用户于2024/06/08购买了1个配额1个月的标准版安全云脑,并购买了增值包(安全大屏、安全数据采集、安全数据保留、安全分析、安全编排)。规格配置如下: 服务版本+配额数:标准版+1个配额 增值包: 安全大屏-安全态势指标 Astro Canvas大屏 Astro Canvas 安全态势感知大屏 安全数据采集:5 GB/天 安全数据保留:100 GB 安全分析:1 GB/天 智能分析:1 GB/天 安全编排:1 万次/天 用了一段时间后,用户发现当前规格安全云脑无法满足业务需要,于2024/06/18进行了升级。服务版本升级为专业版。升级后,规格配置如下: 服务版本+配额数:专业版+1个配额 增值包: 安全大屏-安全态势指标 Astro Canvas大屏 Astro Canvas 安全态势感知大屏 安全数据采集:5 GB/天 安全数据保留:100 GB 安全分析:1 GB/天 智能分析:1 GB/天 安全编排:1 万次/天 那么在6~7月份,总共产生多少费用呢?
  • 计费构成分析 服务版本+配额数: 此处进行了版本升级,新配置价格高于老配置价格,此时您需要支付新老配置的差价。旧配置-标准版价格为15 元/配额/月,新配置-专业版价格为150 元/配额/月。计算公式如下: 升配费用=新配置价格*剩余周期-旧配置价格*剩余周期 公式中的剩余周期为每个自然月的剩余天数/对应自然月的最大天数。本示例中,剩余周期=12(6月份剩余天数)/ 30(6月份最大天数)+ 8(7月份剩余天数)/ 31(7月份最大天数)=0.6581,代入公式可得升配费用=150*0.6581-15*0.6581=88.84(元) 则在6~7月份,服务版本+配额数总共产生的费用为:15 + 88.84 = 103.84 元。 增值包: 增值包计费跟版本无关,仅与设置的容量/次数和购买时长有关,因此升级版本,增值包费用不变。 则在6~7月份,增值包总共产生的费用为:5000 + 40 + 1000 + 23 + 229 + 2500 + 2400 = 11192 元 由此可见,在6~7月份,使用安全云脑总共产生的费用为:103.84 + 11192 = 11295.84 元。
  • 计费示例 假设您在2024/06/30 15:50:04购买了配额数为1的包周期专业版安全云脑(版本:专业版,配额数:1),还购买了增值包中的安全大屏(且开通了AstroCanvas大屏)、安全数据采集(5 GB/天)、安全数据保留(100 GB)、安全分析(1 GB/天)、安全编排(1万次/天)功能,计费资源包括专业版、配额数、增值包。购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2024/06/30 15:50:04 ~ 2024/07/30 23:59:59 第二个计费周期为:2024/07/30 23:59:59 ~ 2024/08/30 23:59:59 图1给出了上述示例配置的费用计算过程。 图中价格仅供参考,请以最终订单的价格为准,具体可参见安全云脑价格详情。 图1 包周期安全云脑费用计算示例 按需计费模式下,各计费项的计费示例请参见计费示例。
  • 计费说明 安全云脑的计费项由服务版本、配额、增值包、安全舆情费用组成。具体内容如表1所示。 表1 安全云脑计费项 计费项 计费项说明 适用的计费模式 计费公式 版本(必选) 计费因子:服务版本+配额数,不同版本提供不同的功能。 包周期、按需计费 包周期:(服务版本+配额数) * 购买时长 按需:(服务版本+配额单价) * 计费时长 配额数(必选) 增值包(可选) 安全大屏 如有现场讲解汇报、实时监控等场景,希望获得更好的演示效果,需要将安全云脑服务的分析结果展示在大型屏幕上的需求,可以额外单独购买安全大屏。 计费因子:安全大屏-安全态势指标、Astro Canvas大屏、Astro Canvas 安全态势感知大屏。 包周期、按需计费 包周期: 安全大屏-安全态势指标单价 * 购买时长 Astro Canvas大屏单价 * 购买时长 Astro Canvas 安全态势感知大屏单价 * 购买时长 按需:安全大屏-安全态势指标单价 * 计费时长 日志审计 如有数据采集、数据存储的需求,可以额外单独购买数据采集量、数据保留量。 计费因子:安全数据采集量、安全数据存储量。 包周期、按需计费 包周期: 安全数据采集资源包单价 * 购买时长 安全数据保留资源包单价 * 购买时长 按需: 按实际使用日志数据采集量大小计费 按实际使用日志数据存储量大小计费 安全分析 如有安全数据采集、安全数据保留、安全数据导出、平台安全数据、安全建模分析的需求,可以额外单独购买安全分析配额。 计费因子:安全分析数据量。 包周期、按需计费 包周期:安全分析数据量/天 * 购买时长 按需:按实际使用安全分析数据量大小计费 安全编排 如有自动化处置及事件调查的需求,可以额外单独购买安全编排功能。 计费因子:剧本执行时,流程节点(包括开始、结束节点,不包括判断节点)的执行次数。 包周期、按需计费 包周期:安全分析 安全编排分析次数/天 * 购买时长 按需:剧本执行时,流程节点(包括开始、结束节点,不包括判断节点)的执行次数 舆情监测 如果有需要掌握舆情动态,对潜在的各类舆情风险点进行监测和综合研判,或有需要对突发事件、日常舆情等进行监测形成分析报告的需求时,可以单独购买舆情监测功能。 计费因子:报告份数 按需计费 按需:根据报告份数(一份报告仅包含一个监测主题)按次进行收费 其中,增值包中的功能在购买、使用时的其他说明如表2所示。 表2 增值包说明 场景 说明 购买 增值包(安全大屏+Astro Canvas大屏、安全分析、安全编排、安全数据采集、安全数据保留)为标准版和专业版额外选购付费项目,不支持单独购买,如需使用,请先购买标准版或专业版。 包周期购买安全数据采集、安全数据保留资源包时,需要根据需求测算“每天新增日志量”,设置完成后,系统将按照设置的量自动适配资源包规格,具体规格说明如表4所示。 计费 “服务版本+配额数”计费跟“增值包”计费之间没有联系,单独计费,且互不影响。 赠送 增值包中的安全分析、安全编排含有赠送配额/次数可以免费使用,赠送情况如表3所示。 如果赠送配额/次数不足,无法满足业务需求,请单独开通增值包(智能分析、安全编排)功能。 使用 包周期购买安全数据采集资源包、安全数据保留资源包、安全分析、安全编排后,使用时,请注意如下使用说明: 安全数据采集、安全数据保留资源包: 安全数据保留和安全数据采集资源包额度可叠加,但不能抵扣已产生的用量,不能退订。 包周期购买安全数据保留和安全数据采集资源包后,如果超出资源包规格的用量,将会按照使用量按需收费。 包周期购买安全数据保留和安全数据采集资源包后,如果资源包到期,按需资源不会自动关闭,将会以按需的方式继续使用。 另外,包周期购买的安全数据采集资源包为每天每个配额的使用量,如果当天使用量超出了设置的规格,那么超出的部分将以按需方式进行收费。 例如:用户购买了5 GB/天/配额的为期1个月的安全数据采集资源包,如果购买当天22:00前使用了5 GB的采集量,在22:00 ~ 24:00间使用了2 GB,则超出的2 GB将额外以按需计费方式进行收费。第二天00:00开始,又重新有5 GB/天/配额。 安全分析、安全编排: 安全分析:根据设置的数据量计费。如果当日使用量大于当日购买时设置的数据量,则当日无法再继续使用安全分析功能,第二天00:00才可以继续使用。 安全编排:按设置的安全编排剧本执行次数计费。如果当日使用次数大于购买时设置的次数,则当日无法再继续使用安全编排功能,第二天00:00才可以继续使用。 例如:您购买的是1 GB/天为期1个月的安全分析功能,购买当天22:00前使用了1GB,则在22:00 ~ 24:00间将无法使用安全分析功能。 表3 赠送规格说明 功能 标准版 专业版 安全分析 安全数据采集 120 MB/天/配额 120 MB/天/配额 安全数据保留 120 MB/天/配额 120 MB/天/配额 安全数据导出 120 MB/天/配额 120 MB/天/配额 平台安全数据 40 MB/天/配额 40 MB/天/配额 安全建模分析 × 120 MB/天/配额 威胁管理 预制威胁模型 × 计算模型数据120 MB/天/配额;预置模型200个 预制响应剧本 × 预置剧本30个 安全编排 安全编排 × 操作7000次 表4 安全数据采集和安全数据保留资源包规格说明 资源包 包周期购买时,推荐配置 资源包规格 资源包规格适用区间 安全数据采集 每天采集的数据量。 安全数据采集资源包 5 GB 起购,建议按照每台虚拟机 120 MB / 天来进行配置,单个订单最大可购买 500 GB。 购买时,安全数据采集的值将自动根据用户填写的每天新增日志量的值来适配资源包规格,无需单独配置。 5 *1 GB 0 GB ~ 5 GB(含) 5 *2 GB 5 GB ~ 10 GB(含) 5 *3 GB 10 GB ~ 15 GB(含) ...... 以此类推,单个订单最大可购买 500 GB ...... 以此类推 安全数据保留 日志存储的总量。 安全数据保留资源包 100 GB 起购,建议按照“安全数据保留 = 每天新增日志量 * 7”的关系来进行配置,单个订单最大可购买 3500 GB。 购买时,安全数据保留的值将自动根据用户填写的每天新增日志量的值来适配资源包规格,无需单独配置。 100 *1 GB 0 GB ~ 100 GB(含) 100 *2 GB 100 GB ~ 200 GB(含) 100 *3 GB 200 GB ~ 300 GB(含) ...... 以此类推,单个订单最大可购买 3500 GB ...... 以此类推
  • 计费示例 假设您在2024/06/08 9:59:30购买了配额数为1的按需计费的专业版安全云脑(版本:专业版,配额:1),增值包购买了安全大屏、安全数据采集、安全数据保留、安全分析、安全编排,然后在2024/06/08 10:45:46将其删除。计费周期内使用了1 GB/天安全分析,进行了500 次安全编排,采集了5 GB /天的日志量,存储了100 GB的日志量,“服务版本+配额数”和“安全大屏”的计费周期如下: 第一个计费周期为9:00:00 ~ 10:00:00,在9:59:30 ~ 10:00:00间产生费用,该计费周期内的计费时长为30秒。 第二个计费周期为10:00:00 ~ 11:00:00,在10:00:00 ~ 10:45:46间产生费用,该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费,各项资源单独计费,计费公式如表2所示。产品价格详情中标出了资源的每小时价格,您需要将每小时价格除以3600,得到每秒价格。 表2 计费公式 资源类型 计费公式 服务版本+配额数 服务版本+配额数单价 * 计费时长 安全大屏 安全大屏单价 * 计费时长 安全数据采集 按实际采集日志量大小计费 安全数据保留 按实际日志存储量大小计费 安全分析 按实际安全分析数据量大小计费 安全编排 按实际剧本执行时,流程节点(包括开始、结束节点,不包括判断节点)的执行次数 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,请以最终订单的价格为准,具体可参见安全云脑价格详情。 图2 按需计费安全云脑费用计算示例
  • 变更配置后对计费的影响 如果您在购买按需计费实例后变更了配额数量,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了配额数量,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如,您在9:00:00购买了配额数为1的专业版安全云脑,并在9:30:00将配额数增加为2,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,按照1个配额数的专业版计费。 第二条对应9:30:00 ~ 10:00:00,按照2个配额数的专业版计费。
  • 适用计费项 以下计费项支持按需计费: 表1 适用计费项 计费项 说明 服务版本 安全云脑的版本,仅专业版支持按需购买。 配额数 设置的E CS 主机配额数量。 增值包 安全大屏 随按需计费安全云脑版本的基础上,额外购买的增值包-安全大屏,其计费模式也为按需计费。 日志审计 随按需计费安全云脑版本的基础上,额外购买的安全数据采集、安全数据保留,其计费模式也为按需计费。 安全分析 随按需计费安全云脑版本的基础上,额外购买的安全分析包,其计费模式也为按需计费。 安全编排 随按需计费安全云脑版本的基础上,额外购买的安全编排,其计费模式也为按需计费。 舆情监测 根据报告类型一次性收费。 假设您计划购买配额数为1的专业版安全云脑,并同时购买了安全大屏、安全数据采集、安全数据保留、安全分析、安全编排,且选择按需计费。在购买安全云脑页面底部,您将看到所需费用的明细,如下所示: 图1 配置费用示例 配置费用将包括以下部分: 专业版:根据所选版本和设置配额数量计算的费用。 安全大屏-安全态势指标:购买安全云脑安全大屏的费用。 安全分析包:基于实际使用的安全分析数据量计算的费用。 安全数据采集:根据实际使用的数据采集量计算的费用。 安全数据保留:根据实际使用的日志存储的总量计算的费用。 安全编排:基于实际剧本执行次数计算的费用。
  • 计费周期 按需计费SecMaster资源按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以安全云脑购买成功的时间点为准,终点以实例取消按需计费成功的时间点为准。 例如,您在8:45:30购买了配额数为1的专业版安全云脑(未购买增值包),然后在8:55:00将其取消,则计费周期为8:00:00 ~ 9:00:00,在8:45:30 ~ 8:55:30间产生费用,该计费周期内的计费时长为600秒。
  • 如果发票丢失了,怎么办? 如果是增值税普通发票,客户可以提交工单申请,注明账号名、发票抬头、发票金额、发票代码、发票号码、遗失原因等信息。华为云工作人员审核后,由华为云向客户提供加盖发票章的发票底联复印件或扫描件。 如果是增值税专用发票,客户需要邮寄加盖公章的《发票遗失声明》到华为云。收到声明后,华为云向客户提供增值税专用发票记账联复印件(加盖发票章)。华为云接收《发票遗失声明》的收件地址: 当签约主体为“华为软件技术有限公司”时,退票材料寄送地址:江苏省南京市雨花台区软件大道101号华为南京基地;收件人:周媛媛;电话:025- 56623909。 当签约主体为“ 华为云计算 技术有限公司”时,退票材料寄送地址:贵州省安顺市平坝区马场镇数谷大道华为云上屯B5-3楼;收件人:何智丽;电话:15186998007。 父主题: 开具发票
  • JavaScript编解码插件模板 以下为JavaScript编解码插件的模板,开发者需要按照平台提供的模板,实现对应的接口。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 /** * 设备上报数据到 物联网平台 时调用此接口进行解码, 将设备的原始数据解码为符合产品模型定义的JSON格式数据。 * 该接口名称和入参已经定义好,开发者只需要实现具体接口即可。 * @param byte[] payload 设备上报的原始码流 * @param string topic MQTT设备上报数据时的topic,非MQTT设备上报数据时不携带该参数 * @return string json 符合产品模型定义的JSON格式字符串 */ function decode(payload, topic) { var jsonObj = {}; return JSON.stringify(jsonObj); } /** * 物联网平台下发指令时,调用此接口进行编码, 将产品模型定义的JSON格式数据编码为设备的原始码流。 * 该接口名称和入参格式已经定义好,开发者只需要实现具体接口即可。 * @param string json 符合产品模型定义的JSON格式字符串 * @return byte[] payload 编码后的原始码流 */ function encode(json) { var payload = []; return payload; }
  • 盘古用户角色 盘古大模型的用户可以被赋予不同的角色,对平台资源进行精细化的控制。 表2 角色定义 角色名称 角色描述 超级管理员 订购服务的用户,具备当前平台下对所有工作空间的所有权限。 管理员 对工作空间有完全访问权,包括查看、创建、编辑或删除(适用时)工作空间中的资产,同时拥有添加、移除所在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作,但是不能创建或者删除计算资源,也不能修改所在空间本身。 应用开发工程师 应用开发工程师具备执行 应用开发工具 链模块所有操作的权限,其余角色不具备。 标注管理员 拥有数据工程数据标注-标注管理模块的所有权限,其余角色不具备。 标注作业员 拥有数据工程数据标注-标注作业模块的所有权限,其余角色不具备。 标注审核员 拥有数据工程数据标注-标注审核模块的所有权限,其余角色不具备。 评估管理员 拥有数据工程数据评估-评估标准模块的所有权限,其余角色不具备。 评估作业员 拥有数据工程数据评估-评估作业模块的所有权限,其余角色不具备。 数据导入员 拥有数据工程数据获取-数据导入模块的所有权限,其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限,其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限,其余角色不具备。
  • 迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,它还能通过少量的新数据快速迁移到新的领域或场景。这种迁移能力使模型能够在面对新挑战时迅速调整和优化,提供适应新领域的服务。 通过微调技术,盘古大模型能够在保持原有优势的同时,融入新领域的特征和规律,实现对新任务的快速适应。这种能力极大地扩展了模型的应用范围,使其在更广泛的业务场景中发挥作用,为用户提供更加全面和深入的智能服务。
  • 海量训练数据 盘古大模型依托海量且多样化的训练数据,涵盖从日常对话到专业领域的广泛内容,帮助模型更好地理解和生成自然语言文本,适用于多个领域的业务应用。这些数据不仅丰富多样,还为模型提供了深度和广度的语言学习基础,使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析,盘古大模型能够捕捉语言中的细微差别和复杂模式,无论是在词汇使用、语法结构,还是语义理解上,都能达到令人满意的精度。此外,模型具备自我学习和不断进化的能力,随着新数据的持续输入,其性能和适应性不断提升,确保在多变的语言环境中始终保持领先地位。
  • 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、 机器翻译 ,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系,因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率,也大幅提升了用户体验,使盘古大模型成为企业和开发者构建智能应用的首选。
  • 调优典型问题 科学计算大模型调优典型问题见表1。 表1 科学计算大模型调优典型问题 问题 可能原因 解决方法 预训练或微调作业失败,提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选择的时间区段需要满足表2对应关系,请相应地延长验证集的时间区段时长。 数据集中盐度(S)变量在下载过程中,如图1、图2,存在数据块缺失与数据块偏移的问题,将导致训练过程中盐度损失异常,波动大且不收敛,如图3。 模型训练前,未对数据进行加工。 模型训练前,需要对数据进行加工,防止某些特征存在极端异常值或大面积错误数据,导致模型训练不稳定。可能会引发如下问题: 模型对异常值过度敏感,导致拟合异常值而非整体数据分布。 训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法, 数据可视化 或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况进行删除、替换、保留等操作,兼顾模型的收敛与鲁棒性。 删除异常值后,盐度(S)损失收敛正常,如图4。 表2 验证集选择的时间区段 时间分辨率 推理步数 验证集选择的时间区段(需要至少在以下时间点内,且有连续数据,才能得到1条测试数据。) 1h 24 24h内每1h的数据(例:0点,1点,2点…次日0点)。 3h 12 36h内每3h的数据(例:0点,3点, 6点…次日9点,次日12点)。 6h 8 48h内每6h的数据(例:0点,6点, 12点…次日18点,次日24点)。 24h 7 7天每24h的数据(例:0点,次日0点…7天后0点)。 图1 盐度数据偏移与缺失样例-1 图2 盐度数据偏移与缺失样例-2 图3 盐度(S)异常的训练损失 图4 删除异常值后的训练损失 父主题: 盘古科学计算大模型调优实践
  • 训练参数优化 科学计算大模型的训练参数调优可以考虑学习率参数,学习率(Learning Rate)是模型训练中最重要的超参数之一,它直接影响模型的收敛速度和最终性能: 学习率过高,会导致损失在训练初期快速下降,但随后波动较大,甚至出现NaN(梯度爆炸)的问题。 学习率过低,会导致损失下降非常缓慢,训练过程耗时较长,模型可能陷入局部最优等问题。 科学计算大模型的学习率调优策略如下: 学习率太小时,损失曲线几乎是一条水平线,下降非常缓慢,此时可以增大学习率,使用学习率预热(Warm-up)的方法,在训练初期逐步增加学习率,避免初始阶段学习率过小。 学习率太大时,损失曲线剧烈震荡,甚至出现梯度爆炸的问题,可以使用学习率衰减(Decay)策略,在训练过程中逐步减小学习率,避免后期学习率过大。建议动态调整学习率,使用自适应优化器,如Adam、AdamW、 RMS prop等,这些优化器可以自动调整学习率。 如果您没有专业的调优经验,可以优先使用ModelArts Studio平台的默认值,再结合损失曲线动态调整。 父主题: 盘古科学计算大模型调优实践
  • 数据预处理优化 模型训练前,需要对数据进行加工,防止某些特征存在极端异常值或大面积错误数据,导致模型训练不稳定。可能会引发如下问题: 模型对异常值过度敏感,导致拟合异常值而非整体数据分布。 训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 优化调整策略如下: 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况进行删除、替换、保留等操作,兼顾模型的收敛与鲁棒性。 优化举例: 某数据集中,盐度(S)变量在下载过程中存在数据块缺失与数据块偏移的问题,如图1、图2,导致在训练过程中盐度损失异常,波动大且不收敛,如图3。在删除异常数据后,如图4,盐度正常收敛。因此在训练过程中存在损失波动较大的情况,可以考虑数据异常的情况。 图1 盐度数据偏移与缺失样例-1 图2 盐度数据偏移与缺失样例-2 图3 盐度(S)异常的训练损失 图4 删除异常值后的训练损失 父主题: 盘古科学计算大模型调优实践
  • 调优典型问题 为什么微调后的模型,回答总是在重复某一句或某几句话? 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。 数据质量:请检查训练数据中是否存在文本重复的异常数据,可以通过规则进行加工。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的“训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 为什么微调后的模型,回答中会出现乱码? 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行加工。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的“训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 推理参数设置:请检查推理参数中的“温度”或“核采样”等参数的设置,适当减小其中一个参数的值,可以提升模型回答的确定性,避免生成异常内容。 为什么微调后的模型,回答会异常中断? 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支持的长度限制来调整。 模型规格:不同规格的模型支持的长度不同,若目标任务本身需要生成的长度已经超过模型上限,建议您替换可支持更长长度的模型。 数据质量:请检查训练数据中是否存在包含异常截断的数据,可以通过规则进行加工。 为什么微调后的模型,只能回答在训练样本中学过的问题? 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的“训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 数据质量:请检查训练数据的质量,若训练样本出现了大量重复数据,或者数据多样性很差,则会加剧该现象。 为什么微调后的模型,输入与训练样本相似的问题,回答与训练样本完全不同? 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的“训练轮次”或“学习率”等参数的设置,适当增大“训练轮次”的值,或根据实际情况调整“学习率”的值,帮助模型更好收敛。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。 为什么微调后的模型,评估结果很好,但实际场景表现却很差? 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。此外,若可预见实际场景会不断发生变化,建议您定期更新训练数据,对模型进行微调更新。 多轮问答场景,为什么微调后的效果不好? 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,以下给出了几条多轮问答的数据样例供您参考: 原始对话示例: A:你是谁? B:您好,我是盘古大模型。 A:你可以做什么? B:我可以做很多事情,比如,和您进行问答对话。 A:你可以讲个笑话吗? B:当然可以啦,以下是xxxx A:可以把这个笑话改成xxxx B:好的,以下是修改后的xxxx 拼接后的微调数据格式示例: [{"context": "你是谁?"},{"target": "您好,我是盘古大模型。"},{"context": "你可以做什么?"},{"target": "我可以做很多事情,比如,和您进行问答对话。"}, {"context": "你可以讲个笑话吗?"},{"target": "当然可以啦,以下是xxxx"}, {"context": "可以把这个笑话改成xxxx"},{"target": "好的,以下是修改后的xxxx"}] 多轮问答场景的输入是数组格式,至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2","target":"target内容2"}],其中context、target分别表示问题、答案。 数据质量:若数据格式没有问题,仍然发现模型效果不好,您可以根据具体问题针对性的提升您的数据质量。 例如,随着对话轮数的增加,模型出现了遗忘,可以检查构造的训练数据中轮数是否普遍较少,建议根据实际情况增加数据中的对话轮数。 数据量满足要求,为什么微调后的效果不好? 这种情况可能是由于以下原因导致的,建议您排查: 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 数据量和质量均满足要求,为什么微调后的效果不好? 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的“训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。 数据量和质量均满足要求,Loss也正常收敛,为什么微调后的效果不好? 这种情况可能是由于以下几个原因导致的,建议您依次排查: PROMPT设置:请检查您使用的Prompt。一般情况下,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的Prompt,才能发挥出模型的最佳效果。 模型规格:理论上模型的参数规模越大,模型能学到的知识就越多,能学会的知识就更难,若目标任务本身难度较大,建议您替换参数规模更大的模型。 父主题: 盘古NLP大模型调优实践
  • 优化推理超参数 推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,比如长度、随机性、创造性、多样性、准确性、丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,表1提供了典型推理参数的建议值和说明,供您参考: 表1 典型推理参数的建议和说明 推理参数 范围 建议值 说明 温度(temperature) 0~1 0.3 温度主要用于控制模型输出的随机性和创造性。温度越高,输出的随机性和创造性越高;温度越低,输出结果越可以被预测,确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具创造性的内容,可以使用较高的温度,反之如果目标任务的需要生成更为确定的内容,可以使用较低的温度。 请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 核采样(top_p) 0~1 1 核采样主要用于控制模型输出的多样性。核采样值越大,输出的多样性越高;核采样值越小,输出结果越可以被预测,确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具多样性的内容,可以使用较大的核采样,反之如果目标任务的需要生成更为确定的内容,可以使用较小的核采样。 请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,因此不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为了更好地理解这几个参数的作用,下面列举了一些常见场景: 文本生成:对于文本生成场景(宣传文案生成、信稿文本生成、文学创作等),通常希望生成的文本具有多样性,建议在保证不过于随机的基础上,增大“温度”或“核采样”的值(二者选其一调整)。若发现生成的文本过于发散,可以降低“话题重复度控制”的值,保证内容统一;反之,若发现内容过于单一,甚至出现了复读机式的重复内容生成,则需要增加“话题重复度控制”的值。 知识问答:对于文本生成场景(开放问答、基于搜索内容回答等),从客观上来说,回答需要是确定且唯一的,建议降低“温度”或“核采样”的值(二者选其一调整)。若需要每次生成完全相同的回答,可以将“温度”置为0。 如表2,根据文案生成N个爆款标题场景中出现标题重复,可以适当调整“话题重复度控制”值。 表2 话题重复度控制(presence_penalty)优化案例 提示词 话题重复度控制(presence_penalty) 模型回答 你是一个短视频博主,现在有一篇视频文案内容如下“熊爪面包,松松软软贼好吃”请结合以上内容,生成15个爆款标题,标题要求尽量概括文案中关键信息,引发读者好奇心,要求每条标题在15字左右。 0.0 1.熊爪面包,谁能抵挡的住它的诱惑? 2.熊爪面包,吃一口就停不下来! 3.【必看】熊爪面包制作全过程揭秘! 4.【独家】熊爪面包制作秘籍大公开! 5.火爆网络的熊爪面包,你一定要尝试! 6.想吃又不想胖?试试这款熊爪面包吧! 7.【TOP5】熊爪面包,网红美食首选! 8.轻松制作熊爪面包,零基础也能学会! 9.最简单的熊爪面包做法,不容错过! 10.【限时抢购】火爆的熊爪面包优惠来袭! 11.你知道吗?熊爪面包竟然有这么多好处! 12.火爆网络的熊爪面包,你一定要尝试! 13.想吃又不想胖?试试这款熊爪面包吧! 14.熊爪面包,火爆销量的保持者! 15.【TOP5】熊爪面包,网红美食首选! 你是一个短视频博主,现在有一篇视频文案内容如下“熊爪面包 松松软软贼好吃”请结合以上内容,生成15个爆款标题,标题要求尽量概括文案中关键信息,引发读者好奇心,要求每条标题在15字左右。 0.5 熊爪面包,松软到爆炸! 你尝过贼好吃的熊爪面包吗? 熊爪面包:松松软软,入口即化! 【限时抢购】这款熊爪面包,为什么这么好吃? 熊爪面包,让你一吃就上瘾! 松软贼好吃的熊爪面包,你值得拥有! 熊爪面包,松软得不像话! 贼好吃的熊爪面包,你试过了吗? 熊爪面包:松软可口,回味无穷! 【必看】这款熊爪面包,松软得让人欲罢不能! 熊爪面包,松软到让你尖叫! 为什么大家都说熊爪面包贼好吃? 熊爪面包,松软的秘密在哪里? 让你欲罢不能的熊爪面包,了解一下! 熊爪面包,松软得让人无法抗拒! 参数的选择没有标准答案,您需要根据任务的实际情况进行调整,以上建议值仅供参考。 父主题: 盘古NLP大模型调优实践
  • 优化提示词 模型训练完成之后,优化提示词是一种可以继续优化模型效果的有效策略,一个好的提示词能极大地激发模型的潜能,使其在特定任务上表现出色。接下来,我们将深入探讨提示词优化的方法和技巧,帮助您更好地驾驭模型,实现高质量的任务完成。 优化提升词一般可以从以下几个方面开始: 选择合适的提示词模板 根据任务类型选择提示词模板:不同类型的任务可能需要不同类型的提示词。例如,对于文本生成任务,可以使用“根据以下关键词生成一段文章:xxx”的模板;而对于文本分类任务,可以使用“以下句子属于哪个类别:xxx”的模板。 尝试多种提示词模板:在实际应用中,可以尝试多种提示词模板,观察哪种模板能更好地引导模型生成符合预期的输出。若实际使用场景是可以通过提示词模板实现,建议实际使用的提示词模板与训练数据中的提示词模板保持一致。例如文本分类场景训练数据中的提示词模板为“以下句子属于哪个类别:xxx”,那么实际使用时也应该为“以下句子属于哪个类别:xxx”模板来引导模型输出。 调整提示词的措辞 确保提示词表述清晰:提示词应简洁明了,避免使用模糊或歧义的表述。这有助于模型更好地理解任务需求。 使用具体且相关的词汇:在提示词中尽量使用与任务相关的具体词汇,这有助于模型捕捉到关键信息,提高生成质量。 适当使用否定词:在某些任务中,使用否定词可以帮助模型更好地理解输入,从而生成更准确的输出。 结合上下文信息 利用上下文信息优化提示词:在生成提示词时,可以结合当前任务的上下文信息,使提示词更具针对性。 动态调整提示词:在任务执行过程中,可以根据模型的反馈和输出,动态调整提示词,以引导模型生成更符合预期的结果。 提示词优化实例 假设我们从事智能家居行业想要生成一篇关于“人工智能助手”的文章。优化前的提示词可能是:“请写一篇关于人工智能助手的文章。”优化后的提示词可以是:“请结合以下关键词,生成一篇关于人工智能助手在生活中的应用及其优势的文章:智能家居、智能安防、安全隐私。”,可以看出优化前大模型虽然介绍了人工智能助手但内容空洞,文章缺乏核心观点。通过优化提示词之后可以看出大模型围绕智能家居、智能安防、安全隐私展开介绍人工智能助手,生成内容更加具体。 表1给出了提示词的优化示例以及优化前后的效果对比,我们可以看到,优化提示词有助于提高模型在特定任务上的表现。在实际应用中,需要不断尝试和调整提示词,以实现最佳效果。 更多的提示词优化技巧可以参考提示词写作实践。 表1 提示词优化示例 场景 优化前提示词 优化前模型回答 优化后提示词 优化后模型回答 说明 文案生成 请写一篇关于人工智能助手的文章。 人工智能助手:未来生活的智慧伴侣 随着科技的飞速发展,人工智能(AI)已经从科幻小说走进了现实世界,并逐渐成为我们日常生活中不可或缺的一部分。在众多AI应用中,人工智能助手以其便捷性和智能化成为了人们工作和生活中的得力帮手。 一、什么是人工智能助手? 人工智能助手是一种利用自然语言处理技术、机器学习算法等先进技术构建的软件程序,能够理解并执行用户的语音或文本指令。它们可以回答问题、提供信息、完成任务,甚至预测用户需求,为用户提供个性化的服务体验。常见的应用场景包括智能手机、智能家居设备、车载系统等。 二、人工智能助手的功能特点 智能对话:通过先进的自然语言处理技术,人工智能助手能够理解和回应用户的语音或文本输入,实现流畅的人机交互。 个性化推荐:基于对用户行为习惯的学习,人工智能助手能提供高度定制化的内容和服务建议,如音乐推荐、新闻资讯等。 多任务处理能力:无论是设置提醒、查询天气、管理日程安排,还是控制智能家居设备,人工智能助手都能轻松应对。 三、人工智能助手的应用场景 - 移动办公:无论是在通勤路上还是出差途中,人工智能助手都能帮助用户管理邮件、安排会议、查找资料,提高工作效率。 - 健康监测:一些高级的人工智能助手还集成了健康监测功能,如记录步数、心率等生理指标,提醒用药时间,关注用户的身体状况。 请结合以下关键词,生成一篇关于人工智能助手在生活中的应用及其优势的文章:智能家居、智能安防、安全隐私。 人工智能助手在智能家居、智能安防及安全隐私中的应用与优势 随着科技的飞速发展,人工智能(AI)助手已经成为了我们日常生活中不可或缺的一部分。尤其是在智能家居领域,AI助手正以惊人的速度改变着我们的生活方式。本文将探讨AI助手在智能家居、智能安防以及安全隐私保护方面的应用及其独特优势。 智能家居的应用与优势 智能家居系统通过集成各种设备和传感器,使家庭环境更加智能化、便捷化。AI助手作为智能家居的大脑,能够学习用户的生活习惯,并据此自动调整室内温度、照明、音乐等设置,为用户提供个性化的生活体验。例如,根据用户的作息时间自动调节灯光亮度和颜色,或是在用户到家前预先开启空调至适宜温度。这种高度个性化的服务不仅提升了居住舒适度,也大大提高了能源利用效率。 智能安防的应用与优势 在智能安防方面,AI助手同样发挥着重要作用。借助先进的图像识别技术,AI助手可以实时监控家中情况,识别异常行为并及时通知用户。例如,当检测到有人闯入时,系统会立即发送警报信息给用户手机,并记录下入侵者的影像资料。此外,AI助手还能与智能门锁、门窗传感器等设备联动,提供全方位的家庭安全保障。 安全隐私的考量 然而,在享受AI助手带来便利的同时,我们也必须重视安全隐私问题。智能家居系统收集了大量关于用户生活习惯的数据,这些数据一旦泄露,可能会对用户的隐私造成严重威胁。因此,确保数据的安全存储和传输至关重要。现代的智能家居解决方案通常采用加密技术来保护用户数据,同时,AI助手的设计也应遵循最小化数据收集原则,仅收集实现功能所必需的信息,最大限度地保障用户隐私。 总之,随着技术的不断进步,AI助手在智能家居和智能安防领域的应用前景广阔。它不仅能极大地提升我们的生活质量,同时也为家庭安全提供了坚实的保障。当然,在追求技术创新的同时,我们也应当注重安全隐私的保护,让科技更好地服务于人类社会。 在提示词中突出重点,让大模型生成内容更加具体。 父主题: 盘古NLP大模型调优实践
  • 调整数据配比 数据配比的典型方法如下: 平衡数据类别:在多任务或多类别的训练中,确保数据类别的平衡,以避免模型对某些类别的偏倚。可以通过过采样、欠采样或生成合成样本来调整类别比例 例如:情感类别多分类任务,通过对“中立”情感进行过采样、对“消极”、“积极”情感进行欠采样调整比例。 表2 平衡数据前 情感类别 数据占比 消极 45.3% 积极 37.8% 中立 16.9% 表3 平衡数据后 情感类别 数据占比 消极 35.3% 积极 33.8% 中立 30.9% 领域适应性:根据模型的预期应用领域,调整训练数据的领域分布。例如,增加特定领域(如医学、法律)的数据比例,以提高模型在该领域的表现。 语言和地域分布 :对于多语言模型,调整不同语言和地域数据的比例,以确保模型在各语言上的性能一致。根据目标应用场景,动态调整训练数据的语言分布。例如,该模型常用于中文语言场景,则可以适当调大中文数据比例。
  • 模型调优方法介绍 在实际应用中,首次微调所得的模型往往无法取得最佳效果,为了让模型能更好地解决特定场景任务,通常需要根据微调所得模型的效果情况来进行几轮的模型微调优化迭代。 在大模型的微调效果调优过程中,训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。 训练数据的优化是提升模型效果的基础。通过数据加工、去噪以及数据增强等手段,可以提高训练数据的质量和多样性,从而增强模型针对于训练场景的效果和模型的泛化能力。 在准备好训练数据之后,可以通过调整训练超参数来提升模型收敛速度和最终性能,例如调整学习率、批量大小、学习率衰减比率等等。 在模型训练完之后还可以通过设计合适的提示词来提升模型在特定任务上的表现。提示词优化包括选择合适的提示词模板、调整提示词的措辞以及结合上下文信息等。精心设计的提示词能够更好地引导模型生成符合预期的输出,尤其在少样本学习场景下,提示词优化的效果尤为显著。 最后还可以通过调整推理参数来进一步提升模型效果,例如通过选择合适的温度系数来控制模型回复的准确性和多样性,调整话题重复度来控制模型输出的话题重复程度。 父主题: 盘古NLP大模型调优实践
  • 微调典型问题 科学计算大模型微调典型问题见表1。 表1 科学计算大模型微调典型问题 问题 可能原因 解决方法 预训练或微调作业失败,提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选择的时间区段需要满足表2对应关系,请相应地延长验证集的时间区段时长。 数据集中盐度(S)变量在下载过程中,如图1、图2,存在数据块缺失与数据块偏移的问题,将导致训练过程中盐度损失异常,波动大且不收敛,如图3。 模型训练前,未对数据进行加工。 模型训练前,需要对微调数据进行加工,防止某些特征存在极端异常值或大面积错误数据,导致模型训练不稳定。可能会引发如下问题: 模型对异常值过度敏感,导致拟合异常值而非整体数据分布。 训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况进行删除、替换、保留等操作,兼顾模型的收敛与鲁棒性。 删除异常值后,盐度(S)损失收敛正常,如图4。 表2 验证集选择的时间区段 时间分辨率 推理步数 验证集选择的时间区段(验证集需要至少在以下时间点内,有连续数据 , 才能得到1条测试数据) 24h 7 7天每24h的数据(例:0点,次日0点…7天后0点) 图1 盐度数据偏移与缺失样例-1 图2 盐度数据偏移与缺失样例-2 图3 盐度(S)异常的训练损失 图4 删除异常值后的训练损失 父主题: 盘古科学计算大模型微调训练实践
  • 数据预处理 hycom海洋数据预处理的要求如下: 特征要求:需包含5个表面层特征(10m u风、10m v风、2米温度、海平面气压、海表面气压),15个深海层次("0m", "6m", "10m", "20m", "30m", "50m", "70m", "100m", "125m", "150m", "200m", "250m", "300m", "400m", "500m")的4个深海层特征(海盐、海洋流速u、海洋流速v、温度)。 全球海洋数据水平分辨率要求:0.25°。 区域海洋数据水平分辨率要求:1/12°。 全球海洋数据区域范围要求:全球范围,纬度90N~-90S,经度0W~360E。 时间要求:微调数据中时间维度需明确是UTC时间或北京时间。 缺失值处理:若微调数据有缺失值,需将缺失值处理成nan。
  • 获取源数据 科学计算大模型微调训练所需的数据为气象再分析数据。 气象再分析数据集是利用现代数值天气预报模型和数据同化系统,对过去的观测数据进行重新处理后得到的。这些数据集可以是全球范围的,也可以是特定区域的。再分析数据集的目的是通过整合历史观测数据和现代计算技术,提供一个完整、统一且高质量的气象数据记录,用于研究和分析气候及天气变化。再分析数据一般含多种气象特征,如温度、湿度和海平面气压等。其中,每个特征包含时间、经度、纬度等多个维度,通常采用NetCDF(.nc)、GRIB(.grib)和GRIB2(.grib2)等格式、以网格形式存储。本案例推荐的公开数据集如下: Hycom公开数据集: HYCOM再分析产品是美国海军研究实验室利用海军耦合海洋资料同化系统(Navy Coupled Ocean Data Assimilation, NCODA)将HYCOM模式和多源观测数据结合的产物,其公布的再分析产品时间跨度为1992—2012年,时间分辨率为1天,纬度范围是80.48°S ~80.48°N,空间水平分辨率为1/12°,垂直方向为不等距的40层。 Hycom数据集下载链接为:https://data.hycom.org/datasets/GLBv0.08/expt_53.X/data/,用户可直接根据文件名下载所需时间的nc文件数据,如图1。 图1 Hycom数据集下载界面 对区域海洋模型进行微调时,推荐使用大于3个月的hycom数据。
  • 微调场景介绍 盘古科学计算大模型的区域海洋要素模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。 目前,区域海洋要素模型支持微调、预训练两种操作: 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。 本实践将以平台预置的区域海洋要素基模型为例,介绍盘古科学计算大模型的微调训练过程,该模型的基本信息详见表1。 表1 区域海洋要素模型信息 基模型 可预报的深海层深(m) 可预报的深海变量 可预报的表面变量 时间分辨率 水平分辨率 区域范围 区域海洋要素基模型 0m, 6m, 10m, 20m, 30m, 50m, 70m, 100m, 125m, 150m, 200m, 250m, 300m, 400m, 500m 海温 海盐 海流经向速率 海流纬向速率 海表高度 24h 1/12° 特定区域 父主题: 盘古科学计算大模型微调训练实践
  • 效果评估与优化 在低代码构建多语言文本翻译工作流中,优化和评估的关键在于如何设计和调整prompt(提示词)。prompt是与大模型或其他节点(如翻译插件)交互的核心,它直接影响工作流响应的准确性和效果。因此,效果评估与优化应从以下几个方面进行详细分析: 评估工作流响应的准确性:从工作流响应准确性维度看,本实践可以评估意图识别节点响应意图的准确性。本实践的意图识别节点包含文本翻译意图和其他意图。 文本翻译意图:当用户请求翻译时,意图识别节点的关键任务是准确判断用户翻译的需求,执行翻译节点分支,并给出正确的翻译结果。 如图1,当用户输入翻译类问题时,“意图识别”节点对用户的意图分类为“文本翻译”,此时工作流将运行“提问器”节点分支,并依次运行后序节点,最终输出翻译后的内容。 图1 试运行工作流-1 其他意图:用户其他的请求(除翻译请求外)将执行大模型节点分支,并根据用户的提问进行回答。 如图2,当用户输入对话类问题时(如“你好”),“意图识别”节点对用户的意图分类为“其他”,此时工作流将运行“大模型”节点分支,输出“大模型”节点的回答。 图2 试运行工作流-2 多场景测试:对多种不同场景下的prompt进行测试,确保在各种情境下系统能够有效响应: 不同语言对的翻译:如图3,针对不同的语言对(如中文到法语、俄语到西班牙语),评估翻译效果是否稳定。 图3 多场景测试-不同语言对 复杂对话场景:如图4,当用户在对话中频繁切换意图时,测试意图识别节点的应答能力,确保其能够理解并适应多变的对话上下文。 图4 多场景测试-复杂对话场景 优化Prompt设计:从prompt设计维度来看,可以通过以下方式进行优化: 清晰的输入指令: 在翻译场景中,明确的输入指令将提升工作流的运行效果。例如:prompt可以设计为:请将以下中文句子翻译成英文:“我喜欢吃苹果”。通过这种明确的指令,更容易生成准确的翻译结果。 运用提示词技巧:可参考提示词写作实践进行Prompt写作。 父主题: 低代码构建多语言文本翻译工作流
  • 工作流节点设计 选取工作流的几个重要节点,每个节点负责特定的任务。以下是各节点的功能和设计思路: 开始节点:作为工作流的入口,开始节点负责接收用户输入的文本。无论是普通对话文本,还是包含翻译请求的文本,都将从此节点开始。 意图识别节点:该节点对用户输入的文本进行分类和分析,识别出用户的意图。主要包括以下两种意图: 文本翻译意图:系统识别出用户希望进行文本翻译的请求。 其他意图:包括普通对话、问答、或其他功能请求。该分支最终会引导文本到大模型节点进行处理。 提问器节点:当意图识别为“文本翻译”意图时,工作流将进入提问器节点。该节点主要负责提问用户翻译需求(如翻译文本、目标语言等)。 文本翻译插件节点:在翻译意图分支中,文本翻译插件节点负责调用华为云文本翻译API,实现从源语言到目标语言的翻译过程。插件将翻译结果返回,传递给结束节点。 大模型节点:如果用户的意图属于“其他”意图分支(如普通对话),则文本将被引导到大模型节点。大模型节点基于预训练的盘古NLP大模型生成响应,从而实现自然语言理解和生成。完成后,结果传递给结束节点。 结束节点:工作流的终结节点,负责输出最终结果。无论是翻译结果还是大模型生成的回答,都会通过该节点输出给用户。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全