华为云用户手册

9.1.0.100版本（2024年8月12日） 【弹性架构】 架构升级：基于华为云 对象存储服务 OBS，推出存算分离架构3.0，计算、存储分层弹性，存储按需收费，降本增效；计算支持多VW（Virtual Warehouse，逻辑集群，以下简称VW）部署，业务隔离性更好，解决业务间的资源争抢问题。 推出弹性VW特性，弹性VW完全无状态，支持读写加速，灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题，详情参见弹性增删逻辑集群。 增删DN节点，支持弹性扩容和经典扩容，弹性扩容不会对OBS上的数据进行重分布，经典扩容会重分布所有数据，系统会根据bucket总数和DN数目，自动决定采用何种扩容方式。 存算分离架构（DWS 3.0）通过磁盘缓存和IO异步读写提升性能，在磁盘缓存全命中时，持平存算一体架构（DWS 2.0）。 图1 存算分离架构

9.1.0.212补丁（2025年1月） 该版本为补丁版本，主要修复已知问题。 【实时数仓】 修复date类型查询下推在MySQL兼容模式下的结果集问题。 修复limit为null或者all时，结果集错误问题。 修复统计信息错误重置，导致auto vacuum无法触发，影响空间无法及时回收的问题。 修复物化视图刷新和DDL并发的死锁问题。 修复冷热表扩容重分布异常后，手工删除临时表导致误清理原表数据的问题。 修复冷热表扩容的本地磁盘空间上涨问题。 【湖仓一体】 外表访问OBS，支持路径中带有特殊字符';' 优化parquet外表查询的任务分配，提升磁盘缓存命中率。 【备份恢复】 修复备份恢复可能残留中间状态文件，占用磁盘空间的问题。 修复弹性VW存在的情况下，备份失败问题。 备份恢复支持冷热表，备份恢复时间会变长。 【生态兼容】 修复PostGIS插件可能存在的创建失败问题。 【运维提升】 修复SQL监控指标采集不完整问题。 修复从备内存泄露问题。 修复智能运维未按时启动的问题。 修复drop database失败残留，导致调度器无法正常调度的问题。 修复高并发下，通信内存占用过高的问题。 修复异常情况下，GTM上残留sequence导致的性能问题。 【行为变更】 为避免复杂SQL执行可能报错，升级/新装会关闭谓词列analyze特性。 表定义包含sequence列的场景下，执行drop table操作时，如果与GTM的网络连接有问题，上一个版本会报warning，drop table可执行成功，但可能会导致GTM上sequence残留。新版本drop table会报错，需再次重试。由于DWS支持在事务块中支持drop table，如果drop table语句执行成功，但事务后续回滚，会存在sequence在GTM已经删除，表在CN上仍然存在的问题，需再次主动drop table，否则该表在后续使用时，会报sequence不存在的错误。 truncate和select如果有加锁冲突时，支持truncate主动终止select操作，该特性默认关闭。在打开的情况下，上一个版本被终止的执行select的session会话会报错，但是连接不会关闭，新版本下，执行select的session会话会主动关闭，需业务主动重连。

9.1.0.215补丁（2025年3月） 该版本为补丁版本，主要修复以下问题： 表1 9.1.0.215补丁新增功能/解决问题列表 类别 功能或问题描述 问题原因 问题出现版本 修复建议 新增功能 无。 - - - 解决问题 智能运维调度触发下盘。 智能运维调度器在查询表大小时，通过pgxc_parallel_query函数下发到每个DN执行，而DN查询的结果集包括列存表的cudesc、delta等辅助表，而分区也有子表，且每个分区又有cudesc、delta，导致最终结果集较大。 DN将这些查询结果统一汇总到CN时，结果集太大触发下盘操作，导致查询慢或者磁盘容量冲高等现象。 8.3.0.100 升级到9.1.0.215及以上版本 使用存算分离V3表并关闭DiskCache场景下，偶现进程异常退出。 使用存算分离V3表场景下，如果关闭DiskCache，业务线程在读取OBS对象时申请空间失败的情况下，会触发事务回滚从而概率性导致异常。 9.1.0 节点亚健康(Hang)场景下，CM组件无法下发重启集群命令。 cm_ctl启动集群分为两个阶段： 检查各个节点状态，需要pssh连接到各个节点进行检查。 删除启停文件，需要pssh连接到各个节点进行删除。 SSH命令中参数解析不正确，导致节点故障时检查单个故障节点耗时超过300s，如果有多个节点同时故障则耗时会成倍增加，引发命令无法下发。 8.1.3 使用 数据湖 场景下，如果并发量超高(3000+)，会引发CN与DN建连变慢从而导致整体性能变慢。 当前1个文件只会分配给一个DN。但是执行计划中，CN还是会和所有DN都建立连接。在数据湖的场景下，需要支撑单集群3000+并发，这块的开销就会很大。 9.1.0 使用数据湖场景下，如果写入过程字段超长时，会偶现DN进程异常。 数据湖场景下，写入过程中出现字段超长此时会报错，在事务回滚过程中，会调用清理相关逻辑，此时由于部分内存已经被提前释放，导致函数报错，触发DN进程异常退出。 9.1.0 安全漏洞(SQL注入漏洞(CVE-2025-1094))修复。 PostgreSQL漏洞公告 SQL注入漏洞(CVE-2025-1094)，识别产品是否涉及该漏洞。 9.1.0 在行列混合场景，NestLoop算子+Stream算子的场景下偶现查询异常的问题。 Nestloop算子下有stream算子，需要先执行inner侧的物化算子。在行存和列存混合场景，在物化算子上有Row Adapter算子，此时造成未执行物化算子，引发Hang操作。 8.3.0.108 通信线程中空闲期检查DN连接造成数据库偶现慢问题。 通信线程(libcomm send proxy线程)在空闲期会遍历所有与其他DN的连接进行检查，单次检查消耗1ms，在大集群上遍历100+连接，可能耗时100ms以上，会阻塞下一个报文的发送，此时在实时性要求比较高的业务场景下会导致业务查询偶现慢。 9.1.0

响应示例 状态码： 200 OK 单轮问答 { "id": "e7c33de0-1245-42d9-a875-745845ce3b22", "created": 1724916022, "choices": [ { "index": 0, "message": { "role": null, "content": " 患者入院后，给予疏通血管、改善心脑供血、营养心肌、抗炎、稳定血压、完善相关检查等治疗。检查结果显示脑功能成像及颈部动脉血管成像磁共振检查：脑内多发缺血灶及陈旧性梗死灶，右侧基底节区脑出血软化灶，透明隔间腔，右侧椎动脉局部显影变淡。心电图检查窦性心律，心电轴正常，ST段改变。心脏超声：主动脉瓣轻度反流，左室顺应性减低。甲状腺及颌下超声：甲状腺多发结节，左侧颌下淋巴结肿大。 ", "ppl": 8.468677045693822e-11 } } ], "usage": { "completion_tokens": 433, "prompt_tokens": 10, "total_tokens": 443 } } 单轮流式问答 data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "造"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "成"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "糖尿病"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "的"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "可"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "能"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "性"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "有"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "很多"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "，"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "其"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "中"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "最"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "为"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "典"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "型"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "的"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "一"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "种"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "是"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "由"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "于"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "患"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "者"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "的"}}]} data:[DONE] 带有人设的单轮问答（role参数值为system） { "id": "6f2a7219-f97b-426d-84ba-b7b11c58942a", "created": 1724916144, "choices": [ { "index": 0, "message": { "role": null, "content": "考虑到患者的疾病风险，推荐患者进行低强度的有氧运动，如快走、慢跑、游泳等，以及一些不需要高强度的肌力训练，如使用轻量的哑铃或做一些不需要器械的力量练习。建议一周进行3-5次有氧运动，每次30-45分钟，以及2-3次肌力训练，每次20-30分钟。这样的运动频率和强度有助于患者改善心肺功能，增加肌肉力量，同时对控制体重、血压、血糖、血脂等有积极影响。", "ppl": 1.6271554153410462e-20 } } ], "usage": { "completion_tokens": 220, "prompt_tokens": 47, "total_tokens": 267 } } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "小朋友们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": ","}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "今天我们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "要"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "学习"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "做"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "眼保健操"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "。"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "你们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "准备好"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933299, "choices": [{"message": {"content": "了吗"}}]} ... data:[DONE] 多轮问答 # 多轮请求示例返回的结果如下 { "id": "4e2b7961-c4b2-4263-8e4c-6f0467ebddcb", "created": 1724916330, "choices": [ { "index": 0, "message": { "role": null, "content": "**就诊建议**:1.泌尿系感染: 建议前往泌尿科进行进一步的评估和治疗。2.左肾强回声光点: 建议前往泌尿科或肾内科进行详细检查，以明确是否为肾结石或钙化，并接受相应的治疗。3.子宫疾病: 建议前往妇科进行进一步的诊断和治疗。4.乳腺结节: 建议前往乳腺科进行进一步的检查，以排除恶性病变的可能性。5.甲状腺结节: 建议前往内分泌科进行进一步的评估，可能需要进行细针穿刺活检。6.脂肪肝: 建议前往消化内科或肝病科进行评估，并根据医生建议进行治疗。7.低度鳞状上皮内病变(LSIL)和 HPV 81感染: 建议前往妇科进行阴道镜检查，并咨询医生关于 HPV的治疗和预防策略。8.轻度肝功能异常: 建议前往肝病科进行进一步的检查和治疗。9.幽门螺杆菌感染: 建议前往消化内科接受检测和适当的抗菌治疗。10.糖链抗原72-4升高: 建议前往肿瘤科进行进一步的评估，包括但不限于内窥镜检查、活检等，以明确诊断。11.二尖瓣轻度返流、三尖瓣轻度返流: 建议前往心内科进行评估，可能需要定期跟踪检查。 ", "ppl": 5.964045702630172e-39 } } ], "usage": { "completion_tokens": 569, "prompt_tokens": 117, "total_tokens": 686 } } 多轮流式问答（stream参数值为true） data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "造成"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "糖尿病"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "的"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "可能性"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "有"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "很多"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "，"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "其中"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "最"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "为"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "典型"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "的"}}]} data:[DONE]

请求示例 单轮问答 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "messages": [ { "content": "高血压需要注意什么？" } ], "temperature": 0.9, "max_tokens": 600 } 单轮流式问答（stream参数值为true） { "messages": [ { "content": "心血管疾病的范围有哪些？" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 带有人设的单轮问答（role参数值为system） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名智能健康管理师，擅长医学知识科普、健康问题解答。" }, { "role": "user", "content": "肚子疼该挂什么科室？" } ], "temperature": 0.9, "max_tokens": 600 } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名智能健康管理师，擅长医学知识科普、健康问题解答。" }, { "role": "user", "content": "肚子疼该挂什么科室？" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 多轮问答 # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "有点咳嗽" //第一轮问题 }, { "content": "您咳嗽的症状有多久了？有没有伴随其他症状，比如发热、咳痰？" //第一轮答案 }, { "content": "一周了，没有痰，没有发热，喉咙有点痛" //第二轮问题 }, { "content": " 您最近有没有接触过感冒或其他呼吸道感染的人？另外，您是否吸烟或有其他呼吸系统疾病史？ " //第二轮答案 }, { "content": "以前没有相关疾病，不确定有没有接触过感冒的患者" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600 } 多轮流式问答（stream参数值为true） # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "有点咳嗽" //第一轮问题 }, { "content": "您咳嗽的症状有多久了？有没有伴随其他症状，比如发热、咳痰？" //第一轮答案 }, { "content": "一周了，没有痰，没有发热，喉咙有点痛" //第二轮问题 }, { "content": "您最近有没有接触过感冒或其他呼吸道感染的人？另外，您是否吸烟或有其他呼吸系统疾病史？" //第二轮答案 }, { "content": "以前没有相关疾病，不确定有没有接触过感冒的患者" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" }

盘古NLP行业大模型 盘古NLP行业大模型是业界首个超千亿参数的中文预训练大模型，结合了各大行业预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意营销等多个典型场景中，提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP行业大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-Medical-NLP-N2-32K-3.1.35 32K 4K 2025年3月发布版本，支持32K序列长度训练，32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署，支持128并发。此模型版本差异化支持INT8量化特性。

盘古NLP行业大模型支持的平台操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作： 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 体验中心 Pangu-Medical-NLP-N2-32K-3.1.35 √ √ √ √ √ √

已下线的模型 本文所列模型均已下架。 表1 已下架模型清单 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 Pangu-NLP-N1-Chat-32K-20241030 32K 4K 2024年10月发布的版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持64并发，32K支持32并发。 Pangu-NLP-N1-Chat-32K-20241130 32K 4K 2024年11月发布的版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持64并发，32K支持32并发。 Pangu-NLP-N1-Chat-128K-20241030 128K 4K 2024年10月发布的版本，支持128K序列长度推理，8个推理单元部署，支持2并发。 Pangu-NLP-N1-Chat-128K-20241130 128K 4K 2024年11月发布的版本，支持128K序列长度推理，8个推理单元部署，支持2并发。 Pangu-NLP-N2-Base-20241030 32K / 2025年10月发布的版本，支持8K序列长度训练，预训练32个训练单元起训。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布的版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署，4K支持64并发，32K支持64并发。 Pangu-NLP-N2-32K-3.1.35 32K 4K 2024年12月新增版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署，4K支持192并发，32K支持128并发。 Pangu-NLP-N4-Chat-4K-20241130 128K 4K 2024年11月发布的版本，支持4K训练，4K推理。64个训练单元起训，8个推理单元部署。此模型版本支持全量微调、LoRA微调、DPO训练、INT8量化、断点续训、模型评测、在线推理、能力调测特性。4K模型版本支持64并发。 Pangu-NLP-N4-Chat-32K-20241130 128K 4K 2024年11月发布的版本，支持32K训练，32K推理。96个训练单元起训，8个推理单元部署。此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、模型评测、在线推理、能力调测特性。32K模型版本支持64并发。 Pangu-MM-M2-UNDA-12K-3.1.1 12K / 2025年2月发布版本，支持模型增量预训练。支持64个训练单元起训，预训练后的模型版本需要通过SFT之后，才可支持推理部署。因模型架构合一，图生视频（首帧）和视频续写模型合一为Pangu-MM-M2-Img2Txt-12K-3.1.1，该模型下线。 父主题： 模型能力与规格

什么是CodeArts 盘古助手 CodeArts 盘古助手（Pangu Doer in CodeArts），原名智能开发助手（CodeArts Snap），是一种智能编码辅助工具，重塑了智能化软件研发的新范式，让开发者更加聚焦业务创新，事半功倍。 CodeArts 盘古助手是基于智能生成、智能问答两大核心能力构建起一套全方位、多层次的智能开发体系。在智能生成方面，它能够依据开发者输入的需求描述，准确且高效地生成高质量代码；智能问答功能则如同开发者身边的专属技术顾问。 CodeArts 盘古助手基于智能生成和智能问答两大核心能力，广泛覆盖了代码生成、研发知识问答、单元测试用例生成、代码解释、代码注释、代码调试、代码翻译、代码检查、代码优化等开发场景，提高软件研发生产力。

盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中，包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础，便于用户实现统一查看和操作管理。 数据资产：用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息，包括数据格式、大小、配比比例等。同时，平台支持数据集的删除等管理操作，使用户能够统一管理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。 模型资产：平台提供的模型资产涵盖了预置或训练后发布的模型，所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录，还可以执行模型的进一步操作，包括训练、压缩、部署等。此外，平台支持导出和导入盘古大模型的功能，使用户能够将其他局点的盘古大模型迁移到本局点，便于模型资源共享。 父主题： 管理空间资产

CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景 文件内容 文件格式 盘古-CV-图像分类 微调 图片+分类标注 图片+txt 盘古-CV-物体检测-S 微调 图片+检测标注 图片+xml 盘古-CV-物体检测-N 微调 图片+检测标注 图片+xml

构建CV大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古CV大模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 加工图片、视频类数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 加工图片类数据集、加工视频类数据集 标注图片、视频类数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注图片类数据集、标注视频类数据集 配比图片类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 配比图片类数据集 发布图片、视频类数据集 评估图片、视频类数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 评估图片类数据集、评估视频类数据集 发布图片、视频类数据集 数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 发布图片类数据集、发布视频类数据集

训练CV大模型所需数据量 初期启动训练时，每种模型类别先提供1000张已标注的图片数据进行训练，后续根据验证结果再动态提供数据迭代。 图片中需要识别的目标是清晰可见的，没有遮挡、模糊等特征破坏问题。图片中的目标大小显著，目标物体在不放大图片的情况下人眼清晰可见。 画面光照良好，如果是在恶劣天气、户外、晚上等光照不好的场景，需要有补光设备保证良好的光照条件，需要保障在图片中人眼能清晰辨别目标。 图片分辨率大于640x640 px，关于拍摄角度、距离、分辨率等画面拍摄条件，需要保证训练集图片和测试部署时的图片保持一致。

CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0” 日志提示“root: XXX valid number is 0”，表示训练集/验证集的有效样本量为0，例如： INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0，可能有如下原因： 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”，并打印出标签数据，例如： ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题： 训练CV大模型

查看训练指标 对于训练状态为“已完成”的任务，单击任务名称，可在“训练结果”页面查看训练指标，模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。

查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置，准备开始训练。 排队中 模型训练任务正在排队，请稍等。 运行中 模型正在训练中，训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误，需查看日志定位训练失败原因。 已完成 模型训练已完成。

获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志

视频生成大模型介绍 视频生成大模型是盘古多模态大模型提供的能力，能够根据文本、图像或视频输入生成高质量的视频内容。主要分为以下三类： 1.文生视频：通过自然语言描述生成符合语义的视频内容； 2.图生视频：以静态图像为基础，结合自然语言描述生成动态视频； 3.视频续写：基于已有视频片段，结合自然语言描述生成后续内容。 当前视频生成大模型仅支持部署后使用，可通过体验中心调用，或者通过API调用。 父主题： 开发盘古多模态视频生成大模型

查看训练指标 对于训练状态为“已完成”的任务，单击任务名称，可在“训练结果”页面查看训练指标，模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。

获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志

查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置，准备开始训练。 排队中 模型训练任务正在排队，请稍等。 运行中 模型正在训练中，训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误，需查看日志定位训练失败原因。 已完成 模型训练已完成。

CV大模型选择建议 选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景，选择合适的模型，从而提高模型的整体效果，详见表1。 表1 CV大模型的类型 模型名称 适用场景 说明 Pangu-CV-物体检测-S-2.1.0 盘古计算机视觉物体检测大模型，该模型适用的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。适用于如积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等任务。 S模型特点是小参数量，适合在资源有限的环境中使用，提供较快的检测速度和合理的精度。支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。 Pangu-CV-物体检测-N-2.1.0 该模型属于物体检测模型，旨在识别图像中的所有感兴趣目标，定位其位置并确定其类别。适用于各种任务，如：积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。 Pangu-CV-图像分类-2.1.0 盘古计算机视觉图像分类大模型，根据在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法，利用计算机视觉技术对图像进行定量分析，把图像划归为若干个类别中的一种或多种。适用于动植物分类、车辆类型分类、车牌分类、废钢定级、零部件分类等任务。 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。

文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 从OBS导入：单个文件大小不限制，文件数量不限制。 网页 html 从OBS导入：单个文件大小不限制，文件数量不限制。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出的盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"} 从OBS导入：单个文件大小不限制，文件数量不限制。 单轮问答 jsonl、csv jsonl格式：数据由问答对构成，context、target分别表示问题、答案，具体格式示例如下： {"context": "你好，请介绍自己", "target": "我是盘古大模型"} csv格式：csv文件的第一列对应context，第二列对应target，具体格式示例如下： "你好，请介绍自己","我是盘古大模型" 从OBS导入：单个文件大小不限制，文件数量不限制。 单轮问答（人设） jsonl、csv jsonl格式：system表示人设，context、target分别表示问题、答案。 {"system":"你是一个机智幽默问答助手","context":"你好，请介绍自己","target":"哈哈，你好呀，我是你的聪明助手。"} csv格式：csv文件的第一列对应system，第二三列分别对应context、target。 "你是一个机智幽默问答助手","你好，请介绍自己","哈哈，你好呀，我是你的聪明助手。" 从OBS导入：单个文件大小不限制，文件数量不限制。 多轮问答 jsonl jsonl格式：数组格式，至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2","target":"target内容2"}]，其中context、target分别表示问题、答案。 [{"context":"你好","target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 从OBS导入：单个文件大小不限制，文件数量不限制。 多轮问答（人设） jsonl jsonl格式：数组格式，至少由一组问答对构成。system表示人设，context、target分别表示问题、答案。 [{"system":"你是一位书籍推荐专家"},{"context":"你好","target":"嗨！你好，需要点什么帮助吗？"},{"context":"能给我推荐点书吗？","target":"当然可以，基于你的兴趣，我推荐你阅读《自动驾驶的未来》。"}] 从OBS导入：单个文件大小不限制，文件数量不限制。 问答排序 jsonl、csv jsonl格式：context表示问题，targets答案1、2、3表示答案的优劣顺序，最好的答案排在最前面。 { "context":"context内容","targets":["回答1","回答2","回答3"]} csv格式：csv文件的第一列对应context，其余列为答案。 "问题","回答1","回答2","回答3" 从OBS导入：单个文件大小不限制，文件数量不限制。 偏好优化DPO jsonl jsonl格式：context表示问题，target表示期望的正确答案，bad_target表示不符合预期的错误答案。 单轮问答 {"context": ["你好，请介绍自己"], "target":"我是盘古大模型", "bad_target":"我不会回答"} 多轮问答 {"context": ["你好，请介绍自己", "我是盘古大模型", "请介绍一下有哪些产品。"], "target":"提供包括但不限于计算、存储、网络等产品服务。", "bad_target":"我不会回答"} 从OBS导入：单个文件大小不限制，文件数量不限制。 偏好优化DPO（人设） jsonl jsonl格式：system表示人设，context表示问题，target表示期望的正确答案，bad_target表示不符合预期的错误答案。 带人设单轮 {"system": "你是一位机制幽默的问答助手", "context": ["你好，请介绍自己"], "target":"哈哈，你好呀，我是你的聪明助手，怎么帮到你？", "bad_target":"我不会回答"} 带人设多轮 {"system": "你是一位机制幽默的问答助手", "context": ["你好，请介绍自己", "哈哈，你好呀，我是你的聪明助手，怎么帮到你？", "请介绍一下有哪些产品。"], "target":"我们产品种类繁多，不仅涵盖计算、存储和网络，还有更多选择哦 ！", "bad_target":"我不会回答"} 从OBS导入：单个文件大小不限制，文件数量不限制。 父主题： 数据集格式要求

应用介绍 在Agent开发平台上，用户可以构建两种类型的应用： 知识型Agent：以大模型为任务执行核心，适用于文本生成和文本检索任务，如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息，使得大模型能够自主规划和调用工具。 优点：零代码开发，对话过程智能化。 缺点：大模型在面对复杂的、长链条的流程时可能会受到输入长度限制，难以有效处理较为复杂的工作流。 流程型Agent：以工作流为任务执行核心，用户可以通过在画布上“拖拽”节点来搭建任务流程。支持编排的节点类型包括：大模型节点、知识检索节点、意图识别节点、插件节点、判断节点、代码节点、消息节点、提问器节点。 优点：高度可扩展，支持低代码开发。 缺点：对话交互的智能度较低，复杂场景下流程分支较多，维护难度较大。 父主题： 编排与调用应用

访问模型广场 登录ModelArts Studio大模型开发平台，在“我的空间”，单击空间名称进入操作空间。 在左侧导航栏中选择“模型广场”。 在“模型广场”页面左侧区域，可以按照“模型类型”、“模型系列”、“应用场景”、“支持功能”、“订阅类型”进行模型筛选。 表1 模型筛选说明 筛选项 说明 模型类型 包括大语言类型、向量&重排模型、搜索规划模型、多模态大模型、CV大模型、预测大模型、科学计算大模型、求解器等。 模型系列 包括盘古基础大模型、盘古行业大模型、盘古专业大模型、Deepseek。 应用场景 包括长文本推理、逻辑推理、语义分割、行业增强、物体检测、深度思考、文本生成、 文字识别 、数据分析、搜索增强、意图分类等。 支持功能 包括支持训练、支持推理。 订阅类型 包括免费和付费。

管理加工任务资源 与 MRS 相关的加工任务、发布任务在创建时，可以进行任务资源的参数配置，具体的参数可见表1 任务资源参数清单 表1 任务资源参数清单 参数名称 参数描述 executorCores Spark应用每个Executor的CPU核数。 numExecutors Spark应用Executor的个数。 executorMemory Spark应用的Executor内存，参数配置例如：2G，2048M。 driverCores Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory Spark应用的Driver内存，参数配置例如：2G，2048M。 父主题： 加工数据集

预测大模型训练常见报错与解决方案 预测大模型训练常见报错及解决方案请详见表1。 表1 预测大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 训练后推理服务部署失败，报错“KeyError” 训练后推理报错“KeyError”: KeyError: '0.0' 训练类别特征列选择为数值类型列。 类别特征列需要填字符串的特征或者是需要特征编码的列名，不能填数值类型列。 训练任务报错“ValueError: could not convert string to float” 训练任务报错“ValueError: could not convert string to float”： ValueError: could not convert string to float: '2016/6/27 1:55 训练时选择的特征列包含了非数值类型列。 训练时选择的特征列只能选择数值类型列，非数值类型列需要放到非特征列。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”，并打印出标签数据，例如： ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 训练后推理服务部署失败，报错NPU不可用 推理服务启动失败，报错NPU不可用： get device count of NPU failed,torch.npu.is_available() is False NPU卡未及时释放或者被其他应用占用，导致推理服务器上无推理卡可用。 释放推理服务器上的NPU卡。 父主题： 训练预测大模型

查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置，准备开始训练。 排队中 模型训练任务正在排队，请稍等。 运行中 模型正在训练中，训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误，需查看日志定位训练失败原因。 已完成 模型训练已完成。

查看训练指标 对于已完成训练，训练状态是“训练完成”状态的任务，单击任务名称，可在“训练结果”页面查看训练指标，不同模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 科学计算大模型 Loss 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。这里代表高空Loss（深海Loss）和表面Loss（海表Loss）的综合Loss。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 高空Loss（深海Loss） 高空Loss（深海Loss）是衡量模型在高空层次变量或在深海变量预测结果与真实结果之间差距的指标。该值越小，表示模型在高空（深海）变量的预测精度越高。 表面Loss（海表Loss） 表面Loss（海表Loss）是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。该值越小，表示模型在表面（海表）变量的预测精度越高。 RMS E 均方根误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小，代表模型性能越好。 MAE 平均绝对误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小，代表模型性能越好。 ACC ACC（异常相关系数，距平相关系数，Anomaly Correlation Coefficient）是一个重要的统计指标，用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。ACC的计算涉及到预报值、观测值和气候平均值的差异，其值范围从-1到+1，值越接近+1表示预报与观测的一致性越好，值为0表示没有相关性，而负值则表示反向相关。 RQE 衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。该值越小，代表模型性能越好。

获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见科学计算大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志