ai大模型架构

服务概述

AI平台 场景化建模方案规划服务运用华为AI技术和模型构建经验，为客户提供AI平台场景化建模方案规划专业服务，结合客户的业务场景和算法开发能力，为客户提供场景化建模咨询、分析和设计服务。AI平台架构规划服务主要面向千行百业中有行业实际场景需求，并希望通过大模型去解决这些需求的客户。华为云将基于自研AI平台，结合客户业务场景，提供专业的架构规划设计服务，帮助用户解决架构设计困难，通用框架资源利用率低，大规模集群下网络拥塞等关键痛点。

服务内容

AI平台咨询与规划服务

1. AI平台场景化建模方案规划服务
   1. AI平台场景化建模分析服务
      1. 训推场景需求调研

         目的：通过系统化调研，精准识别场景中的需求痛点，确保训练与推理模型的设计、开发及部署能够贴合真实应用场景，提升技术落地的有效性和实用性。

         内容：

         服务项目	服务内容说明
         需求分类	调研对象：业务经理、业务工程师。 明确客户的需求分类，如 训练场景：增量预训练、微调、蒸馏。 推理场景：基于MaaS、ModelArts Lite Server/Cluster、CloudPond形态进行模型部署。
         业务场景	调研对象：业务经理、业务工程师。 调研基于模型的应用业务场景、模型调用方式、模型依赖关系等： 明确客户的实际业务场景，梳理当前业务痛点（如客服响应慢、数据分析低效、内容生成需求等）。 数据获取方式：需要明确客户业务数据的获取方式以及与交互方式等。
         模型要求	调研对象：项目负责人、算法工程师。 了解当前已有大模型的现状及指定模型要求（可选）： 性能要求：包含单token时延、并发量、端到端请求时延、应用日活等。 技术实现方式：包含模型选择、应用模式（深度思考、联网搜索）、部署形态、框架选择、算力成本等。
         AI框架	调研对象：项目负责人、算法工程师。 是否有指定AI框架的诉求：如 训练框架：MindSpeed-LLM等。 推理框架：如MindIE、vLLM等。
         约束条件	调研对象：项目负责人。 该约束条件为客户指定的约束，如数据安全限制、性能与成本平衡、后续可扩展需求等。

      2. 基础设施调研

         目的：通过调研基础设施现状，识别底座硬件资源的潜在风险和需求，为后续评估大模型的可行性以及训推方案规划提供输入。

         内容：

         服务项目	服务内容说明
         模型平台	明确当前是否已在业务场景中应用大模型、是否已搭建大模型的算力平台或者已购买使用云厂商的大模型开发平台，如华为云、阿里云等。
         算力资源	了解当前的算力资源，如 硬件配置：GPU型号、显存容量、单卡算力、集群规模及拓扑。 并行能力：是否支持多卡/多机分布式训练，是否存在显存或带宽瓶颈，是否满足大模型训练或者推理的最低算力资源要求。 是否有期望的产品形态要求：如MaaS、ModelArts Lite Cluster、ModelArts Lite Server、CloudPond。
         网络安全架构	了解当前的网络架构，如 带宽与时延：节点间互联带宽、网络拓扑、是否支持低时延通信等。 稳定性：网络容错机制、故障恢复时间、是否满足大模型训练长周期稳定性需求等。 组网规模：当前网络规模大小、是否支持扩展等。
         存储系统	当前存储系统结构，如 数据吞吐：存储容量、IOPS（每秒读写次数）、带宽、是否满足海量训练资源数据加载需求。 数据治理 ：数据预处理、标注质量、 数据管理 能力。 分布式存储：是否采用高性能分布式文件系统以及是否支撑多节点并发访问等。 是否有期望的存储方式，如 OBS 、 SFS turbo。

      3. 场景分析与模型评估选型

         目的：基于业务场景需求调研和基础设施调研的结果以及详细分析，结合软硬件资源和大模型的能力矩阵等，提供专业的模型选型服务，优化资源利用效率，降低成本，提高模型应用性价比。

         内容：

         服务项目	服务内容说明
         需求分析	针对需求调研的结果，对实际业务场景需求进行拆解&分析，识别出有效需求。
         大模型能力矩阵对齐	对照大模型能力矩阵（如知识问答、代码生成、文档处理等），结合大量相关案例经验，分析业务需求匹配度，将业务需求与各个模型进行对齐，初步筛出部分备选模型。
         模型评估指标设计	针对模型设计模型评估指标，如： 资源效率指标：计算资源消耗（内存占用峰值、单次推理耗时等）。 性能指标：端到端响应时延、单token时延等。
         模型能力测试	基于模型评估指标，结合基准测试集对模型的性能进行测试。 根据需求选择是否提供模型特定能力进行测试： 基础性能指标：准确率与召回率、F1值等。 特定任务能力测试：如多语言能力、代码生成质量等。
         可行性评估	基于需求调研及模型能力测试，对当前模型选型的可行性进行评估，包含技术可行性、资源可行性、业务适配性等。

      4. 训推方案规划

         目的：基于昇腾云 AI开发平台 ，对大模型做训练或者推理场景的解决方案规划，以最优路径实现AI赋能实际业务场景。

         内容：

         服务项目	服务内容说明
         算力底座资源规划	结合业务场景、客户需求以及模型选型，规划基础设施底座各硬件资源的规格，如以哪种形态部署、使用什么型号的昇腾卡和多少数量的昇腾卡来进行训练/推理、规划存储架构和网络安全架构的方案等。
         平台服务规划	明确AI应用相关的开发平台形态及AI开发框架，如确定训练框架使用MindSpeed-LLM，推理框架使用MindIE/vLLM；开发工具链，如Jupyter Notebook、GitLab代码仓库；容器与编排，如Kubernetes、Docker、 镜像 仓库等； 安全与合规 ，如 数据加密 、访问控制、合规审计工具等；监控与运维，如Prometheus、 日志分析 等。
         模型使能规划	基于业务需求，从训练、推理和应用等角度为客户规划相应的高阶方案，确定模型赋能业务应用落地所需的资源、选型及实现路径等。

   2. AI平台场景化建模设计服务
      1. 模型训练方案设计
         1. 增训方案设计

            目的：通过前期方案设计，与客户深入沟通其具体场景分析增训方案的合理性和可行性，明确增训方案在实施过程中数据工程，模型训练以及模型评测的方案细节，指导增训服务的开展。

            内容：

            服务内容	服务详细描述
            场景分析	基于客户实际行业、行业数据量、客户实际场景需求分析，做模型增训的合理性和可行性，输出建议。
            数据方案设计	基于场景分析的结果制定数据集方案，包括行业数据选型，数据来源，数据处理方式，数据评估标准，数据配比方案，数据管理方案，数据安全保障方案等。
            模型方案设计	基于场景分析的结果制定模型训练方案，包括模型选型，增训工作流的设计（增量预训练、SFT、RL等阶段），分布式训练方案设计，训练超参的设计等。
            模型评测方案设计	针对客户场景和训练后的模型制定模型评测方案，包括精度性能的指标的制定，行业标准制定、模型评估验证标准制定、业务效果验证标准制定等。

         2. 蒸馏方案设计

            目的：前期方案设计，与客户团队沟通了解数据特点、模型应用目标、以及性能精度指标要求等，明确后续数据工程、模型训练、模型评测的方案细节，制定高效的模型蒸馏策略。

            内容：

            服务内容	服务详细描述
            场景分析	深入分析客户的业务场景、数据状况（如数据规模、质量、分布）和现有模型基础（如模型架构、性能指标），明确蒸馏的核心目标和需求。确定模型的输入输出格式（如文本、图像、结构化数据）、运行环境（如云端、边缘设备）及性能要求（如时延、吞吐量、内存占用）。
            学生模型判定	根据场景分析结果，从现有模型库中选择合适的学生模型，综合考虑模型架构、规模（参数量、层数）和性能（精度、效率）等因素。例如，对于资源受限的边缘设备，可选择轻量级架构；对于高精度要求的场景，则选择中等规模但性能优越的模型。
            蒸馏策略选择	综合考虑数据状况、模型特点和业务需求，选择合适的蒸馏策略并制定具体计划。例如，对于数据丰富的场景，采用基于数据微调的策略（如SFT或LoRA），利用领域数据优化学生模型；对于任务复杂度高的场景，引入强化学习策略（GRPO），通过奖励机制提升模型表现。制定详细的蒸馏计划，包括数据准备、模型训练、评估和迭代优化等阶段，确保蒸馏过程高效可控，最终交付符合业务需求的高性能模型。
            评测方案设计	设计从客户业务场景中抽取具有代表性的数据，包括各种类型的输入和预期输出，构建评测数据集；根据业务场景定义一些定制化的评测标准，如对于生成文本的流畅性、逻辑性、专业性等方面的评估标准。

         3. 微调方案设计

            目的：前期方案设计，与客户团队沟通了解数据特点、模型应用目标、以及性能精度指标要求等，明确后续数据工程、模型训练、模型评测的方案细节，制定高效的模型微调策略。

            内容：

            服务内容	服务详细描述
            场景方案设计	微调训练路线：针对数据量适中，根据某个场景，需要提高下游领域任务指令遵从，可通过指令微调对齐模型输出与业务需求，则采用监督微调（SFT或LoRA）训练。 强化学习路线：针对客户已有微调的场景模型，需要引导模型更好地适应特定的任务，使模型能够不断优化回答策略，在实际应用中表现得更加智能和高效，则采用强化学习策略。
            数据方案设计	行业指令数据：收集与客户行业相关的指令数据，并设计指令数据如何分类和标注，明确指令的意图和对应的输出格式，为模型微调提供高质量的训练样本。 强化学习数据：设计强化学习数据收集策略，确定如何收集和构建能够有效反映人类偏好的数据集。
            模型方案设计	模型超参数配置：根据客户的需求和硬件资源情况，设计如何配置模型的超参数，如学习率、批量大小、训练轮数等。 奖励模型设计：针对强化学习，需要根据业务目标和用户需求，设计合理的奖励模型，引导模型向更好的方向优化。
            评测方案设计	构建评测数据：设计从客户业务场景中抽取具有代表性的数据，包括各种类型的输入和预期输出，构建评测数据集。 评测标准设计：根据业务场景定义一些定制化的评测标准，如对于生成文本的流畅性、逻辑性、专业性等方面的评估标准。

      2. 模型推理方案设计

         目的：通过前期方案设计，与客户深入沟通其具体场景分析推理方案的合理性和可行性，明确模型推理以及部署验证的方案细节。

         内容：

         服务项目	服务内容说明
         模型推理部署方案设计	资源配置方案、推理参数配置方案。
         模型推理验证方案设计	推理功能测试方案、推理性能测试方案。

      3. 应用智能体方案设计

         目的：基于需求调研报告，对应用智能体方案进行设计，确保应用层能满足用户需求，同时为后续开发测试提供清晰指导。

         内容：

         服务项目	服务内容说明
         组件规划	规划实现业务目标需要使用哪些组件。
         模块设计	“感官”模块设计，规划输入数据处理逻辑，捕捉环境与用户需求信息。 “大脑”模块设计，规划记忆存储、任务规划流程及协同逻辑，实现决策分析。 “动作”模块设计，规划任务执行与工具调用逻辑。
         数据流设计	规划如何高效集成各模块和组件，规范数据格式，形成完整数据流，实现需求目标。

2. AI平台架构规划服务
   1. 算力底座设计

      目的：有效支撑AI训练高峰期与推理负载波动，降低资源浪费和能耗成本。

      内容：

      服务项目	服务内容说明
      算力底座设计	结合客户数据量、模型规模与服务性能要求，设计适配的算力资源方案，包括芯片类型、服务器规格、资源调度策略与扩展性保障。

   2. AI平台训推架构设计

      目的：规划弹性可扩展的训推系统架构，提升资源利用率与训推效率。

      内容：

      服务项目	服务内容说明
      AI平台训推架构设计	围绕训练与推理全流程，设计AI平台的架构拓扑，涵盖数据流、算力调度、模型存储、日志管理等关键模块，确保整体架构高效、可靠、可持续扩展。

   3. 训推流程方案设计

      目的：设计统一训推服务平台，支持模型服务化、弹性部署与监控管理。

      内容：

      服务项目	服务内容说明
      训推流程方案设计	梳理训练与推理业务的全流程环节，制定各模块之间的交互协议、作业调度与监控方案，提升流程运行效率与容错能力。

   4. 昇腾云脑设计

      目的：保障AI平台合规、安全、高效运行，满足企业在数据安全与运维合规上的核心诉求。

      内容：

      服务项目	服务内容说明
      昇腾云脑设计	针对采用华为昇腾平台的客户，设计昇腾云脑集群架构，包括资源虚拟化、分布式调度、智能运维和断点续训能力，确保客户高效利用昇腾生态。

前提条件

• 客户应提前至少10工作日申请该服务，以便华为云评估客户需求并协调AI专家。
• 双方达成一致的服务目标，并完成合同签订。

服务范围

1. 服务覆盖范围

   AI平台场景化建模方案规划服务主要面向千行百业中有行业实际场景需求，并希望通过AI相关技术去解决这些需求的客户。华为云侧将基于AI平台，结合客户业务场景，提供专业的场景化建模方案规划服务。能够帮助企业快速集成AI平台能力到业务应用，针对计算机视觉、机器学习、NLP、决策优化等场景；工业质检、声音质检、工艺优化、零售识别、智能调度等行业，提供场景化建模分析与设计。

   AI平台架构规划服务面向各行业中希望利用AI技术解决实际业务场景问题但自身AI基础设施和架构设计能力不足的客户，包含以下内容：

   1. 调研客户业务场景需求：深入了解客户的业务场景，明确AI技术的应用目标和需求。对客户现有的AI开发和应用基础设施进行全面评估，明确其技术能力和资源瓶颈。
   2. 推荐合适的AI平台架构：结合客户的具体业务需求和技术现状，推荐最适合的AI平台架构，包括硬件配置、软件框架和网络架构。
   3. 优化资源利用率：通过专业的架构设计，优化资源利用率，减少网络拥塞，提高大规模集群的运行效率。
   4. 制定详细的训推架构规划设计：基于调研和评估结果，为客户制定详细的AI平台训推架构规划，确保后续模型的高效性和可扩展性。
   5. 运维支持服务：协助客户接入昇腾云脑运维服务、配置和初始化，为训练任务提供各种监控报警，故障检测能力，确保运维平台能够快速稳定投入使用。
2. 服务不覆盖范围

   华为AI工程师只负责本工作说明书所载明的服务，提供不在服务范围内的服务需要额外付费。不在服务范围内的服务包括但不限于如下所示内容：

   1. 应客户要求超出正常工作日和工作时间的相关工作（注：涉及加班工资和补助)。
   2. 外购件产品。
   3. 超出项目方案约定范围的客户业务相关的开发维护工作。
3. 服务区域

   中国。

服务流程

1. AI平台场景化建模方案规划服务
   1. AI平台场景化建模分析服务

      服务阶段	服务说明
      训推场景需求调研服务	对客户的训推场景、实际业务场景和模型技术实现等相关需求进行调研
      基础设施调研服务	对客户现有基础设施（如算力资源、网络架构、存储架构等）进行调研
      场景分析与模型评估选型	对大模型进行模型评估及选型，推荐符合客户业务场景的模型
      方案规划服务	根据需求从基础设施层、框架层、模型层到应用层为客户规划场景解决方案
      验收	《AI平台场景化建模方案规划服务-**项目规划方案》汇报通过，客户验证交付件中的内容事项，签字确认《AI平台咨询与规划服务验收报告》
      移交	项目完成，相关交付件移交给客户

      

   2. AI平台场景化建模设计服务

      服务阶段	服务说明
      模型训练方案设计	根据需求进行场景化建模设计（模型训练：增训、微调、蒸馏）
      模型推理方案设计	进行模型推理所需的资源配置设计、推理参数配置设计，以及功能性和推理的性能验证方案设计
      应用智能体方案设计	根据需求进行应用智能体方案设计
      验收	《AI平台场景化建模方案规划服务-建模方案设计报告》汇报通过，客户验证交付件中的内容事项，签字确认《AI平台咨询与规划服务验收报告》
      移交	项目完成，相关交付件移交给客户

      

2. AI平台架构规划服务流程

   服务阶段	服务说明
   需求调研及评估	明确开发、部署、调优服务的需求范围及评估可行性
   方案设计	基于客户需求痛点，评估并筛选备选方案，完成基于Model Arts平台的技术方案
   服务验收	客户验证交付件中的内容事项，签字确认《AI平台架构规划服务验收报告》
   项目移交	项目完成，相关交付件移交给客户

   

服务交付件

责任矩阵

• 共同责任
  • 双方商定并确认具体的业务需求及目标。
  • 双方商定并确认项目管理计划。
  • 双方商定并确认方案内容并评审。
  • 完成合同签订。
• 华为责任
  • 华为云需明确此次项目的负责人，因特殊情况导致华为人员变更，需要提前3个工作日知会客户，直至项目最终验收完成。
  • 华为云得到客户授权后，授权数据仅限用于专业服务中涉及的服务内容，不得超出限定范围。
  • 咨询前，按照客户所选服务项，制定指导计划和报价清单供客户审核确认。
  • 咨询期间，依确认后的计划为指定客户进行技术指导。
  • 咨询结束后，根据所选咨询服务项，出具交付件清单。
  • 接收用户的服务申请，协调ModelArts平台专家与客户商定详情。
• 客户责任
  • 提供详细准确的需求和场景。
  • 提供项目实施的必须件，比如：训练数据等。
  • 审核并确认华为提供的指导计划和交付件。
  • 执行项目验收。

责任分工矩阵表

验收标准

华为按各服务子项提交“服务交付件”章节所述标准交付件，客户在华为云官网Console点击确认验收，或线下签字盖章《AI平台咨询与规划服务验收报告》作为服务验收通过依据。