[快速入门]训练ai大模型应用
ModelArts Studio

模型应用:灵活多样的模型应用组合解决方案 模型应用组合解决方案 基于ModelArts Studio开发的模型API,可以通过组合方式接入KooSearch和盘古大脑 基于ModelArts Studio开发的模型API,可以通过组合方式接入KooSearch和盘古大脑 对话机器人和虚拟助手

AI开发平台ModelArts-概览

AI开发平台ModelArts AI开发平台ModelArts 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 重磅发布MaaS

盘古大模型 panguLM

盘古模型 PanguLargeModels 盘古模型 PanguLargeModels 盘古模型是面向B端行业的模型,包含L0中5类基础模型、L1行业大模型及L2场景模型三层架构 盘古模型是面向B端行业的模型,包含L0中5类基础模型、L1行业大模型及L2场景模型三层架构

华为云新品发布

重磅发布 重磅发布 CloudMatrix384 最适合模型应用的算力服务 了解更多 盘古模型5.5 五基础模型全面升级 了解更多 CloudMatrix384 最适合模型应用的算力服务 了解更多 盘古模型5.5 五基础模型全面升级 了解更多 筛选 全部 弹性内存存储 对象存储

盘古NLP大模型

体验 政企知识检索 智能创意营销 行业API助手 行业研发助手 政企会议助手 文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古NLP模型能力与规格 盘古模型快速入门 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区

盘古多模态大模型

广汽借助华为云盘古多模态模型,打造业界首个支持点云生成的模型,为其端到端仿真高效迭代提供强有力支撑。 文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古多模态模型能力与规格 用户指南 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区

ModelArts Studio大模型开发平台

一站式大模型开发平台 一站式模型开发平台 ModelArts Studio模型开发平台是集数据管理、模型训练、模型部署于一体的综合平台,专为开发和应用模型而设计,旨在为开发者提供简单、高效的模型开发和部署方式 为什么选择模型开发平台ModelArts Studio 最全工具链平台 最全工具链平台

大模型混合云

景化应用 模型混合云十创新技术 模型混合云十创新技术 了解详情 十创新技术 加速构建企业专属模型 十创新技术 加速构建企业专属模型 围绕企业大模型构建关键过程,聚焦根技术,为AI原生系统性创新 围绕企业大模型构建关键过程,聚焦根技术,为AI原生系统性创新 多样性算力调度

盘古预测大模型

文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古预测模型能力与规格 盘古模型快速入门 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区 优质昇腾云AI模型专区 几行代码自由部署AI应用 丰富多样的AI训练数据集 场景化AI案例,助力AI赋能千行百业

[相关产品]训练ai大模型应用
X-brain AI+自动训练平台

剔除无目标的图片;2、解决样本标注效率低,只需人工提供极少量的标注数据,通过平台的自动标注功能,能够提升50%的标注效率,节省人力及时间成本;3、解决模型训练门槛高问题,可视化的模型训练界面,自动推荐训练参数,5分钟快速上手,模型训练成本降低70%;4、克服算法只能解决单一业务场

AI军事体育训练考核系统

产品利用移动5G通讯,结合AI视觉算法的先进技术,与战训环节深度融合,实现比武考试、体能训练、日常训练等全场景应用 实时查看训练考核数据

AI大模型 算法备案

《互联网信息服务算法推荐管理规定》明确,具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息  方便

AI大模型专业服务

湘江鲲鹏目前在人工智能模型领域拥有算力、数据、算法三关键要素的经验积累,构建了模型三个方面的差异化竞争力,盘古模型AI专业服务覆盖从前期咨询、规划设计,到数据工程、模型训练,再到应用工程及模型运维的完整流程。基于华为盘古提供的AI专业服务包,致力于为企业提供一站式人工智能解决方案

大模型及AI应用配套服务

术和管理能力。6. 模型使用的技术支持,用户使用模型平台,解答用户使用过程遇到的问题;模型与应用对接集成,以及进行日常巡检、故障处理、模型升级等服务。4. 工业数据模型(CAD模型、CAE模型、仿真模型等)全域治理、筛选、提取和标记。,3. 华为盘古模型算法:高识别率、高筛选率、强泛化性。

万源科技行业大模型专业服务

应用工程类服务行业Agent开发:基于模型技术,开发行业特定的智能Agent,实现自动化、智能化的业务处理。应用对接支持:提供与模型相关的应用对接支持,确保现有业务能够无缝对接模型服务。模型RAG:提供模型相关的特定技术或功能支持,满足用户业务需求。6.模型运维服务技术支持订阅:提供持续的技术支持服务,

天尊大模型AIGC场景解决方案

太杉天尊模型AIGC场景解决方案是以AI场景解决方案为核心的全栈Maas综合方案,助力政企客户灵活部署(可公有可私有部署)。具备自研的行业模型能力,主要用于政府/公安/教育等行业的数据处理、文本处理以及多模态处理等多场景。太杉天尊模型AIGC场景解决方案,是一款专为满足政府企

人工智能AI大模型技术研发定制服务

公司集成了世界领先的底层模型,具备打通跨模型和工具链的平台,提供从需求分析、数据收集、模型设计、训练优化、评估、系统集成、用户界面设计、部署维护、合规性检查、技术支持、性能监控、扩展性设计、定制服务到持续研发一站式AI模型定制研发服务。光启慧语是一家围绕模型全栈开展技术研发和

大觥科技 AI 开放平台-数字人生成

觥科技 AI 开放平台-数字⼈⽣成,输入视频即可快速⽣成带完整⻣骼绑定的超写实数字⼈。⼀、产品信息觥科技 AI 开放平台-数字⼈⽣成是集成⼈⼯智能等技术,将⽤⼾输⼊的头部转动视频,在短时间内⽣成⼀个带通⽤男⼥⾝体及⻣骼绑定的超写实数字⼈的SaaS 服务。输出的资产⽂件含模型⽂件及贴图,数字⼈模型使⽤通⽤

[相似文章]训练ai大模型应用
ModelArts模型训练_模型训练简介_如何训练模型

Arts上进行模型训练与部署的全流程指导。 Standard专属资源池训练 不同AI模型训练所需要的数据量和算力不同,在训练时选择合适存储及训练方案可提升模型训练效率与资源性价比。ModelArts支持单机单卡、单机多卡和多机多卡的训练场景,满足不同AI模型训练的要求。针对第一次

AI训练加速存储_高性能数据存储_AI数据存储内存不足怎么办

源,包括高性能算力,高速存储和网络带宽等基础设施,即“算力、存力、运力”的AI基础设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的模型,自动驾驶,我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长,对存储基础设施也带来全新的挑战。 1、高吞吐的数据访问挑战:随着企业使用

华为云盘古大模型_华为云AI大模型_盘古人工智能

华为云盘古模型 华为云盘古模型 AI for Industries 模型重塑千行百业 AI for Industries 模型重塑千行百业 盘古模型致力于深耕行业,打造金融、政务、制造、矿山、气象、铁路等领域行业大模型和能力集,将行业知识know-how与模型能力相结

ModelArts模型训练_创建训练作业_如何创建训练作业

权完成操作。 创建训练作业 1、登录ModelArts管理控制台。 2、在左侧导航栏中,选择“训练管理 > 训练作业”,进入“训练作业”列表。 3、单击“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 4、选择训练资源的规格。训练参数的可选范围与已有算法的使用约束保持一致。

网站安全-Web应用防火墙-功能场景

b服务安全稳定。 立即购买 管理控制台 帮助文档 Web应用防火墙新功能-模型防火墙 模型防火墙保障模型应用安全合规 模型防火墙保障模型应用安全合规 生成式人工智能技术的迅猛发展推动了模型在AI推理领域的规模化应用,由此也暴露出新型安全隐患:推理过程中对用户输入的敏感

AI应用,低成本一键创建_华为云Serverless

【限时特惠】研发与中间件专场 研发与中间件专场 众多AI创新者反馈,构建AIGC应用时常遇这些挑战 众多AI创新者反馈,构建AIGC应用时常遇这些挑战 模型开发/定制门槛高 模型应用是一个模型、数据、代码集成的新型应用。 开发一个完整的模型应用既需要利用多样化的AI原生技术又需要强大的工程能力,并将它们充分整合,开发门槛高

免费AI客服电话_AI智能语音外呼系统_AI人工语音智能电话

免费AI客服电话-云蝠智能AI客户联络中心 免费AI客服电话-云蝠智能AI客户联络中心 “云蝠智能”企业提供AI客户联络中心,包含智能语音电话机器人、智能语音呼叫、短信分发及企业微信SCRM的业务体系。通过提供AI会员回访、通知、精准营销的系统进行产品服务和赋能。 “云蝠智能”企

ModelArts分布式训练_分布式训练介绍_分布式调测

ModelArts分布式训练 ModelArts分布式训练 ModelArts提供了丰富的教程,帮助用户快速适配分布式训练,使用分布式训练极大减少训练时间。也提供了分布式训练调测的能力,可在PyCharm/VSCode/JupyterLab等开发工具中调试分布式训练。 ModelArt

人工智能学习入门

人工智能学习入门 人工智能课程学习,动手实验,在线考试认证,掌握人工智能技能 人工智能知识图谱 在线课程 01 AI基础、技术领域、应用场景、华为云EI AI基础、技术领域、应用场景、华为云EI 动手实验 02 包括初级、中级实验 包括初级、中级实验 AI基础 AI基础 AI基础课程--概览

训练ai大模型应用

AI Gallery支持将模型进行微调,训练后得到更优模型。

场景描述

模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训练得到的,而在特定任务上,这些模型的参数可能并不都是最合适的,因此需要进行微调。

AI Gallery的模型微调,简单易用,用户只需要选择训练数据、创建微调任务,模型微调就会对数据进行训练,快速生成模型。

约束限制

  • 如果模型的“任务类型”“文本问答”“文本生成”,则支持模型微调。如果模型的“任务类型”是除“文本问答”“文本生成”之外的类型(即自定义模型),则模型文件必须满足自定义模型规范(训练)才支持模型自定义训练。
  • 当使用自定义 镜像 进行模型微调时,要确认镜像是否满足自定义镜像规范,否则无法成功完成自定义训练。

进入模型微调

  1. 登录AI Gallery
  2. 单击“模型”进入模型列表。
  3. 选择需要进行微调训练的模型,单击模型名称进入模型详情页。
  4. 在模型详情页,选择“训练 > 微调大师”进入微调工作流页面。

选择训练任务类型

选择模型微调的训练任务类型。

  • 当模型的“任务类型”“文本问答”“文本生成”时,“训练任务类型”默认和模型“任务类型”一致。“训练任务类型”支持修改,如果模型文件满足自定义模型规范(训练),则“训练任务类型”支持选择“自定义”
  • 当模型的“任务类型”是除“文本问答”“文本生成”之外的类型(即自定义模型)时,则“训练任务类型”默认为“自定义”,支持修改为“文本问答”“文本生成”
  • 当使用自定义镜像进行模型微调时,“训练任务类型”默认为“自定义”,且不支持修改。

准备数据

  • 本地上传数据需要确保数据已按照数据集要求完成编排。如果是自定义模型,此处的数据集要求即为模型文件“dataset_readme.md”里的内容。
  • 单个文件最大5GB,所有文件总大小不超过50G。
  1. 在微调工作流的“数据准备”环节选择数据集。
    • 从本地上传
      1. “从本地上传”处,单击“点击上传”,选择本地编排好的训练数据。
      2. 数据上传成功后,页面会有提示信息。

        此时AI Gallery会自动新建一个数据集,单击提示信息处的“查看”可以进入数据集详情页,也可以在“我的Gallery > 数据集 > 我创建的数据集”进入数据集详情页查看。

    • 从AI Gallery中选
      1. 单击“从AI Gallery中选择”。
      2. 在弹窗中,从“我创建的”或“我收藏的”数据集中选择所需要数据集。
      3. 选择完成后,单击“确定”。
  2. 数据准备完成后,单击“下一步”进入“作业设置”环节。

设置并启动作业

  1. 在微调工作流的“作业设置”环节配置训练作业参数。
    1. 算法配置,会显示已选模型的信息,基于已选模型选择微调方式。
      • “训练任务类型”“文本问答”“文本生成”时,AI Gallery支持的微调方式是LoRA。
      • “训练任务类型”“自定义”时,微调方式来自于模型文件“train_params.json”

      低秩适应(LoRA)是一种重参数化方法,旨在减少具有低秩表示的可训练参数的数量。权重矩阵被分解为经过训练和更新的低秩矩阵。所有预训练的模型参数保持冻结。训练后,低秩矩阵被添加回原始权重。这使得存储和训练LoRA模型更加高效,因为参数明显减少。

    2. 超参数设置,基于训练作业配置超参。超参指的是模型训练时原始数据集中实际字段和算法需要字段之间的映射关系。
      • “训练任务类型”“文本问答”“文本生成”时,则常见的超参说明请参见表1
      • “训练任务类型”“自定义”时,超参信息来自于模型文件“train_params.json” 。如果不使用可选超参,建议单击右侧的删除按钮,删除参数。
      表1 常见超参说明

      参数名称

      参数类型

      说明

      data_url

      String

      数据 OBS 存储路径。

      train_url

      String

      微调产物输出OBS路径。

      train_data_file

      String

      训练数据文件名。

      test_data_file

      String

      测试数据文件名。

      prompt_field

      String

      数据prompt列名。

      response_field

      String

      数据response列名。

      history_field

      String

      数据history列名。

      prefix

      String

      数据格式化时使用的前缀。

      instruction_template

      String

      数据格式化时使用的指令模板。

      response_template

      String

      数据格式化时使用的回答模板。

      lora_alpha

      int

      Lora scaling的alpha参数。

      lora_dropout

      float

      Lora dropout概率。

      lora_rank

      int

      Lora attention维度。

      per_device_train_batch_size

      int

      用于训练的每个GPU/TPU core/CPU的批处理大小。

      gradient_accumulation_steps

      int

      梯度累计步数。

      max_steps

      int

      训练最大步数,如果数据耗尽,训练将会在最大步数前停止。

      save_steps

      int

      checkpoint保存步数。

      logging_steps

      int

      日志输出步数。

      learning_rate

      float

      初始学习率。

      max_grad_norm

      float

      梯度裁剪最大范数。

      warmup_ratio

      float

      热身步数比。

      max_seq_length

      int

      数据最大序列长度。

      finetuned_model

      String

      前序微调产物OBS路径。

      bits

      int

      模型量化bit数,如4、8。

      max_eval_samples

      int

      最大测试数据数。

    3. 计算规格选择,按需选择计算规格。单击“选择”,在弹窗中选择资源规格,单击“确定”。
      • “所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。
      • 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。

      如果选择付费资源,则请确认账号未欠费,且余额高于所选计算规格的收费标准,否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明

  2. 作业参数配置完成后,单击“启动作业”。
  3. “订单信息确认”页面,确认服务信息和费用,单击“确定”提交模型训练任务。

    单击“返回模型训练”跳转到微调大师页面,可以查看训练作业状态。当“状态”“训练完成”时,表示微调任务完成。

    • 单击操作列的“查看模型”跳转到微调获得的新模型的详情页面。
    • 单击操作列的“任务详情”可以在弹窗中查看“训练信息”“训练日志”“指标效果”
    • 单击操作列的“更多 > 删除任务”,可以删除微调任务,但是微调获得的新模型不会被删除。

查看训练效果

启动模型微调任务后,在微调大师列表单击操作列的“任务详情”,在弹窗中选择“指标效果”页签,可以查看训练效果。

表2 训练效果的指标介绍

指标名称

指标说明

NPU/GPU利用率

在训练过程中,机器的NPU/GPU占用情况(横坐标时间,纵坐标占用率)。

显存利用率

在训练过程中,机器的显存占用情况(横坐标时间,纵坐标占用率)。

吞吐

在训练过程中,每卡处理tokens数量(tokens/s/p)。每种框架计算方式不一致,例如,ATB可通过“samples per second*seq_lenth/总卡数”得到tokens/s/p,输出给throughout字段,seq_lenth取值在训练脚本中可以查看。

单机8卡吞吐量一般为1650tokens/s/p,双机16卡吞吐量一般为1625tokens/s/p。

说明:

自定义训练或自定义镜像训练,需要提前在训练启动脚本(例如“train.py”)中定义好迭代次数、LOSS和吞吐数据的存放位置,以及存放格式(必须是“迭代次数|loss|吞吐”),才能在此处正常查看吞吐和“训练LOSS”曲线。

训练LOSS

训练阶段的LOSS变化,模型在日志里用LOSS关键词记录数据,按照训练迭代周期记录LOSS值。

微调产物说明

模型微调完成后,会得到一个新模型,即微调产物。

在微调大师页面,单击操作列的“查看模型”跳转到微调获得的新模型的详情页面。选择“模型文件”页签可以查看微调产物。各文件说明请参见表3

图1 微调产物示例
表3 微调产物说明

文件名

文件说明

gallery_train文件夹

自定义模型的模型训练文件,仅当使用自定义模型微调时才会有这个微调产物,内容和预训练模型里的gallery_train文件一致。

training_logs/user_params.json

微调配置参数信息,AI Gallery会自动将微调设置的参数信息记录在此文件下。

“README.md”

模型的基础信息。内容和预训练模型里“模型文件”页签的“README.md”一致。

其他文件

当使用自定义模型微调时,可能还会有一些其他微调产物,这是由自定义模型的训练脚本文件train.py决定的,如果训练脚本定义了归档其他训练产物,就会在此处呈现。

训练ai大模型应用常见问题

更多常见问题 >>
  • 本次Serverless应用中心上线文生图应用,用户无需下载源代码、了解各种安装部署知识、安装复杂的依赖,通过华为云Serverless应用中心即可一键创建AI文生图应用,体验 “0” 构建门槛、“0” 资源闲置并具备极致弹性的Serverless AI绘图能力。

  • 华为云Serverless技术极大的优化了AI应用开发过程,一键部署AI应用、提升开发团队工作效率。让AI团队可以更关注业务实现,而无需关注底层技术细节。

  • 在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注。本课程将简单介绍一下预训练的思想,几个代表性模型和它们之间的关系。

  • ModelArts模型训练旨在提升开发者模型训练的开发效率及训练性能。提供了可视化作业管理、资源管理、版本管理等功能,基于机器学习算法及强化学习的模型训练自动超参调优;预置和调优常用模型,简化模型开发和全流程训练管理。

  • 盘古大模型致力于深耕行业,打造金融、政务、制造、矿山、气象、铁路等领域行业大模型和能力集,将行业知识know-how与大模型能力相结合,重塑千行百业,成为各组织、企业、个人的专家助手。

  • 提供安全稳定、性能领先、无限弹性扩展的存储能力,降低使用成本,驱动千行百业数据价值变现