[快速入门]ai大模型本地部署
盘古NLP大模型

体验 政企知识检索 智能创意营销 行业API助手 行业研发助手 政企会议助手 文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古NLP模型能力与规格 盘古模型快速入门 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区

大模型混合云

全链路专业服务,让模型从可用到好用 · 6阶段30+专业服务,覆盖模型建设全流程,加速政企落地大模型 · 创新运营服务模式,实现全场景模型经验沉淀、全流程运营赋能产业,快速孵化模型场景化应用 模型混合云十创新技术 模型混合云十创新技术 了解详情 十创新技术 加速构建企业专属大模型

盘古大模型 panguLM

盘古模型 PanguLargeModels 盘古模型 PanguLargeModels 盘古模型是面向B端行业的模型,包含L0中5类基础模型、L1行业大模型及L2场景模型三层架构 盘古模型是面向B端行业的模型,包含L0中5类基础模型、L1行业大模型及L2场景模型三层架构

盘古预测大模型

文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古预测模型能力与规格 盘古模型快速入门 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区 优质昇腾云AI模型专区 几行代码自由部署AI应用 丰富多样的AI训练数据集 场景化AI案例,助力AI赋能千行百业

盘古多模态大模型

广汽借助华为云盘古多模态模型,打造业界首个支持点云生成的模型,为其端到端仿真高效迭代提供强有力支撑。 文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古多模态模型能力与规格 用户指南 如何调用盘古模型API 查看全部 AI Gallery百模千态社区 AI Gallery百模千态社区

盘古科学计算大模型

提供高精度的全球模型,无需定制和训练,直接订阅即可推理 多种部署形态 支持公有云、混合云、边缘多种形态,满足不同需求 文档与学习成长 盘古模型 盘古模型 什么是盘古模型 盘古科学计算模型能力与规格 盘古模型用户指南 如何调用盘古模型API 查看全部 AI Gallery百模千态社区

ModelArts Studio

模型应用:灵活多样的模型应用组合解决方案 模型应用组合解决方案 基于ModelArts Studio开发的模型API,可以通过组合方式接入KooSearch和盘古大脑 基于ModelArts Studio开发的模型API,可以通过组合方式接入KooSearch和盘古大脑 对话机器人和虚拟助手

ModelArts Standard

端到端生产工具链,一致性开发体验 线上线下协同开发,开发训练一体化架构,支持模型分布式部署及推理 AI工程化能力,支持AI全流程生命周期管理 AI工程化能力,支持AI全流程生命周期管理 支持MLOps能力,提供数据诊断、模型监测等分析能力,训练智能日志分析与诊断 容错能力强,故障恢复快 容错能力强,故障恢复快

AI开发平台ModelArts-概览

AI开发平台ModelArts AI开发平台ModelArts 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 重磅发布MaaS

[相关产品]ai大模型本地部署
AI大模型 算法备案

《互联网信息服务算法推荐管理规定》明确,具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息  方便

AI大模型专业服务

湘江鲲鹏目前在人工智能模型领域拥有算力、数据、算法三关键要素的经验积累,构建了模型三个方面的差异化竞争力,盘古模型AI专业服务覆盖从前期咨询、规划设计,到数据工程、模型训练,再到应用工程及模型运维的完整流程。基于华为盘古提供的AI专业服务包,致力于为企业提供一站式人工智能解决方案

大模型及AI应用配套服务

angChain等流行的模型开发框架,构建企业级AI应用;团队拥有成熟的软件工程技术和管理能力。6. 模型使用的技术支持,用户使用模型平台,解答用户使用过程遇到的问题;模型与应用对接集成,以及进行日常巡检、故障处理、模型升级等服务。4. 工业数据模型(CAD模型、CAE模

天尊大模型AIGC场景解决方案

太杉天尊模型AIGC场景解决方案是以AI场景解决方案为核心的全栈Maas综合方案,助力政企客户灵活部署(可公有可私有部署)。具备自研的行业模型能力,主要用于政府/公安/教育等行业的数据处理、文本处理以及多模态处理等多场景。太杉天尊模型AIGC场景解决方案,是一款专为满足政府企

人工智能AI大模型技术研发定制服务

公司集成了世界领先的底层模型,具备打通跨模型和工具链的平台,提供从需求分析、数据收集、模型设计、训练优化、评估、系统集成、用户界面设计、部署维护、合规性检查、技术支持、性能监控、扩展性设计、定制服务到持续研发一站式AI模型定制研发服务。光启慧语是一家围绕模型全栈开展技术研发和产

盘古大模型专家服务

. 模型更新后,将新模型部署至相应环境。 十一、模型评测1. 设计模型评测方案,对模型各类指标进行评测。2. 能够按评测标准对模型各项能力进行打分,输出模型评测报告。 十二、Agent开发1. 基于场景,设计并开发Agent工具。2. 基于langchain等模型框架,完

博匠行业AI大模型专业服务

数据质量。4. 模型训练:设计调优方案,实施模型训练,并进行模型评测。熟悉盘古模型工作流和云服务操作,确保模型效果优化。5. 应用工程:提供基于模型能力的Agent开发和应用对接服务。具备良好的软件开发和沟通能力,实现模型与应用的无缝对接。6. 模型运维: 提供技

天尊大模型AIGC场景解决方案配套服务

天尊模型AIGC场景解决方案配套服务是太杉AIGC解决方案的人工服务,是以AI应用解决方案为核心的全栈Maas综合方案,助力政企客户灵活部署(可公有可私有部署)。主要用于政府/公安/教育等行业的数据处理、文本处理以及多模态处理等多场景。天尊模型AIGC场景解决方案配套服务是太

微签电子签章电子签名本地私有部署

系统。一、方案概述微签,以灵敏审批流程和便捷电子签章为特色,为企业搭建安全合规、便捷高效的电子文件签署和管理平台。微签提供文件电子签章的六场景方案:审批流程签章、实名验证签章、自己签章、批量自动签章、虚拟打印签章、系统集成签章。 二、审批流程签章文件要审核后签字盖章?用审批电子

[相似文章]ai大模型本地部署
华为云盘古大模型_华为云AI大模型_盘古人工智能

华为云盘古模型 华为云盘古模型 AI for Industries 模型重塑千行百业 AI for Industries 模型重塑千行百业 盘古模型致力于深耕行业,打造金融、政务、制造、矿山、气象、铁路等领域行业大模型和能力集,将行业知识know-how与模型能力相结合

ModelArts推理部署_模型_AI应用来源-华为云

ModelArts支持本地准备模型包,编写模型配置文件和模型推理代码,将准备好的模型包上传至对象存储服务OBS,从OBS导入模型创建为AI应用。 制作模型包,则需要符合一定的模型包规范。模型包里面必需包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。

ModelArts推理部署_AI应用_部署服务-华为云

ModelArts-AI开发流程 ModelArts 与 ModelArts Studio 对比:全场景平台 vs 模型「超级工厂」 查看更多 收起

DeepSeek-R1蒸馏模型部署及体验

DeepSeek-R1蒸馏模型部署及体验 DeepSeek-R1蒸馏模型部署及体验 在MaaS平台上,DeepSeek-R1蒸馏模型已经部署上线,开发者可以通过在线体验或API调用来使用这些模型。开发者可以在MaaS平台上轻松部署和使用这些模型,以满足不同场景下的需求。 在Maa

ModelArts推理部署_OBS导入_模型包规范-华为云

的元模型需要符合模型包规范。 模型包规范 ModelArts推理部署模型包里面必需包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。 • 模型文件:在不同模型包结构中模型文件的要求不同,具体请参见模型包结构示例。 • 模型配置文件:

ModelArts模型训练_模型训练简介_如何训练模型

ModelArts模型训练 ModelArts模型训练简介 ModelArts模型训练,俗称“建模”,指通过分析手段、方法和技巧对准备好的数据进行探索分析,从中发现因果关系、内部联系和业务规律,为商业目的提供决策参考。训练模型的结果通常是一个或多个机器学习或深度学习模型模型可以应用到新的数据中,得到预测、评价等结果。

ModelArts推理部署_创建AI应用_自定义镜像规范-华为云

ModelArts推理部署,使用容器镜像创建AI应用,需要提前在本地开发模型,制作自定义镜像,上传至容器镜像SWR服务,制作AI应用的自定义镜像需满足ModelArts定义的规范。 ModelArts推理部署,使用容器镜像创建AI应用,需要提前在本地开发模型,制作自定义镜像,上传

免费AI客服电话_AI智能语音外呼系统_AI人工语音智能电话

免费AI客服电话-云蝠智能AI客户联络中心 免费AI客服电话-云蝠智能AI客户联络中心 “云蝠智能”企业提供AI客户联络中心,包含智能语音电话机器人、智能语音呼叫、短信分发及企业微信SCRM的业务体系。通过提供AI会员回访、通知、精准营销的系统进行产品服务和赋能。 “云蝠智能”企

GaussDB部署_GaussDB数据库部署_高斯数据库部署_华为云

第三弹:数据实例的连接 华为云GaussDB Ustore存储引擎正式发布 华为云GaussDB专场直播第5期:SQL优化解读 华为云GaussDB发布5核心技术,打造行业领先的技术竞争力 客户案例 为什么他们选择了GaussDB “星河”数据库标杆案例!工商银行&华为云GaussDB再创佳绩

ai大模型本地部署

在线推理是指利用部署在远程服务器或云平台上的 AI/机器学习模型,通过网络接收用户输入的数据或问题,并实时返回处理结果或决策的过程。在线推理是一种基于云端模型的实时交互式服务,提供低延迟、高可用性的 AI 智能服务,让用户无需本地部署复杂模型即可获得强大的分析、预测、理解等能力,适用于需要快速响应和交互的场景。

ModelArts 提供在线部署功能,支持将模型部署为一个Web Service,并且提供在线的测试UI与监控功能。部署成功的在线服务会提供一个可调用的API,您可以对部署成功的在线服务进行预测和调用。在线推理常用于对实时性要求较高的场景,如在线智能客服、自动驾驶中的实时决策等。

本章节主要介绍如何在ModelArts部署模型为在线服务,并对部署成功的在线服务进行预测。

计费说明

在ModelArts进行服务部署时,会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到 OBS 的计费。具体内容如表1所示。

表1 计费项

计费项

计费项说明

适用的计费模式

计费公式

计算资源

公共资源池

使用计算资源的用量。

具体费用可参见ModelArts价格详情

按需计费

规格单价 * 计算节点个数 * 使用时长

专属资源池

专属资源池的费用已在购买时支付,部署服务不再收费。

专属资源池的费用请参考专属资源池计费项

-

-

事件通知(不开启则不计费)

订阅消息使用 消息通知 服务,在事件列表中选择特定事件,在事件发生时发送消息通知。

如果想使用消息通知,需要在创建训练作业时开启“事件通知”功能。

具体计费可见消息通知服务价格详情

按实际用量付费

  • 发送短信通知费用构成:短信通知条数
  • 发送电子邮件费用构成:电子邮件+外网下行流量
  • 发送HTTP(S)费用构成:HTTP(S)+外网下行流量

运行日志(不开启则不计费)

云日志 服务( LTS )提供日志收集、分析、存储等服务。

部署服务时,开启“运行日志输出”后,日志数据超出LTS免费额度后,会产生费用。具体可云日志服务价格详情

按实际日志量付费

超过免费额度后,按实际日志存储量和存储时长收费

约束与限制

单个用户最多可创建20个在线服务。

前提条件

  • 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型,模型创建请见创建模型
  • 由于在线运行需消耗资源,确保账户未欠费。
  • 在线服务使用 SFS Turbo挂载时需要创建并关联SFS Turbo,具体操作如下。
    1. 创建SFS Turbo,详情请见创建SFS Turbo
    2. 在“标准算力集群(Standard Cluster)”页面单击资源池名称,查看部署服务需要选择的资源池详情,复制“网络”字段对应的值。
    3. 退出详情后,单击“网络管理”页面,按刚复制的网络信息搜索,单击“打通 VPC ”选择自己SFS Turbo所在的VPC以及子网后单击“确定”

      或者通过单击“更多”页签后选择“关联SFS Turbo”选择自己需要挂载的SFS Turbo,该步骤存在规格要求需要SFS Turbo的 ECS 规格支持多个网卡,否则会提示挂网卡失败。

部署在线服务(同步请求)

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“模型部署 > 在线服务”,默认进入“在线服务”列表。
  2. “在线服务”列表中,单击左上角“部署”,进入“部署”页面。
  3. “部署”页面,填写在线服务相关参数。
    1. 填写基本信息,详细参数说明请参见表2
      表2 基本信息参数说明

      参数名称

      说明

      “名称”

      在线服务的名称,请按照界面提示规则填写。

      “是否自动停止”

      启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时”

      目前支持设置为“1小时”“2小时”“4小时”“6小时”“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。

      “描述”

      在线服务的简要说明。

    2. 填写资源池和模型配置等关键信息,详情请参见表3
      表3 参数说明

      参数名称

      子参数

      说明

      “资源池”

      “公共资源池”

      部署在线服务使用公共资源池。公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离。

      公共资源池有CPU或GPU两种规格,不同规格的资源池,其收费标准不同,详情请参见价格详情说明。当前仅支持按需付费模式。

      “专属资源池”

      部署在线服务使用专属资源池。专属资源池不与其他用户共享,资源更可控。

      在专属资源池规格中选择对应的规格进行使用。暂不支持选择创建了逻辑子池的物理池。

      “选择模型及配置”

      模型来源”

      部署在线服务的模型来源。根据您的实际情况选择“自定义模型或者“订阅模型

      • “自定义模型”:在ModelArts自行训练或本地开发并导入ModelArts的模型。
      • “订阅模型”:从AI Gallery中订阅官方发布或者他人分享的模型。

      “模型及版本”

      选择状态“正常”的模型及版本。

      “分流”

      设置当前模型版本的流量占比,服务调用请求根据该比例分配到当前版本上

      如您仅部署一个版本的模型,请设置为100%。如您添加多个版本进行灰度发布,多个版本分流之和设置为100%。

      实例规格”

      选择部署在线服务的实例规格,确保在线服务能够正常运行。

      请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。

      如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池。

      使用所选规格部署服务时,会产生必要的系统消耗,因此服务实际占用的资源会略大于该规格。

      实例数”

      设置当前版本模型的实例个数。如果实例数设置为1,表示后台的计算模式是单机模式;如果实例数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。

      为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。

      “部署超时时间”

      用于设置单个模型实例的超时时间,包括部署和启动时间。默认值为20分钟,输入值必须在3到120之间。

      “添加模型版本进行灰度发布”

      当选择的模型有多个版本时,您可以添加多个模型版本,并通过配置“分流”参数配置各模型版本的分流占比,完成多版本和灵活流量策略的灰度发布,实现模型版本的平滑过渡升级。

      当前免费计算规格不支持多版本灰度发布。

      “存储挂载”

      资源池为专属资源池时显示该参数。在服务运行时将存储卷以本地目录的方式挂载到计算节点(计算实例),模型或输入数据较大时建议使用。

      SFS Turbo:

      使用SFS Turbo挂载准备工作如下:

      使用专属资源池部署服务才允许使用存储挂载的能力,并且专属资源池需要打通VPC或关联SFS Turbo。

      • 打通VPC为打通SFS Turbo所在VPC和专属资源池网络,打通步骤请见打通VPC章节。
      • 关联SFS Turbo:如果SFS Turbo为HPC型的文件系统,可使用关联SFS Turbo功能,具体操作请参见配置ModelArts和SFS Turbo间网络直通

      参数说明如下:

      • “文件系统名称”:选择对应的SFS Turbo极速文件。不支持选择跨区域(Region)的极速文件系统。
      • “挂载路径”:指定容器内部的挂载路径,如“/sfs-turbo-mount/”。请选择全新目录,选择存量目录会覆盖存量文件。

      注意事项如下:

      • 相同的文件系统只能挂载一次 ,且只能对应一个挂载路径,挂载路径均不可重复。最多可以挂载8个盘。
      • 选择多挂载时请勿设置存在冲突的挂载路径如相同路径或相似路径如/obs-mount/与/obs-mount/tmp/等。
      • 选择SFS Turbo存储挂载后,请勿删除已经打通的VPC或解除SFS Turbo关联,否则会导致挂载功能无法使用。挂载时默认按客户端umask权限设置,为确保正常使用须在SFS Turbo界面绑定后端OBS存储后设置权限为777。

      优先级

      -

      该功能仅在专属资源池生效,包括逻辑资源池/新创建的物理资源池/逻辑子池,存量物理资源池不支持此功能。

      用户可以通过设置优先级,优先保障高优先级的业务调度。

      优先级可选[1-3],1为最低优先级,3为最高优先级。训推共池时,在创建训练作业界面开启“允许被抢占”后(参考创建训练作业的创建生产训练作业),高优先级的推理任务可以抢占低优先级的训练作业。

      “服务流量限制”

      -

      服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。

      “升级为WebSocket”

      -

      设置在线服务是否部署为WebSocket服务。将服务的通信协议从HTTP/HTTPS升级为WebSocket协议。

      WebSocket协议支持客户端和服务端之间的双向实时通信,适用于需要实时交互的场景,如实时预测、聊天机器人等。

      升级为WebSocket后,服务的API接口公网地址将变为WebSocket协议地址,客户端可以通过WebSocket客户端进行连接和数据交互。

      约束限制如下:

      要求模型的元模型来源为从 容器镜像 中选择,并且 镜像 支持WebSocket。

      设置“升级为WebSocket”后,不支持设置“服务流量限制”

      “升级为WebSocket”参数配置,在部署服务后不支持修改。

      在线服务支持WebSocket更多了解请参考WebSocket在线服务全流程开发

      “运行日志输出”

      -

      默认关闭,在线服务的运行日志仅存放在ModelArts日志系统,在服务详情页的“日志”支持简单查询。

      如果开启此功能,在线服务的运行日志会输出存放到 云日志服务LTS 。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。如需了解LTS专业日志管理功能,请参见云日志服务

      开启此功能后约束限制如下:

      • “运行日志输出”开启后,在部署服务后不支持关闭。
      • 请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。
      注意:

      LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则

      “支持APP认证”

      “APP授权配置”

      在线服务是否支持通过APP认证进行访问控制。

      APP认证是一种基于AppCode和AppSecret的认证方式,用于验证客户端的身份,确保只有授权的APP能够调用服务的API。

      通过APP认证,可以实现更细粒度的访问控制,提升服务的安全性。

      默认关闭。如需开启此功能,请参见通过APP认证的方式访问在线服务了解详情并根据实际情况进行设置。

      “订阅消息”

      -

      订阅消息使用消息通知服务,在事件列表中选择需要监控的服务状态,在事件发生时发送消息通知。

    3. 可选:配置高级选项。
      表4 高级选项参数说明

      参数名称

      说明

      故障自动重启

      服务实例在发生故障时是否自动重启。

      开启该功能后,系统检测到在线服务异常,会自动重新部署在线服务。详细请参见设置在线服务故障自动重启

      自动重启功能可以有效提升服务的可用性和稳定性,减少因硬件故障导致的服务中断时间。适用于对服务连续性和稳定性要求较高的场景。

      “支持IPV6”

      服务实例是否支持IPv6网络通信。

      默认关闭。开启该功能后,待在线服务部署完成,服务预测地址中的域名在公网解析时可解析为IPV6地址。

      当需要通过IPv6地址访问服务实例时,开启此字段以支持IPv6网络通信。适用于需要在全球范围内提供服务,或需要与支持IPv6的网络环境对接的场景。

      该功能约束限制如下:

      • 仅支持部署时开启,开启后不支持修改。
      • 仅北京四支持该功能。

      “标签”

      ModelArts支持对接标签管理服务TMS,在ModelArts中创建资源消耗性任务(例如:创建Notebook、训练作业、推理在线服务)时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。

      可以在标签输入框下拉选择TMS预定义标签,也可以自己输入自定义标签。预定义标签对所有支持标签功能的服务资源可见。租户自定义标签只对自己服务可见。

      标签详细用法请参见ModelArts如何通过标签实现资源分组管理

  4. 确认填写信息无误后,根据界面提示完成在线服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

    您可以前往在线服务列表,查看在线服务的基本情况。在线服务列表中,刚部署的服务“状态”“部署中”,当在线服务的“状态”变为“运行中”时,表示服务部署完成。

    在线服务部署完成后,将立即启动。服务为“运行中”,“告警”状态下正常运行实例正在产生费用,不使用时,请及时停止。

使用预测功能测试在线服务

模型部署为在线服务成功后,您可以在“预测”页签进行代码调试或添加文件测试。因APIG(API网关)的限制,单次预测的时间不能超过40S。

该功能为调测使用,实际生产建议使用API调用。根据鉴权方式的不同,可以根据实际情况选择通过Token认证的方式访问在线服务通过AK/SK认证的方式访问在线服务或者通过APP认证的方式访问在线服务

根据模型定义的输入请求不同(JSON文本或文件),测试服务包括如下两种方式:

  • JSON文本预测:如当前部署服务的模型,其输入类型指定的为JSON文本类,即不含有文件类型的输入,可以在“预测”页签输入JSON代码进行服务预测。
  • 文件预测:如当前部署服务的模型,其输入类型指定为文件类,可包含图片、音频或视频等场景,可以在“预测”页签添加图片进行服务预测。
    • 如果您的输入类型为图片,请注意测试服务单张图片输入应小于8MB。
    • JSON文本预测,请求体的大小不超过8MB。
    • 因APIG(API网关)的限制,单次预测的时间不能超过40S。
    • 图片支持以下类型:“png”“psd”“jpg”“jpeg”“bmp”“gif”“webp”“psd”“svg”“tiff”
    • 如果服务部署时使用的是“Ascend”规格,则无法预测含有透明度的PNG图片,因为Ascend仅支持RGB-3通道的图片。

针对您部署上线的服务,您可以在服务详情页面的“调用指南”中,了解本服务的输入参数,即上文提到的输入请求类型。

图1 查看服务的调用指南

调用指南中的输入参数取决于您选择的模型来源:

  • 如果您的元模型来源于预置算法,其输入输出参数由ModelArts官方定义,请直接参考“调用指南”中的说明,并在预测页签中输入对应的JSON文本或文件进行服务测试。
  • 如果您的元模型是自定义的,即推理代码和配置文件是自行编写的(配置文件编写说明),“调用指南”只是将您编写的配置文件进行了可视化展示。调用指南的输入参数与配置文件对应关系如下所示。
    图2 配置文件与调用指南的对应关系

不同输入请求的预测方式如下:

  • JSON文本预测
    1. 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署 > 在线服务”,进入“在线服务”管理页面。
    2. 单击目标服务名称,进入服务详情页面。在“预测”页签的预测代码下,输入预测代码,然后单击“预测”即可进行服务的预测,如图3所示。

      JSON文本类的预测代码和返回结果样例如下所示。

      图3 预测代码
  • 文件预测
    1. 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署 > 在线服务”,进入“在线服务”管理页面。
    2. 单击目标服务名称,进入服务详情页面。在“预测”页签,单击“上传”,然后选择测试文件。文件上传成功后,单击“预测”即可进行服务的预测,如图4所示,输出标签名称,以及位置坐标和检测的评分。
      文件类的预测代码和返回结果样例,可参见花卉识别样例。此样例是使用订阅算法训练的元模型,其输入类型为ModelArts官方定义,不可更改,如需自定义的元模型,请参见手写数字识别样例
      图4 图片预测

使用CloudShell调试在线服务实例容器

允许用户使用ModelArts控制台提供的CloudShell登录运行中在线服务实例容器。

约束限制:

  • 只支持专属资源池部署的在线服务使用CloudShell访问容器。
  • 在线服务必须处于“运行中”状态,才支持CloudShell访问容器。
  1. 登录ModelArts管理控制台,左侧菜单选择“模型部署 > 在线服务”。
  2. 在线服务列表页面单击“名称/ID”,进入在线服务详情页面。
  3. 单击CloudShell页签,选择模型版本和计算节点,当连接状态变为时,即登录实例容器成功。

    如果遇到异常情况服务器主动断开或超过10分钟未操作自动断开,此时可单击“重新连接”重新登录实例容器。
    图5 CloudShell界面

    部分用户登录Cloud Shell界面时,可能会出现路径显示异常情况,此时在Cloud Shell中单击回车键即可恢复正常。
    图6 路径异常

  4. 登录实例容器成功后,在容器的终端环境执行所需的调试命令。例如:

    查看日志:

    tail -f /var/log/app.log

    检查服务状态:

    systemctl status app

    执行自定义脚本:

    ./debug_script.sh

  5. 完成调试后,使用以下命令退出容器:

    exit

    返回CloudShell终端后,您可以查看调试结果或日志文件。

ai大模型本地部署常见问题

更多常见问题 >>
  • 盘古大模型致力于深耕行业,打造金融、政务、制造、矿山、气象、铁路等领域行业大模型和能力集,将行业知识know-how与大模型能力相结合,重塑千行百业,成为各组织、企业、个人的专家助手。

  • 模型转换,即将开源框架的网络模型(如Caffe、TensorFlow等),通过ATC(Ascend Tensor Compiler)模型转换工具,将其转换成昇腾AI处理器支持的离线模型。

  • 近年来越来越多的行业采用AI技术提升效率、降低成本,然而AI落地的过程确并不容易,AI在具体与业务结合时常常依赖于业务数据的采集、处理、模型训练、调优、编排、部署和运维等很多环节。华为云ModelArts是全流程AI开发平台,包含了AI应用的开发、部署和分享交易,通过解决AI开发各个环节所遇到的核心问题,ModelArts有效解决了AI落地难的问题,将极大促进AI技术的普惠。本议题将分享ModelArts的主要关键技术和应用案例。

  • ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。

  • 企业ERP上云通用解决方案提供ERP软件及云上架构,助力企业ERP一站式上云,ERP云上部署优势:减低成本,提升企业管理效率,助力企业数字化转型。

  • 本次Serverless应用中心上线文生图应用,用户无需下载源代码、了解各种安装部署知识、安装复杂的依赖,通过华为云Serverless应用中心即可一键创建AI文生图应用,体验 “0” 构建门槛、“0” 资源闲置并具备极致弹性的Serverless AI绘图能力。