政企AI平台架构及应用实践 湘钢人工智能大模型价值评估报告 大模型混合云十大创新技术 了解详情 矿山产业集群大模型运营最佳实践 了解详情 矿山大模型最佳实践白皮书 了解详情 华为云Stack 做智能时代更懂政企的云 1对1咨询
盘古大模型 盘古大模型 盘古NLP大模型 盘古NLP大模型 优秀的模型结构,完善的工程化能力,最贴合行业落地的NLP大模型 超大参数规模,最贴合行业落地的NLP大模型 重磅发布盘古NLP 718B深度思考模型,多专家+大稀疏比的MOE新架构,昇腾亲和设计,高效训推 专家咨询 ModelArts
使用预置算法构建模型 使用自定义算法构建模型 查看全部 即刻领取 免费试用 产品 开启您的大模型之旅 企业免费试用 您可能感兴趣的产品 您可能感兴趣的产品 大模型开发平台ModelArts Studio 一站式大模型工具链平台 ModelArts 面向开发者的AI平台
盘古大模型 盘古大模型 盘古大模型 PanguLargeModels 盘古大模型 PanguLargeModels 盘古大模型是面向B端行业的大模型,包含L0中5类基础大模型、L1行业大模型及L2场景模型三层架构 盘古大模型是面向B端行业的大模型,包含L0中5类基础大模型、L1行业大模型及L2场景模型三层架构
古多模态大模型为基座,持续优化万兴天幕音视频大模型2.0,构建其音视频垂类能力。 广汽集团 广汽借助华为云盘古多模态大模型,打造业界首个支持点云生成的大模型,为其端到端仿真高效迭代提供强有力支撑。 文档与学习成长 盘古大模型 盘古大模型 什么是盘古大模型 盘古多模态大模型能力与规格
定区域模型 速度快 气象大模型单卡可推,分钟级预报,提速百倍 多种部署形态 支持公有云、混合云、边缘多种形态,满足不同需求 文档与学习成长 盘古大模型 盘古大模型 什么是盘古大模型 盘古科学计算大模型能力与规格 盘古大模型用户指南 如何调用盘古大模型API 查看全部 AI Gallery百模千态社区
大模型混合云TOP N 场景 大模型混合云TOP N 场景 1对1咨询 了解华为云Stack 大模型行业场景落地三要素 大模型行业场景落地三要素 场景是大模型行业落地的关键所在,而在场景落地过程中,数据、经验和生态是核心要素,数据的数量和质量决定模型效果上限;经验就像“名师指导”
盘古大模型 盘古大模型 大模型开发平台ModelArts Studio 大模型开发平台ModelArts Studio 支持百模千态的大模型工具链平台,构建规模化可复制的行业大模型解决方案,深入行业解决行业难题 支持百模千态的大模型工具链平台,构建规模化可复制的行业大模型解决方案,深入行业解决行业难题
大模型安全护栏 ModelArts Guard 大模型安全护栏 ModelArts Guard 大模型安全护栏(ModelArts Guard),做配套大模型的内容安全防线 大模型安全护栏(ModelArts Guard),做配套大模型的安全防线,开放兼容,适用盘古大模型和三方大模型
《互联网信息服务算法推荐管理规定》明确,具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息 方便
湘江鲲鹏目前在人工智能大模型领域拥有算力、数据、算法三大关键要素的经验积累,构建了大模型三个方面的差异化竞争力,盘古大模型AI专业服务覆盖从前期咨询、规划设计,到数据工程、模型训练,再到应用工程及模型运维的完整流程。基于华为盘古提供的AI专业服务包,致力于为企业提供一站式人工智能解决方案
等,以及整体的规划设计(需求、思路、方案、架构、落地周期、预算等)。3. 数据的咨询、治理和梳理,数据的采集(各业务系统中的多种业务模型、网络等等),数据的标注,关联关系的定义,以及数据导入。4. 基于具体任务和对应的数据分布,设计适合的微调训练框架和方案;使用不同的调参策略和技
,满足企业在不同地点的工作需求。5、我们保证了业务的高质量数据供给。我们的工作站拥有强大的数据处理能力,可以提供高质量的数据,帮助企业做出更好的决策。总的来说,太杉天尊大模型AIGC场景解决方案具备功能强大、安全可靠、易于使用的特点,是政府的得力助手,企业的重要伙伴。1、数据私有化;
%+,能够为客户提供定制化的解决方案。 公司集成了世界领先的底层大模型,具备打通跨模型和工具链的平台能力,采用最新的人工智能技术和算法,能够基于业务场景,支持大规模数据处理和复杂的模型训练,根据客户的特定需求调整模型参数和功能,确保为客户提供高效、可靠的技术服务,以满足业务目标。
择和技术方案设计。提供NLP/CV等大模型的训练集数据标准设计指导。2. 规划设计:提供需求调研服务,基于盘古大模型的能力进行科学合理的方案设计和模型选择。完成需求调研报告和方案设计报告的输出及交付。提供L0盘古大模型服务部署方案的规划设计及部署实施服务。3. 数据工程:
注&撰写根据大模型微调数据标注规范,通过配套工具进行数据标注。 八、数据转换与导入 完成数据格式的转换,可进行跨网络环境的数据导入。 九、调优方案设计 根据大模型训练及调优工具和平台,输出大模型调优方案。 十、模型训练实施1. 基于大模型训练所需的云服务,完成大模型训练及微调。2
、安全的工作环境。1、我们特别注重数据私有化。我们采用最新的数据加密技术,确保企业的数据安全。每一个工作站都拥有独立的存储空间,企业的数据不会被未经授权的第三方访问。2、我们提供了场景定制的服务。我们的工作站可以根据企业的具体需求,进行个性化设计,以满足企业在不同场景下的工作需求
出门问问大模型“序列猴子”是一款具备多模态生成能力的大语言模型,模型以语言为核心的能力体系涵盖“知识、对话、数学、逻辑、推理、规划”六个维度,能够同时支持文字生成、图片生成、3D内容生成、语言生成和语音识别等不同任务。出门问问大模型“序列猴子”是一款具备多模态生成能力的大语言模型,模
深厚的行业积累,分层解耦的架构,多样化的部署模式 深厚的行业积累,分层解耦的架构,多样化的部署模式 技术扎根 全栈技术创新,极致算力加速大模型开发,打造世界AI另一极 全栈技术创新,极致算力加速大模型开发,打造世界AI另一极 开放同飞 打造云原生应用平台AppArts,成立大模型高质量数据联盟
安全云脑_自定义告警模型 安全云脑的威胁运营功能提供丰富的威胁检测模型,帮助您从海量的安全日志中,发现威胁、生成告警;同时,提供丰富的安全响应剧本,帮助您对告警进行自动研判、处置,并对安全防线和安全配置自动加固。 威胁运营中的智能建模支持利用模型对管道中的日志数据进行扫描,如果不在模型设置范围内容,将产生告警提示。
rts平台提供的模型模板导入、AI Gellary市场订阅的模型及从其他EI云服务订阅AI应用等。 ModelArts AI应用来源包括:自动学习中构建模型生成、Workflow中构建的模型生成、开发环境Notebook中调试保存的镜像导入、训练作业训练完成的模型导入、本地构建推
当前ModelArts推理基础镜像使用的python的logging模块,采用的是默认的日志级别Warnning,即当前只有warning级别的日志可以默认查询出来。如果想要指定INFO等级的日志能够查询出来,需要在代码中指定logging的输出日志等级为INFO级别。 在推理代码所在的py文件中,指定
py”结尾的文件。 文件数(含文件、文件夹数量)不超过1024个。 文件总大小不超过5GB。 ModelArts训练好后的模型如何获取? 使用自动学习产生的模型只能在ModelArts上部署上线,无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型,会存储至用户指定的OBS路径中,供用户下载。
用户创建Notebook时所选用的镜像是经过多次保存的自定义镜像或用户自行注册的镜像,基于该镜像所创建的Notebook已经无法再执行镜像保存的操作了。 解决方法 使用公共镜像或其他的自定义镜像来创建Notebook,完成镜像保存操作。 ModelArts-产品相关介绍 更快的普惠AI平台 ModelArts产品文档
的实时监控和分析,以及生产计划的优化和调整。又壹MES的服务特点包括:高度定制化、灵活可扩展、易于集成、可靠稳定。他们的团队拥有丰富的行业经验和技术实力,能够根据客户的需求和现有的生产环境,提供量身定制的解决方案。他们的系统可以根据企业的需求进行灵活的扩展和定制,以适应不同规模和
同的访问权限,以达到不同员工之间的权限隔离,通过IAM进行精细的权限管理。 VPC和子网 虚拟私有云(Virtual Private Cloud, VPC)为云数据库构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。您可以在VPC中定义安
助您安全的控制华为云资源的访问。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用GaussDB服务的其它功能。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制他们对华为云资源的访问范围。例如您的员工中有负
ai大模型的定义
搜索大模型插件通过模型服务将AI能力集成到Elasticsearch集群中,实现语义向量搜索、语义排序等高级功能。其核心流程是基于业务需求(如语义搜索、智能推荐)定义模型类型(Embedding/Rerank等),并绑定对应的AI服务地址,确保上层应用能通过向量索引正确调用服务接口。
- 语义搜索:依赖Embedding模型服务,将文本转换为向量,实现相似性检索。
- 智能推荐:组合使用Embedding模型服务(生成用户/物品向量)和Rerank模型服务,优化推荐结果排序。
前提条件
确认Elasticsearch集群已启用搜索大模型插件,操作指导请参见开启搜索大模型插件。
支持的模型服务
搜索大模型插件支持接入多种模型服务,具体支持的模型服务清单如表1 支持的模型服务所示。
获取独享版集群的访问地址
- 登录 云搜索服务 管理控制台。
- 在左侧导航栏,选择“搜索大模型 > 独享版集群”。
- 在集群列表,选择目标集群,在“内网访问地址”列获取并记录集群的内网IP地址,后续配置模型服务需要使用。
一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。
图1 获取集群访问地址
登录Kibana
登录Kibana进入命令执行页面。Elasticsearch集群支持多种客户端访问,本文仅以 CSS 服务集成的Kibana为例介绍配置指导。
- 登录 云搜索 服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Elasticsearch”。
- 在集群列表,选择目标集群,单击操作列的“Kibana”,登录Kibana。
- 在Kibana左侧导航栏选择“Dev Tools”,进入操作页面。
控制台左侧是命令输入框,其右侧的三角形图标为执行按钮,右侧区域则显示执行结果。
配置模型服务
当模型创建完成后,根据业务需要配置模型服务。下面介绍了各类模型服务的配置指导。
配置Embedding模型服务
在Kibana中执行以下命令,配置Embedding模型服务。其中,模型类型必须是semantic_vector。
PUT _inference/model_service/{service_name} { "description": "搜索大模型-语义向量化", "service_config": { "semantic_vector": { "service_urls" : ["http://{endpoint}/app/search/v1/vector"], "algorithm": "GRAPH", "metric": "inner_product", "dimension": "768", "timeout_ms": 30000 } } }
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
service_name |
是 |
String |
模型服务的名称。自定义,如pangu_vector。 |
|
service_urls |
是 |
List<String> |
访问模型服务的接口URL。 支持配置多个访问地址,用逗号分隔。 配置格式:http://{endpoint}/app/search/v1/vector,endpoint参考获取独享版集群的访问地址获取。 举例:http://192.168.0.85:18088/app/search/v1/vector |
|
method |
否 |
String |
模型服务的访问方法。 由Embedding模型服务决定,搜索大模型使用的是POST,保持默认值即可。 取值范围:POST、GET、PUT 默认值:POST |
|
algorithm |
否 |
String |
模型服务支持的向量索引算法。 取值范围:
默认值:GRAPH |
|
metric |
否 |
String |
计算向量之间距离的度量方式。 取值范围:
默认值:inner_product |
|
dimension |
否 |
String |
向量数据维度。 由Embedding模型服务决定,必须配置为768,保持默认值即可。 取值范围:1~4096 默认值:768 |
|
timeout_ms |
否 |
int |
访问模型服务的超时时间,超时会请求失败。 单位:ms(毫秒) 最小值:3000 默认值:10000 |
|
content_length |
否 |
int |
模型服务支持单个文档属性的最大值,超过最大值将进行文本截断。 默认值:-1(小于0代表不进行长度截断) |
|
embedding_type |
否 |
String |
配置Embedding模型的查询类型。
取值范围:
默认值:query2doc |
配置Rerank模型服务
在Kibana中执行以下命令,配置Rerank模型服务。其中,模型类型必须是reorder。
PUT _inference/model_service/{service_name} { "description": "搜索大模型-精排模型", "service_config": { "reorder": { "service_urls": ["http://{endpoint}/app/search/v1/rerank"], "timeout_ms": 60000 } } }
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
service_name |
是 |
String |
模型服务的名称。自定义,如pangu_ranking。 |
|
service_urls |
是 |
List<String> |
访问模型服务的接口URL。 支持配置多个访问地址,用逗号分隔。 配置格式:http://{endpoint}/app/search/v1/rerank,endpoint参考获取独享版集群的访问地址获取。 举例:http://192.168.0.85:18088/app/search/v1/rerank |
|
method |
否 |
String |
模型服务的访问方法。 由Rerank模型服务决定,搜索大模型使用的是POST,保持默认值即可。 取值范围:POST、GET、PUT 默认值:POST |
|
timeout_ms |
否 |
int |
访问模型服务的超时时间,超时会请求失败。 单位:ms(毫秒) 最小值:3000 默认值:10000 |
|
content_length |
否 |
int |
模型服务支持单个文档属性的最大值,超过最大值将进行文本截断。 默认值:-1(小于0代表不进行长度截断) |
管理模型服务
搜索大模型插件深度集成Kibana命令行界面(CLI),支持对模型服务进行更新、监控、扩缩容等全生命周期管理。如表4所示,可以通过标准CLI命令执行更新(update)、删除(delete)等核心操作管理模型服务。
|
操作类型 |
API命令 |
请求示例 |
响应示例 |
|---|---|---|---|
|
更新模型服务 |
POST _inference/model_service/{service_name}/update |
更新Embedding模型服务: POST _inference/model_service/pangu_vector/update
{
"description": "搜索大模型-语义向量化模型更新",
"service_config": {
"semantic_vector": {
"service_urls": ["http://{endpoint}/app/search/v1/vector"],
"timeout_ms": 60000
}
}
} |
返回更新后的模型服务信息: {
"service_name" : "pangu_vector",
"service_type" : "remote",
"description" : "搜索大模型-语义向量化模型更新",
"create_time" : 1747966388508,
"service_config" : {
"semantic_vector" : {
"embedding_type" : "query2doc",
"service_urls" : [
"http://{endpoint}/app/search/v1/vector"],
"method" : "POST",
"timeout_ms" : 60000,
"max_conn" : 200,
"security" : false,
"dimension" : "768",
"algorithm" : "GRAPH",
"metric" : "inner_product"
}
}
} |
|
检查模型服务连通性 |
GET _inference/model_service/{service_name}/check |
检查Embedding模型服务的连通性: GET _inference/model_service/pangu_vector/check |
{
"acknowledged" : true
} |
|
查看模型服务 |
|
查看Embedding模型服务的配置信息: GET _inference/model_service/pangu_vector |
返回模型服务信息: {
"count" : 1,
"model_service_configs" : [
{
"service_name" : "pangu_vector",
"service_type" : "remote",
"description" : "搜索大模型-语义向量化模型",
"create_time" : 1747966388508,
"service_config" : {
"semantic_vector" : {
"embedding_type" : "query2doc",
"service_urls" : ["http://{endpoint}/app/search/v1/vector"],
"method" : "POST",
"timeout_ms" : 60000,
"max_conn" : 200,
"security" : false,
"dimension" : "768",
"algorithm" : "GRAPH",
"metric" : "inner_product"
}
}
}
]
} |
|
删除模型服务配置(删除后,索引将无法使用该模型服务) |
DELETE _inference/model_service/{service_name} |
删除Embedding模型服务配置: DELETE _inference/model_service/pangu_vector |
{
"acknowledged" : true
} |
|
设置模型服务的数量上限(最多支持创建几个模型服务) |
PUT _cluster/settings
{
"transient": {
"pg_search.inference.max_inference_model_service": 100 //最大值是1000,最小值是1,默认值是100。
}
} |
设置模型服务的数量上限为10: PUT _cluster/settings
{
"transient": {
"pg_search.inference.max_inference_model_service": 10
}
} |
{
"acknowledged" : true,
"persistent" : { },
"transient" : {
"pg_search" : {
"inference" : {
"max_inference_model_service" : "10"
}
}
}
} |
ai大模型的定义常见问题
更多常见问题 >>-
盘古大模型致力于深耕行业,打造金融、政务、制造、矿山、气象、铁路等领域行业大模型和能力集,将行业知识know-how与大模型能力相结合,重塑千行百业,成为各组织、企业、个人的专家助手。
-
模型转换,即将开源框架的网络模型(如Caffe、TensorFlow等),通过ATC(Ascend Tensor Compiler)模型转换工具,将其转换成昇腾AI处理器支持的离线模型。
-
OBS使用PUT操作为桶设置自定义域名,设置成功之后,用户访问桶的自定义域名就能访问到桶。必须保证此自定义域名通过DNS能够正确解析到OBS服务。
-
OBS使用DELETE操作来删除桶的自定义域名。
-
本次Serverless应用中心上线文生图应用,用户无需下载源代码、了解各种安装部署知识、安装复杂的依赖,通过华为云Serverless应用中心即可一键创建AI文生图应用,体验 “0” 构建门槛、“0” 资源闲置并具备极致弹性的Serverless AI绘图能力。
-
在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注。本课程将简单介绍一下预训练的思想,几个代表性模型和它们之间的关系。
更多相关专题
增值电信业务经营许可证:B1.B2-20200593 | 域名注册服务机构许可:黔D3-20230001 | 代理域名注册服务机构:新网、西数