解决方案实践

快速搭建New API大模型网关

快速搭建New API大模型网关

New API 是一套开源的大模型接口聚合与分发平台,能够将 Ollama 本地模型与各类云端模型统一接入同一后台。借助 New API,开发者无需分别对接多个模型来源,即可用统一标准化的 OpenAI 方式调用和调度不同大模型,并集中管理渠道配置、额度与权限管控、调用日志追踪等能力。针对本地私有化部署维护复杂、多渠道管理分散等痛点,华为云提供 New API 社区单机版与 CCE 容器高可用版两种一键部署形态,适用于从个人开发测试到团队生产环境的多种场景,显著降低多模型接入与运维成本,助力企业高效构建统一的大模型接入与分发能力。

New API 是一套开源的大模型接口聚合与分发平台,能够将 Ollama 本地模型与各类云端模型统一接入同一后台。借助 New API,开发者无需分别对接多个模型来源,即可用统一标准化的 OpenAI 方式调用和调度不同大模型,并集中管理渠道配置、额度与权限管控、调用日志追踪等能力。针对本地私有化部署维护复杂、多渠道管理分散等痛点,华为云提供 New API 社区单机版与 CCE 容器高可用版两种一键部署形态,适用于从个人开发测试到团队生产环境的多种场景,显著降低多模型接入与运维成本,助力企业高效构建统一的大模型接入与分发能力。

适用客户

私有化部署企业 | AI 能力集成商 | 标准化调用用户

应用场景

应用场景

打造AI能力中台

将各类AI模型(如文本、绘画)统一集中管理,用户调用时不用在多个平台间来回切换,不仅自动分配任务,还能清晰记录模型消费情况。

让本地AI模型“联网”

把运行在自己电脑上的强大模型(如Ollama)通过它安全的“联网”,实现算力共享,团队成员随时随地获得专属AI支持。

智能调度

当应用需要同时接入多个大模型时,可根据成本或者速度自动选择适合的模型,确保应用始终稳定、经济地运行。

积木式构建AI产品

配合Dify这类低代码平台,能快速搭建出有统一接口、支持多模型的AI应用原型,比如智能客服或者知识库问答机器人。

架构与部署

社区单机版
部署描述

该解决方案基于Flexus云服务器X实例部署New API大模型网关服务。

本方案的架构包括以下基础设施和云服务:

Flexus云服务器X实例: 用于搭建New API大模型网关。
弹性公网IP EIP: 提供访问公网和被公网访问能力。
预估费用:¥5.00

预估费用按默认规格运行1小时计算,详情参考资源和成本规划。此价格不作为最终定价,实际费用以结算账单为准。

部署时长:10分钟
CCE容器高可用
部署描述

该解决方案基于Flexus云服务器X实例和云容器引擎CCE搭建New API大模型网关服务。

本方案的架构包括以下基础设施和云服务:

云容器引擎CCE : 用于搭建New API大模型网关服务。
Flexus云服务器X实例: 作为 CCE 容器集群的工作节点,承载容器实例。
弹性公网IP EIP: 提供访问公网和被公网访问能力。
弹性负载均衡ELB: 将访问流量自动分发到不同后端服务。
NAT网关: 配置SNAT规则,提供公网NAT网关和私网NAT网关服务。
分布式缓存服务DCS: 用于全局限流及多副本间的路由缓存状态同步。
云数据库RDS for MySQL: 用于持久化存储 New API 用户 API 密钥、组织权限及路由元数据。
展开更多
预估费用:¥50.00

预估费用按默认规格运行1小时计算,详情参考资源和成本规划。此价格不作为最终定价,实际费用以结算账单为准。

部署时长:20分钟

方案优势

方案优势

AI模型自动选择

面对众多模型,用户可设定规则(如成本优先、速度优先),网关会自动选择适合的模型处理请求,并在一个模型不稳定时无缝切换备用方案,让应用始终保持稳定状态。

模型切换零成本

兼容 Midjourney Proxy、Suno、Rerank 等接口,使得能够在一个网关内同时集成文本、图像及检索增强等能力,构建功能更丰富的多模态 AI 应用。它将所有不同厂商的AI接口“翻译”成一种通用语言(OpenAI格式),可做到用户随时切换或增加新的AI模型厂商,而用户核心代码无需任何修改。

自带商业化“收银台”

将各种异构的大模型接口统一转换为标准的 OpenAI 格式,企业可无缝切换或调用不同厂商的模型,极大降低了集成复杂度。内置了完整的用户、额度和计费系统,可以为不同用户设置权限和用量,甚至对接支付系统,使得企业AI能力快速形成“从使用到付费”的商业闭环。

解决方案实践拓展

解决方案实践拓展

快速部署MCP SSE服务器

基于华为云Flexus云服务器X实例帮助您快速部署MCP SSE服务器,包含Tavily、Quickchart、Sequential Thinking、Fetch、Time。在大模型应用业务中,启用MCP服务器以充分发挥模型的潜力。适用于网页内容获取、联网信息检索、图表生成等场景。

快速部署OpenClaw

OpenClaw是一款开源、自托管的个人 AI 助手。它能主动给你发消息,例如提醒会议、报告天气异常或在你关注的股票达到阈值时通知你。由于部署在服务器上,它能直接读写服务器文件、执行 Shell 终端命令、甚至管理服务器。

Hermes Agent,越用越聪明的智能体

Hermes Agent 是 Nous Research 开源的自主 AI Agent 框架。让 AI 成为长期在线的数字员工,原生内置学习闭环的 AI Agent,在跨会话中持续完善用户认知模型。