解决方案实践

快速搭建New API大模型网关

快速搭建New API大模型网关

New API 是一套开源的大模型接口聚合与分发平台,能够将 Ollama 本地模型与各类云端模型统一接入同一后台。借助 New API,开发者无需分别对接多个模型来源,即可用统一标准化的 OpenAI 方式调用和调度不同大模型,并集中管理渠道配置、额度与权限管控、调用日志追踪等能力。针对本地私有化部署维护复杂、多渠道管理分散等痛点,华为云提供 New API 社区单机版与 CCE 容器高可用版两种一键部署形态,适用于从个人开发测试到团队生产环境的多种场景,显著降低多模型接入与运维成本,助力企业高效构建统一的大模型接入与分发能力。

New API 是一套开源的大模型接口聚合与分发平台,能够将 Ollama 本地模型与各类云端模型统一接入同一后台。借助 New API,开发者无需分别对接多个模型来源,即可用统一标准化的 OpenAI 方式调用和调度不同大模型,并集中管理渠道配置、额度与权限管控、调用日志追踪等能力。针对本地私有化部署维护复杂、多渠道管理分散等痛点,华为云提供 New API 社区单机版与 CCE 容器高可用版两种一键部署形态,适用于从个人开发测试到团队生产环境的多种场景,显著降低多模型接入与运维成本,助力企业高效构建统一的大模型接入与分发能力。

适用客户

私有化部署企业 | AI 能力集成商 | 标准化调用用户

应用场景

应用场景

打造AI能力中台

将各类AI模型(如文本、绘画)统一集中管理,用户调用时不用在多个平台间来回切换,不仅自动分配任务,还能清晰记录模型消费情况。

让本地AI模型“联网”

把运行在自己电脑上的强大模型(如Ollama)通过它安全的“联网”,实现算力共享,团队成员随时随地获得专属AI支持。

智能调度

当应用需要同时接入多个大模型时,可根据成本或者速度自动选择适合的模型,确保应用始终稳定、经济地运行。

积木式构建AI产品

配合Dify这类低代码平台,能快速搭建出有统一接口、支持多模型的AI应用原型,比如智能客服或者知识库问答机器人。

架构与部署

社区单机版部署
部署描述

该解决方案基于Flexus云服务器X实例部署New API大模型网关服务。

本方案的架构包括以下基础设施和云服务:

Flexus云服务器X实例: 用于搭建New API大模型网关。
弹性公网IP EIP: 提供访问公网和被公网访问能力。
预估费用:$5.00

预估费用按默认规格运行1小时计算,详情参考资源和成本规划。此价格不作为最终定价,实际费用以结算账单为准。

部署时长:10分钟
高可用版部署
部署描述

该解决方案基于Flexus云服务器X实例部署New API大模型网关服务。

本方案的架构包括以下基础设施和云服务:  

云容器引擎 CCE Turbo集群: 用于部署 New API大模型网关服务容器集群。
华为云Flexus云服务器X实例: 作为 CCE 容器集群的工作节点,承载容器实例。
弹性公网IP EIP: 提供访问公网和被公网访问能力。
弹性负载均衡ELB: 将访问流量自动分发到不同后端服务,扩展应用系统对外的服务能力,实现强大的应用容错性能。
NAT网关NAT: 允许私有子网和容器子网内的实例安全发起出站互联网连接,以请求上游 API。
分布式缓存服务Redis®*版: 用于全局限流及多副本间的路由缓存状态同步。
云数据库RDS for MySQL: 用于持久化存储 New API 用户 API 密钥、组织权限及路由元数据。
展开更多
预估费用:$10.00

预估费用按默认规格运行1小时计算,详情参考资源和成本规划。此价格不作为最终定价,实际费用以结算账单为准。

部署时长:30分钟

方案优势

方案优势

AI模型自动选择

面对众多模型,用户可设定规则(如成本优先、速度优先),网关会自动选择适合的模型处理请求,并在一个模型不稳定时无缝切换备用方案,让应用始终保持稳定状态。

模型切换零成本

兼容 Midjourney Proxy、Suno、Rerank 等接口,使得能够在一个网关内同时集成文本、图像及检索增强等能力,构建功能更丰富的多模态 AI 应用。它将所有不同厂商的AI接口“翻译”成一种通用语言(OpenAI格式),可做到用户随时切换或增加新的AI模型厂商,而用户核心代码无需任何修改。

自带商业化“收银台”

将各种异构的大模型接口统一转换为标准的 OpenAI 格式,企业可无缝切换或调用不同厂商的模型,极大降低了集成复杂度。内置了完整的用户、额度和计费系统,可以为不同用户设置权限和用量,甚至对接支付系统,使得企业AI能力快速形成“从使用到付费”的商业闭环。

解决方案实践拓展

解决方案实践拓展

快速部署OpenClaw

OpenClaw是一款开源、自托管的个人 AI 助手。它能主动给你发消息,例如提醒会议、报告天气异常或在你关注的股票达到阈值时通知你。由于部署在服务器上,它能直接读写服务器文件、执行 Shell 终端命令、甚至管理服务器。

快速搭建Dify-LLM应用开发平台

Dify 是一款开源的大语言模型(LLM)应用开发平台,让开发者乃至非技术用户无需编程即可快速搭建生产级生成式AI应用。基于Dify可构建智能问答助手,无缝连接企业知识库,用自然语言即时获取答案,大幅提升知识检索与利用效率。

快速搭建DeepSeek推理系统

DeepSeek-R1是一个高性能的AI推理模型,专注于数学、代码和自然语言推理任务,通过Ollama在云服务器中部署DeepSeek-R1蒸馏版轻量模型,快速打造您的私人AI助手。