大模型

自建大模型聚合平台：两个开源项目的创新融合

优质文章学习记录

07 Feb 2025 — 12 min read

我在去年6月份就付费了Poe.com的年费会员，成为了各大模型的首批使用者，当时花了199 ，合算 R M B 近 1.5 k 。你问我这钱花的值不值？我只能说开始的时候我觉得挺值的，毕竟 g p t 4 那么贵而且 a p i 还需要排队才能使用，之后其他公司出的各中模型也能在 P o e 上第一时间使用。不过现在是感觉真的越来越不值了，各类同等级别的模型层出不穷，而且价格大幅下降，让我继续掏 199 ，合算RMB近1.5k。你问我这钱花的值不值？我只能说开始的时候我觉得挺值的，毕竟gpt4那么贵而且api还需要排队才能使用，之后其他公司出的各中模型也能在Poe上第一时间使用。不过现在是感觉真的越来越不值了，各类同等级别的模型层出不穷，而且价格大幅下降，让我继续掏199 ，合算RMB近1.5k。你问我这钱花的值不值？我只能说开始的时候我觉得挺值的，毕竟gpt4那么贵而且api还需要排队才能使用，之后其他公司出的各中模型也能在Poe上第一时间使用。不过现在是感觉真的越来越不值了，各类同等级别的模型层出不穷，而且价格大幅下降，让我继续掏199/Year，我肯定觉得不值。不过最近发现两个开源项目，让我自己搭建出了一个比Poe还好用、可接入模型还多的平台，这两个项目分别是open-webui和one-api。

open-webui

先介绍下[open-webui]这个项目，这个原身是Ollama的web界面，同时兼容了openai接口格式，后来随着兼容openai接口格式的大模型越来越多，索性就独立成一个单独的开源项目了。实测除了可以接入openai之外，国外的大模型服务商together.ai、firework.ai 都可以接入，这两个平台提供了大部分的开源模型。像国内阿里云、零一万物、deepseek只要有了key都可以使用。

我个人觉得open-webui从功能性来说，要比poe强很多，我们可以先看下官方文档中的feature。

🚀 无缝设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）轻松安装，支持 :ollama 和 :cuda 标记的镜像，带来便捷的体验。
🤝 Ollama/OpenAI API 集成：轻松集成兼容 OpenAI 的 API，实现多样化对话，并支持 Ollama 模型。可自定义 OpenAI API URL，以连接到 LMStudio、GroqCloud、Mistral、OpenRouter 等。
🧩 管道、Open WebUI 插件支持：通过管道插件框架将自定义逻辑和 Python 库无缝集成到 Open WebUI。启动你的管道实例，将 OpenAI URL 设置为管道 URL，探索无限可能。例如函数调用、用户速率限制控制访问、使用 Langfuse 进行使用监控、使用 LibreTranslate 进行实时翻译以支持多语言、过滤有害信息等。
📱 响应式设计：在桌面 PC、笔记本电脑和移动设备上享受无缝体验。
📱 渐进式 Web 应用 (PWA) 移动端支持：在移动设备上享受类似原生应用的体验，提供离线访问和无缝的用户界面。
✒️🔢 全面支持 Markdown 和 LaTeX：通过全面的 Markdown 和 LaTeX 支持，提升你的 LLM 体验。
🛠️ 模型构建器：通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理，自定义聊天元素，并通过 Open WebUI 社区集成轻松导入模型。
📚 本地 RAG 集成：通过突破性的检索增强生成 (RAG) 支持，探索聊天互动的未来。此功能将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中或将文件添加到文档库中，并在查询前使用 # 命令轻松访问它们。
🔍 RAG 的网页搜索：使用 SearXNG、Google PSE、Brave Search、serpstack 和 serper 等提供商进行网页搜索，并将结果直接注入到你的聊天体验中。
🌐 网页浏览功能：使用 # 命令后跟 URL，将网站无缝集成到你的聊天体验中。此功能允许你将网页内容直接纳入对话，增强互动的丰富性和深度。
🎨 图像生成集成：通过使用 AUTOMATIC1111 API 或 ComfyUI（本地）和 OpenAI 的 DALL-E（外部）等选项，无缝集成图像生成功能，丰富你的聊天体验。
⚙️ 多模型对话：轻松与多种模型同时互动，利用它们的独特优势提供最佳响应。通过并行利用多样化的模型，提升你的体验。
🔐 基于角色的访问控制 (RBAC)：确保安全访问，只有授权人员才能访问你的 Ollama，且仅管理员拥有模型创建/拉取权限。
🌐🌍 多语言支持：通过国际化 (i18n) 支持，以你喜欢的语言体验 Open WebUI。我们正在积极寻找贡献者来扩展我们的支持语言！
🌟 持续更新：我们致力于通过定期更新、修复和新功能，不断改进 Open WebUI。

这里官方有个feature没有提到，但是我个人觉得非常好用的就是prompt管理，可以通过快捷键 / 快速启动特定的prompt，比如我经常看medium，可以通过提前设置好的prompt只需要复制粘贴就可以实现对medium文章的快速总结。另外也可以从open-webui社区一键导入别人已经写好的prompt。

有点遗憾的是open-webui只支持openai协议格式的模型，比如像claude和谷歌的gemini pro、百度的文心这些自定义接口的模型就完全没法支持了，像智谱的glm系列虽然提供了openai兼容调用，但因为没有实现models接口导致也无法在open-webui中使用。但这些个问题因为有了下面这个开源项目得以完美解决。

one-api

[one-api] 是一个将其他模型接口格式统一封装成openai接口格式的中间层，当然它还实现了token计费管理之类的功能（这个个人使用是完全用不到的），从其官方文档中我们可以看出它其中封装了国内外很多的模型接口，可以说非常之全面了。

OpenAI ChatGPT 系列模型（支持 Azure OpenAI API）
Anthropic Claude 系列模型 (支持 AWS Claude)
Google PaLM2/Gemini 系列模型
Mistral 系列模型
字节跳动豆包大模型
百度文心一言系列模型
阿里通义千问系列模型
讯飞星火认知大模型
智谱 ChatGLM 系列模型
360 智脑
腾讯混元大模型
Moonshot AI
百川大模型
MINIMAX
Groq
Ollama
零一万物
阶跃星辰
Coze
Cohere
DeepSeek
Cloudflare Workers AI
DeepL
together.ai

所以我们只需要在one-api管理台上配置好模型和key，然后在open-webui上配置好one-api的地址和key，就可以在open-webui上使用各种大模型了，相当之完美。

总结

以上就是我目前自建大模型平台的方案了，两个开源软件的安装方式在各自项目里都有，可以自行查阅，我这里就不再赘述了。我自己其实是购买了阿里云5年的2c4g的服务器（一次性投入2.6k），然后用docker的方式安装了上面这两个软件，不过后续也不需要每年花1.5k买poe或者gpt的会员服务了，只需要按token使用量付费给大模型服务商即可，我自己估算如果日常使用国内高性价比模型，偶尔特殊任务用下贵的模型的情况下，每个月花费最多也就几块钱，相当之划算了。