惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

小众软件
小众软件
WordPress大学
WordPress大学
IT之家
IT之家
G
Google Developers Blog
Vercel News
Vercel News
阮一峰的网络日志
阮一峰的网络日志
博客园 - 三生石上(FineUI控件)
Engineering at Meta
Engineering at Meta
Martin Fowler
Martin Fowler
V
V2EX
爱范儿
爱范儿
Hugging Face - Blog
Hugging Face - Blog
Apple Machine Learning Research
Apple Machine Learning Research
B
Blog
V
Visual Studio Blog
有赞技术团队
有赞技术团队
I
InfoQ
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
月光博客
月光博客
J
Java Code Geeks
Stack Overflow Blog
Stack Overflow Blog
P
Proofpoint News Feed
云风的 BLOG
云风的 BLOG
雷峰网
雷峰网

XINDOO

关于内卷,几个值得深想的洞察 当创作被 Skill 化:我用 AI 写了一部 320 章的长篇网文 AI第一剑,先斩程序员 AI 也会偷懒?这个 PUA 工具专治“摸鱼式编程” Gstack 深度解析:YC CEO 开源的 AI 工程团队 GitHub Trending霸榜!深度解析AI Coding辅助神器 Superpowers 深度探讨:从 OpenClaw 爆火,看 AI Agent 的真相与程序员的未来 我复刻了NotebookLM的信息图功能 我用AI写了部小说,这里是整个过程 [翻译]我在谷歌14年学到的21堂课 2万字吊打40万字:为什么我的“牛马Agent”比“数字分身”更聪明? 最近AI领域爆火的 Agent Skills 是什么? 从计算机科学的视角来看拖延症 一周改6个库后我悟了:AI时代,程序员正在退化成“甲方” 使用n8n做一个自动同步更新的Github项目问答机器人 Agent设计模式——第 20 章:优先级排序 Agent设计模式——第 1 章:提示词链 Agent设计模式——附录 D - 使用 AgentSpace 构建 Agent Agent设计模式——第 19 章:评估和监控 Agent设计模式——第 10 章:模型上下文协议 (MCP) Agent设计模式——第 21 章:探索和发现 Agent设计模式——智能体设计模式 Agent设计模式——第 11 章:目标设定和监控 Agent设计模式——第 9 章:学习和适应 Agent设计模式——第 16 章:资源感知优化 Agent设计模式——附录 G - 编码 Agent Agent设计模式——第 13 章:人机协同 Agent设计模式——第 17 章:推理技术 Agent设计模式——附录 F - 深入剖析:Agent 推理引擎的内部运作机制 Agent设计模式——章节目录
两个开源项目打造自己的大模型聚合平台
xindoo · 2024-06-10 · via XINDOO


  我在去年6月份就付费了Poe.com的年费会员,成为了各大模型的首批使用者,当时花了199\$,合算RMB近1.5k。你问我这钱花的值不值?我只能说开始的时候我觉得挺值的,毕竟gpt4那么贵而且api还需要排队才能使用,之后其他公司出的各中模型也能在Poe上第一时间使用。 不过现在是感觉真的越来越不值了,各类同等级别的模型层出不穷,而且价格大幅下降,让我继续掏199\$/Year,我肯定觉得不值。 不过最近发现两个开源项目,让我自己搭建出了一个比Poe还好用、可接入模型还多的平台,这两个项目分别是open-webui和one-api。

open-webui

在这里插入图片描述

  先介绍下open-webui这个项目,这个原身是Ollama的web界面,同时兼容了openai接口格式,后来随着兼容openai接口格式的大模型越来越多,索性就独立成一个单独的开源项目了。实测除了可以接入openai之外,国外的大模型服务商together.ai、firework.ai 都可以接入,这两个平台提供了大部分的开源模型。像国内阿里云、零一万物、deepseek只要有了key都可以使用。

  我个人觉得open-webui从功能性来说,要比poe强很多,我们可以先看下官方文档中的feature。

🚀 无缝设置:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)轻松安装,支持 :ollama 和 :cuda 标记的镜像,带来便捷的体验。
🤝 Ollama/OpenAI API 集成:轻松集成兼容 OpenAI 的 API,实现多样化对话,并支持 Ollama 模型。可自定义 OpenAI API URL,以连接到 LMStudio、GroqCloud、Mistral、OpenRouter 等。
🧩 管道、Open WebUI 插件支持:通过管道插件框架将自定义逻辑和 Python 库无缝集成到 Open WebUI。启动你的管道实例,将 OpenAI URL 设置为管道 URL,探索无限可能。例如函数调用、用户速率限制控制访问、使用 Langfuse 进行使用监控、使用 LibreTranslate 进行实时翻译以支持多语言、过滤有害信息等。
📱 响应式设计:在桌面 PC、笔记本电脑和移动设备上享受无缝体验。
📱 渐进式 Web 应用 (PWA) 移动端支持:在移动设备上享受类似原生应用的体验,提供离线访问和无缝的用户界面。
✒️🔢 全面支持 Markdown 和 LaTeX:通过全面的 Markdown 和 LaTeX 支持,提升你的 LLM 体验。
🛠️ 模型构建器:通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理,自定义聊天元素,并通过 Open WebUI 社区集成轻松导入模型。
📚 本地 RAG 集成:通过突破性的检索增强生成 (RAG) 支持,探索聊天互动的未来。此功能将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中或将文件添加到文档库中,并在查询前使用 # 命令轻松访问它们。
🔍 RAG 的网页搜索:使用 SearXNG、Google PSE、Brave Search、serpstack 和 serper 等提供商进行网页搜索,并将结果直接注入到你的聊天体验中。
🌐 网页浏览功能:使用 # 命令后跟 URL,将网站无缝集成到你的聊天体验中。此功能允许你将网页内容直接纳入对话,增强互动的丰富性和深度。
🎨 图像生成集成:通过使用 AUTOMATIC1111 API 或 ComfyUI(本地)和 OpenAI 的 DALL-E(外部)等选项,无缝集成图像生成功能,丰富你的聊天体验。
⚙️ 多模型对话:轻松与多种模型同时互动,利用它们的独特优势提供最佳响应。通过并行利用多样化的模型,提升你的体验。
🔐 基于角色的访问控制 (RBAC):确保安全访问,只有授权人员才能访问你的 Ollama,且仅管理员拥有模型创建/拉取权限。
🌐🌍 多语言支持:通过国际化 (i18n) 支持,以你喜欢的语言体验 Open WebUI。我们正在积极寻找贡献者来扩展我们的支持语言!
🌟 持续更新:我们致力于通过定期更新、修复和新功能,不断改进 Open WebUI。

  这里官方有个feature没有提到,但是我个人觉得非常好用的就是prompt管理,可以通过快捷键 / 快速启动特定的prompt,比如我经常看medium,可以通过提前设置好的prompt只需要复制粘贴就可以实现对medium文章的快速总结。 另外也可以从open-webui社区一键导入别人已经写好的prompt。

  有点遗憾的是open-webui只支持openai协议格式的模型,比如像claude和谷歌的gemini pro、百度的文心这些自定义接口的模型就完全没法支持了,像智谱的glm系列虽然提供了openai兼容调用,但因为没有实现models接口导致也无法在open-webui中使用。但这些个问题因为有了下面这个开源项目得以完美解决。

one-api

在这里插入图片描述

  one-api 是一个将其他模型接口格式统一封装成openai接口格式的中间层,当然它还实现了token计费管理之类的功能(这个个人使用是完全用不到的),从其官方文档中我们可以看出它其中封装了国内外很多的模型接口,可以说非常之全面了。

  • OpenAI ChatGPT 系列模型(支持 Azure OpenAI API)
  • Anthropic Claude 系列模型 (支持 AWS Claude)
  • Google PaLM2/Gemini 系列模型
  • Mistral 系列模型
  • 字节跳动豆包大模型
  • 百度文心一言系列模型
  • 阿里通义千问系列模型
  • 讯飞星火认知大模型
  • 智谱 ChatGLM 系列模型
  • 360 智脑
  • 腾讯混元大模型
  • Moonshot AI
  • 百川大模型
  • MINIMAX
  • Groq
  • Ollama
  • 零一万物
  • 阶跃星辰
  • Coze
  • Cohere
  • DeepSeek
  • Cloudflare Workers AI
  • DeepL
  • together.ai

  所以我们只需要在one-api管理台上配置好模型和key,然后在open-webui上配置好one-api的地址和key,就可以在open-webui上使用各种大模型了,相当之完美。

总结

  以上就是我目前自建大模型平台的方案了,两个开源软件的安装方式在各自项目里都有,可以自行查阅,我这里就不再赘述了。 我自己其实是购买了阿里云5年的2c4g的服务器(一次性投入2.6k),然后用docker的方式安装了上面这两个软件,不过后续也不需要每年花1.5k买poe或者gpt的会员服务了,只需要按token使用量付费给大模型服务商即可,我自己估算如果日常使用国内高性价比模型,偶尔特殊任务用下贵的模型的情况下,每个月花费最多也就几块钱,相当之划算了。