惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 司徒正美
大猫的无限游戏
大猫的无限游戏
腾讯CDC
J
Java Code Geeks
博客园 - 【当耐特】
Microsoft Azure Blog
Microsoft Azure Blog
V
Visual Studio Blog
人人都是产品经理
人人都是产品经理
博客园 - Franky
博客园 - 聂微东
阮一峰的网络日志
阮一峰的网络日志
美团技术团队
云风的 BLOG
云风的 BLOG
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
U
Unit 42
雷峰网
雷峰网
B
Blog RSS Feed
博客园_首页
量子位
F
Fortinet All Blogs
罗磊的独立博客
H
Hackread – Cybersecurity News, Data Breaches, AI and More
酷 壳 – CoolShell
酷 壳 – CoolShell
C
Check Point Blog

V2EX

我用 AI 写代码,但终端管理反而成了累赘——于是我做了 codux [调研] 各位在公司都用什么 ide 和 agent 写代码? 老运维 share 一个运维平台 看到有公司考核 token 指标,很好奇大家上个月的 AI 账单是多少 GLM-Coding 调用持续报错: z.ai 的 Lite 套餐几乎无法使用,官方 Pro/Max 是否稳定? 现在还有什么渠道可以稳定安全地使用 Claude 吗? 上海漕河泾内推,本组有 2 个 hc,一个后端,一个前端,预算都是 20k 左右,不打卡,氛围好 如果 V2EX 上有一组不永久保存聊天记录(比如只保存 7 天或者 24 小时)的聊天室,那么会开启哪些有用或者有趣的可能? gemini cli 貌似挂了,一直返回 403 第一次在自媒体上赚到钱 收集了最近在使用的低价 GPT, Gemini,邮箱等 AI 会员的小店合集 讨论个大实话:现在企业还在说 AI 编程提效 20%, 30%的,真的太落后,没用懂 AI。因为包括很多前沿公司,已经狂奔到提效 200%-500%的情况 [招聘][远程][币安] 前端/后端/QA/iOS/Android 至少 3 年以上经验 目前有大量 HC 欢迎投递 Chatgpt Pro 用量用不完的可以开这些设置 面试的时候好像遇到钓鱼了,给各位避个坑 cursor 年续费 22 号到期, 自动续费是否还是老的计次套餐呢 被两件破事毁掉的一下午,琐碎的内耗消磨人的精力 使用 Planet 存储 Codex 的会话或者重要信息 如果业务部门领导不要你开发功能,而是要求你教会它用 claude code 开发功能,你会怎么做? 分享一个 MacOS 接绿联 CM818 USB 转 DP 转接器使用感受 我的 HR 朋友 10 年老 Java ,非全大专,大家帮忙看看简历 开源了一个 AI 口语练习工具,音素级发音评分,完全免费可自部署 V2EX 上有哪些你觉得很有趣、印象深刻的妹纸? 字节为啥不出个国内版 Vercel? 有在大马的朋友吗? 问个运营商问题 你们在有领导的公司大群发过的最大胆的消息是什么 公司裁员,目前没有工作。想试试摆摊,做一个移动鲜啤打酒车 我的硬盘 Memblaze Pblaze 5 Linux 下不识别,给 Linux 内核提交了补丁, AI 说有望被合并 只有我一个人觉得 codex 不好用?
AI 正在进入本地时代,我开源了一个推理平台—— 支持多模型 / ...
fengzhizi715 · 2026-03-24 · via V2EX

2022 起始,伴随着 ChatGPT 的热潮,大语言模型( LLM )从科学殿堂走向商业应用,伴随着大模型的能力越来越强,大模型逐渐从个人与企业的“尝鲜工具”正演变成个人与企业真正的生产力倍增器与工作效率提升引擎。怎么更好的使用好大模型这样的生产力基础设施,已经成为摆在个人与企业面前一道必答题,越来越多大模型开发者、企业、个人用户开始思考大模型应用中几个关键痛点:

  • 个人与企业数据怎么隐私保护?
  • 推理成本是否可以完全可控?
  • 如何打通企业现有信息系统与大模型赋能的壁垒?
  • 大模型应用是否可以像传统信息化系统一样工程化构建?
  • 是否存在一个真正“平台级”的本地大模型模型解决方案?

"痛定思痛、痛何如哉",在不断实践大模型与智能体应用开发的实践过程中,我们越来越强烈地感受到企业对构建本地大模型与智能体的迫切需求:

我们拥有越来越多大模型与智能体工具,但缺少真正的大模型部署与智能体平台。

于是,我跟我的团队深度挖掘企业大模型与智能体应用的真实痛点,从 2025 年下半年开始,我们花了超过半年多的时间,从零开始,基于开源架构自主研发一套本地大模型部署与智能体管理平台。

我们决定让技术回归技术,为让更多的开发者、个人、企业从中受益,我们正式开源这个平台,它有一个很酷的名字:OpenVitamin (大模型与智能体应用平台)

为什么是 OpenVitamin

在做 AI 项目的过程中,我们尝试过很多工具链组合:

  • 用 Ollama / LM Studio 管理模型
  • 用不同 UI 工具测试对话
  • 用各类 Agent 框架做自动化实验
  • 用脚本拼装 Workflow

这些工具都很优秀,但它们更多是:

👉 单点能力工具,而不是平台。

当项目逐渐从 Demo 走向工程系统时,问题开始出现:

  • 本地模型管理分散
  • 推理接口不统一
  • Agent 能力难以复用
  • Workflow 无法系统化编排
  • 多模型协作复杂
  • 很难构建长期可维护的 LLM 应用架构

我们意识到:

企业需要的不是更多工具,而是一套 LLM Runtime + Control Plane 。

OpenVitamin 正是在这样的背景下诞生。

OpenVitamin 可以做什么

OpenVitamin 的目标非常明确: 👉 让开发者与中小企业能够零成本的构建本地可扩展的大模型应用系统。 围绕这个目标,目前已经实现了几个核心能力。

多模型统一推理平台

  • 支持多模型本地接入
  • 提供统一推理接口
  • 可作为推理后端被其他系统调用
  • 支持模型配置与推理参数控制
  • 支持与 OpenClaw 集成

开发者无需为每个模型重复造轮子。 chat.png

models.png

Agent 能力工程化落地

平台内置基础 Agent 框架:

  • Skill 机制
  • Plan / Step 执行模型
  • Tool 调用
  • 本地模型驱动决策

可以用于构建:

  • 编程 Agent
  • 办公 Agent
  • 自动化任务 Agent
  • AI 实验原型

agents.png

Workflow 编排系统(可视化)

OpenVitamin 提供 DAG 式 Workflow Runtime:

  • 节点编排
  • 条件分支
  • 并行执行(规划中)
  • Retry / Timeout 控制
  • 可视化运行状态

这使 AI 能力可以真正变成“流程系统”,而不是一次对话。

workflow.png

面向工程系统的设计

OpenVitamin 并不是一个聊天工具或 Demo UI ,而是一套平台型架构:

  • 插件式能力扩展
  • 可扩展推理后端
  • 多模型协作
  • 本地部署友好
  • 支持跨平台运行( macOS / Windows / Linux )

它更接近:

👉 本地 AI Runtime + AI Control Plane

整体架构

整体架构图.jpg

推理路径

推理路径图.jpg

智能体执行路径

智能体执行路径图.jpg

文生图控制面

文生图控制面.jpg

一些真实使用场景

目前 OpenVitamin 已被用于:

  • 本地 LLM 应用开发实验环境
  • 编程智能体原型验证
  • Workflow 自动化系统探索
  • 企业内部 LLM 部署算力平台
  • 多模型推理调度实验
  • 与 OpenClaw 集成作为推理后端

为什么选择开源

我们越来越相信:

  • 本地 LLM 会成为未来开发环境的重要组成部分
  • Agent 会成为新的软件形态
  • Workflow 会成为 AI 应用的基础结构
  • 推理平台会像数据库 / Web Server 一样成为基础设施

OpenVitamin 只是一个开始。

我们希望通过开源,让更多开发者、企业参与进来,一起探索大模型与智能体工程化的无限可能。

项目地址

GitHub: https://github.com/fengzhizi715/OpenVitamin

如果你对这些方向感兴趣:

  • 本地 AI 推理
  • Agent 架构
  • Workflow 系统
  • AI 工程化
  • 插件式 AI 平台

欢迎 Star / Issue / PR 。

Roadmap

未来计划包括:

  • 更多的 skill
  • 推理调度优化
  • 更强的 Workflow Runtime
  • 企业级部署能力
  • 更多模型支持

最后

AI 正在从能力变成基础设施。 而本地 AI ,可能会成为下一代开发环境的一部分。 如果你也在构建 AI 系统,欢迎一起交流。