大家好，最近带领 AI 团队，开发了一个轻量级大模型网关项目：GT AI Gateway
我们在平时开发和使用大模型 API 时，经常会碰到下面这些痛点：
为了把这些问题一揽子解决，我写了 GT AI Gateway。它的定位是：轻量、全能、还能帮你省钱的透明代理。
1. 智能请求拦截与缓存优化（帮你省钱） 这是个非常实用的特性。比如大家常用的 Claude Code，默认情况下它会注入很多随机标记，导致直接调用 OpenAI API 时**缓存命中率几乎为 0%**。 我们的网关在中间做了一层拦截与智能改写，能突破这种限制并最大化 Prompt Cache 。开启优化后，缓存命中率直接飙升到 97%，API 成本直降 10 倍以上！
2. 强大的双向协议转换 内置协议引擎，支持 OpenAI (Chat Completions/Responses API) 🔄 Anthropic (Messages) 双向无缝转换。你可以在客户端一行代码不改的情况下，用 OpenAI 的标准格式去白嫖/调用 Claude 模型（完美支持 SSE 流式返回、工具调用和多模态识图）。
3. 像 Wireshark 一样的流量分析面板 我们提供了一个自带管理后台的控制面板。所有经过网关的流量（包括普通的文本、复杂的 SSE 流）都会被记录下来。 打开可视化面板，你可以清晰地看到每一条请求的：完整 Prompt 、Token 消耗、缓存命中状态、耗时以及原始 JSON ，调试排障神器。
4. 完善的额度与多租户管理 你可以基于你的主 Key ，无限生成子令牌（ Token ）分发给其他人。并且可以给每个 Token 单独设置配额、计费费率、可用模型和过期时间，彻底杜绝 Key 滥用。
针对不同的使用习惯，我们把部署做到了极致的灵活：
对底层工具调用与 Prompt 的可视化抓取分析：
开启改写后，缓存命中率飙升：
代码质量经过了 500+ 测试用例的严格覆盖，如果觉得对你有帮助，欢迎各位 V 友来提 PR 或者给个 Star 支持一下！🙏 有任何问题或者特性需求也欢迎在帖子里讨论~
本软件由人类进行架构设计，由 TogoSpace AI Team 主力开发。项目通过了 500+ 个自动化测试用例对核心功能进行全面覆盖，确保了极其硬核的代码质量。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。