aiproxy 是labring 团队开源的ai gateway 是产品级的ai gateway 工具

包含的特性

• 智能请求处理，智能重试，通道优先级支持，负载均衡，支持协议转换
• 增强监控以及分析，支持实时报警 ，详细日志，高级分析
• 支持多租户架构，基于组织的隔离，灵活的访问控制，资源配置，自定义价格
• mcp 支持，支持内嵌，开放，以及将openaapi 转mcp
• 支持插件系统，支持cache，web 搜索，think 拆分，stream 模式，扩展
• 一些高级能力，多格式，支持模型别名以及映射，prompt cach，内置分词
• 同时提供了管理界面

说明

aiproxy 是一个很值得使用的ai gateway 工具，主要是相对简单，部署模式可以简单（sqlite）也支持比较高级的部署（依赖外部db以及cache服务）

参考资料

https://github.com/labring/aiproxy