背景: 公司购买了aws claude模型, 想搭一个中转站来做分发。后续也会接一些国产模型搭配使用, 降低成本。
要求: 最好可以支持分组按部门来统计token用量、每月支持对每人额度进行重置、可观测(最好有)、支持模型动态路由 (有吗)
大家帮忙推荐一下, 我看站内好多都是new api, 感觉new api用来商用比较合适, 还有别的吗
chnmig
2
这么完善的也就 newapi 了, 更新也及时, 另外 newapi 有非商业模式, 开启后没这么多配置.
DoctorWho
(垂死病中惊坐起,谈笑风生又一年)
3
要接入国产的话sub2api 兼容性一般,那就只能 newapi 了.没有别的了.功能没有可以自己二开一下
SLongan
4
new api支持模型动态路由吗?
l1ttlezZ
(x小zZ)
5
直接上newapi得了,相对省事很多
