惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Engineering at Meta
Engineering at Meta
D
Docker
IT之家
IT之家
博客园_首页
罗磊的独立博客
V
V2EX
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
美团技术团队
Y
Y Combinator Blog
博客园 - 聂微东
量子位
阮一峰的网络日志
阮一峰的网络日志
GbyAI
GbyAI
Microsoft Security Blog
Microsoft Security Blog
博客园 - Franky
Martin Fowler
Martin Fowler
Jina AI
Jina AI
大猫的无限游戏
大猫的无限游戏
C
Check Point Blog
月光博客
月光博客
G
Google Developers Blog
B
Blog
T
The Blog of Author Tim Ferriss
爱范儿
爱范儿

分享创造

分享 KCase 脑图测试用例生成平台(AI 辅助生成测试用例) 标签页囤积症自救:写了个插件 TabRack,主打快速检索、自动分类和 AI 摘要 [file-preview]一个比较全面的在线文件预览组件库-支持 react 和 vue 撸了个 iOS 小应用[极简水印相机],直接免费 做了一个 V2EX Skill 写了个 iOS 打码 App「遮鸭 Maskduck」,纯离线免费 35 岁前端,裁员失业后,我花 1 个月做了个 AI 生图网站 亲身经历猫咪急症,我做了一款猫狗疼痛检测工具,希望能救你家毛孩一命 如何用 AI 做比较酷炫的落地页? 求真!最近 AI 生图的能力强到可怕 开源一个查看 k8s 的菜单栏工具-kubebar Packpour:我做了个专门给 App Store Connect 填多语言元数据的小工具 面对 140 年一遇的超级厄尔尼诺,我做了个全球监测小站 做了一个自动翻译的 Hacker News 客户端 做了一个 AI 头像生成器,可以免费生成 2 次 [送码 50 个] 自己手搓了个高颜值的倒数日 App——拾光机,求 V 友们指点 一个将苹果健康 APP 数据导出的工具,然后把你的数据喂给 AI 分析 我做了一个叫「订阅斩」的 iOS App,专门对付那些悄悄扣钱的订阅 做了个草率的日麻互动漫画,听听反馈 喜欢自己洗车的朋友们,我用 ai 做了一款洗车小程序 -- 洗车志 感谢 V2EX 上各位 NAS🍆 和 Datahoarder 玩家的关注和真实反馈!作为个人开发者,能得到这么多硬核玩家们的讨论,我非常荣幸。 用 AI 开发熊孩子自律的小程序 用 OpenClaw 搭建个人运动助手 今天摸鱼给 NanaAI 也接入了 GPT-Image-2 [Video Companion]一个 chrome 插件,解决大多对视频操作的需求~欢迎使用提 bug AI 时代,做产品简单了,把产品推广出去却变的更难了~ bestskills.dev - Skills 精选和评测站点 免 ROOT 强力卸载安卓广告软件 一个 All In One 的运维工具,支持 SSH、数据库、Redis 管理 [开源] Codeg V0.10:专注于代码生成的多智能体 IDE(cc、codex、gemini、opencode……),新版本重构了工作区,飞一般的体验,支持桌面端、服务器部署
做了个中转站检测工具,测了我自己建的站,有 1 项 未通过
cjtree04 · 2026-05-10 · via 分享创造

团队做了个工具叫 Probe ,用来检测 AI API 中转站到底有没有按你买的模型给你跑。 昨天拿一个我自己搭建的站测了下——thinkai.tv ,9 大类检测里 8 项 PASS ,Identity & Routing 这一项是 FAIL 。

做这个工具的起因是这样:现在国内用 AI API ,因为访问、价格、额度、支付方式,大 部分人都在用中转站。中转站确实解决了"能不能用"的问题,但有个更隐蔽的问题。你不 知道这个接口是不是把你的请求原样转发给上游模型,还是中间动了手脚。

中转站理论上能看到明文请求和响应,包括 system prompt 、用户输入、API key 、tool call 参数、文件内容。它也不一定只是"转发",可能在中间偷偷做这些事:

  • 用便宜模型冒充高价模型
  • 截断长上下文但仍按正常方式收费
  • 伪造流式输出或 usage 字段
  • 改写 tool call 参数:安装命令、URL 、钱包地址、云凭据

实测 thinkai.tv ,9 大类里 8 项 PASS ,Identity & Routing FAIL 。

回到 thinkai.tv 这次的实测。我测的是 claude-opus-4-6 。Match rate 48/49——说明它确实连到了真的 Claude Opus 4.6 ,不是套壳模型。提示词、护栏、工具 调用、计费这些都没被改坏,这是它的基本盘。

FAIL 的是 Identity & Routing:请求经过了 2 个代理家族( OneAPI + Via )的串联,不是直连 Anthropic 。意味着我的 system prompt 和 tool call 在中间多停了两站,延迟和隐私边界都涨了。 其他数据:Avg TTFT 1.839s ,吞吐量 16.82 tok/s ,输入 153505 token 、输出 6704 token 。一次完整检测 3-5 分钟,烧了大概 0.5 美元 API 费。


以前判断一个中转站可不可信,常见做法是:

  • 看响应速度
  • 看价格 / 额度
  • 看群里口碑、博客推荐
  • 试用几次能用就接着用

但这些方法都不能验证一件事:你的请求到底有没有原样转发给上游模型。

之前在 X 上爆火过一篇论文 Your Agent Is Mine: Measuring Malicious Intermediary Attacks on the LLM Supply Chain ( arXiv:2604.08407v1 ),研究者测了 28 个付费路由和 400 个免费路由,发现 1 个付费路由和 8 个免费路由有主动注入恶意代码的行为。还有路由会触碰研究者埋的 AWS 凭据,甚至有 ETH 私钥被转走的真实案例。

光看响应速度和价格是测不出来的。


正确的方法是直接对接口做行为级检测:发不同特征的探针,看返回是不是真从你买的那 个模型来的。Probe 跑的是这 9 大类:

  1. 模型身份:底层模型是否和标称一致,有没有偷换或降级
  2. 提示词完整性:system prompt / 护栏 / 隐藏人格有没有被剥离或覆盖
  3. 协议规范:JSON 输出 / stop sequence / 采样参数 / logprobs 是不是真实透传
  4. 工具调用:tool_calls 结构 / 强制工具选择 / 并行调用有没有被改写
  5. 上下文窗口:长上下文有没有被截断、压缩或丢失
  6. 缓存与流式:是不是伪流式 / 缓存重放 / 异步任务接口是否真实
  7. 计费:usage / prompt cache / reasoning token / completion token 可不可信
  8. 安全:会话隔离 / 金融参数 / 隐藏追踪载荷 / 凭据泄漏
  9. 性能:TTFT / 延迟 / 吞吐量 / token 统计

每一类背后都是一组探针,加起来一次完整检测大约跑几十个 API 调用。


最后说一下我做这个的态度。

Probe 不是反中转站。靠谱的中转站对加盟商生态来说是必须的,但需要被验证。中转站市场需 要从"感觉它能用"变成"能验证它在做什么"。靠谱的中转站不会怕被检测——thinkai.tv 这次 8 项 PASS 就是证明,FAIL 是路由层堆叠的问题,不是模型造假。

我下一步会把更多站点的实测结果跑出来发上来,把这件事透明化。


对 V 友有什么用:

  • 你正在用某个中转站,想知道它真不真:拿临时 API Key 跑一次 Probe (建议测完立刻删 Key )
  • 你自己跑中转站,想拿这个工具自查:直接接,9 大类覆盖的就是中转层最容易出问题的位置
  • 一次完整检测约 3-5 分钟,烧 0.5 美元左右(用 Opus 这类模型测;测便宜模型成本更低)

链接: https://probe-dev.commonstack.ai 论文:arXiv:2604.08407v1

也欢迎 V 友反馈:你测过哪些站、最关心哪类检测、希望加什么探针。我会按反馈持续加。