





























一般用 claude code 这类 agent ,缓存会占比很大,一般都会在 90%以上。因为它要经历 thinking..action..thinking..action 这样很多轮,轮次越多,缓存占比越大,因为每一轮都会把之前轮的那些输入喂给大模型,这些就是缓存。
假如每轮新输入 10000 个 token ,那么 10 轮后,未缓存的就是 100000 个 token ,缓存的呢? 10000+20000+30000+...+100000=5550000 ,缓存命中率=5550000/5650000=98%
实际要考虑上下文超出会压缩,导致原来的缓存失效。但缓存命中率只跟 Agent 工具的用法有关系,Agent 模式一般都能到 90%以上,除非你特意优化 Agent 的流程,减少缓存的占用,比如使用定制的流程去处理,例如那些 AI 视频生成管线,把流程前一环节的输出经过筛选,作为下一环节 API 调用的输入,而不是堆积信息,这样会减少缓存。
这是我用 claude code 调用小米 token plan 处理文本提取信息,这个场景下的消耗(缓存占比非常大,命中率 97%,这种情况下,可用量确实提高了 10 倍左右):
https://v2ex.com/t/1215750#r_17686925
不过,小米套路多倒是真的。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。