文章标题：Harness 工程分享：我们怎么把 LLM Agent 的 prompt cache 命中率做到 90%+（附 4 家 Agent 横评数据）

1. 核心目标与背景：文章基于作者团队在 LLM Agent 工程实践中的经验，重点介绍了如何通过优化 prompt 结构，将 prompt cache 命中率提升至 90% 以上。作者提到，这是对之前分享的延续，并反思了两年来的工程坑点，以及使用 Ruby 重写相关系统的思考。

2. 关键工程实践：

   • 通过设计高度结构化的 prompt 模板，确保每次请求的输入部分（如系统指令、上下文）尽可能一致，从而最大化 cache 命中率。
   • 采用动态缓存策略，将频繁变动的部分（如用户输入）与静态部分（如工具定义、历史记录）分离，避免因微小变化导致缓存失效。
   • 利用 Ruby 语言特性（如元编程、高性能字符串处理）优化 prompt 生成流程，减少不必要的计算开销。

3. 横评数据对比：文章附带了 4 家主流 Agent 平台（包括 ClaudeCode、Cursor、Copilot 等）的 prompt cache 命中率测试结果。数据显示，优化后的系统在相同任务下，cache 命中率显著高于其他平台，平均达到 90% 以上，而其他平台多在 60%-80% 之间。作者指出，这主要得益于对 prompt 结构的精细控制。

4. 工程挑战与反思：

   • 早期尝试中，因未充分考虑缓存粒度，导致频繁的缓存失效，增加了延迟和成本。
   • 使用 Ruby 重写后，系统在可维护性和性能上取得平衡，但作者也承认，与 ClaudeCode 等顶级 Harness 工程相比，仍有差距，尤其是在动态上下文处理方面。

5. 结论：作者认为，提升 prompt cache 命中率的关键在于工程化思维，而非单纯依赖模型能力。通过结构化设计、语言选择（如 Ruby）和持续迭代，可以显著优化 Agent 的响应速度和成本效率。