惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

D
Docker
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
C
Cisco Blogs
Scott Helme
Scott Helme
Know Your Adversary
Know Your Adversary
NISL@THU
NISL@THU
C
Cyber Attacks, Cyber Crime and Cyber Security
D
Darknet – Hacking Tools, Hacker News & Cyber Security
C
CXSECURITY Database RSS Feed - CXSecurity.com
S
Schneier on Security
I
Intezer
Spread Privacy
Spread Privacy
AWS News Blog
AWS News Blog
V
Vulnerabilities – Threatpost
Cloudbric
Cloudbric
V2EX - 技术
V2EX - 技术
Google Online Security Blog
Google Online Security Blog
L
Lohrmann on Cybersecurity
Recent Commits to openclaw:main
Recent Commits to openclaw:main
L
LINUX DO - 热门话题
S
Secure Thoughts
T
The Exploit Database - CXSecurity.com
博客园 - 【当耐特】
Recent Announcements
Recent Announcements
Security Archives - TechRepublic
Security Archives - TechRepublic
Stack Overflow Blog
Stack Overflow Blog
罗磊的独立博客
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
K
Kaspersky official blog
阮一峰的网络日志
阮一峰的网络日志
博客园_首页
Latest news
Latest news
B
Blog
F
Full Disclosure
大猫的无限游戏
大猫的无限游戏
博客园 - 叶小钗
L
LangChain Blog
GbyAI
GbyAI
Last Week in AI
Last Week in AI
S
Security Affairs
Apple Machine Learning Research
Apple Machine Learning Research
N
Netflix TechBlog - Medium
Security Latest
Security Latest
Vercel News
Vercel News
Y
Y Combinator Blog
G
GRAHAM CLULEY
S
Securelist
T
Troy Hunt's Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
雷峰网
雷峰网

Luckydesigner

Agent Reach,给你的 AI Agent 装上互联网之眼 AI智能体每月偷偷吃掉你几千元?解析其背后的烧钱真相以及规避方法 一行命令,让任何软件变成AI Agent的原生工具 别让你的收藏夹沦为知识垃圾场!从一张卡牌开始,打造数字第二大脑 这款开源神器 OpenHuman,让 AI 真正记住你的一切 别让 AI 变“鱼的记忆”!伯衡君实测这个项目让 AI Agent 真正拥有长期记忆 别再死磕 Selenium 了!伯衡君带你实测 30/30 全满分过检的 CloakBrowser 伯衡君制作的 OpenClaw 技能,把 AI 变成你的首席创意官 短视频创作者的救命神器!AI全自动生成工具来了 从 API 焦虑到 9Router 自由,如何用开源思路白嫖顶级大模型? 别再一个个找了!实测 GitHub 爆火项目,带你零成本免费用主流大模型 别再把 AI 当聊天框了!学会这 8 招,让 AI 变成你的全能私人管家 告别单打独斗!用 Ruflo 组建 Claude 多智能体军团,效率直接提升 10 倍 GPT Image 2 刷屏了?这 3 个白嫖平替,能实现连续创作一步到位! 告别盯盘焦虑!我用 TradingAgents 组建了 AI 虚拟交易团队,全天候自动打工 拒绝无效学习!我为 OpenClaw 开发的格物本质赋能学习法,让知识真正“长”在身上 本地部署大模型还是云端 AI?一份理性选择指南 【深度干货】伯衡君自制OpenClaw投资技能——8位投资顾问详细使用指南 别再给Suno交钱了!开源AI音乐神器ACE-Step UI来了 不用摄像机也能拍大片?VideoAI.Me 让伯衡君惊呆了 把AI当娃养是一种什么体验?Clawdi让「数字奶爸」轻松上岗 智能家居变“智障”?断网就失效?换个玩法,让你的家彻底摆脱云端控制 用苹果电脑打造客厅游戏主机:性能炸裂,这才是玩家的梦幻配置 效率提升 300%!DeepSeek、GPT、Claude 谁才是真正的代码之王? 书太多读不完?分享一个 OpenClaw 深度阅读技能:先读薄,再读厚 200+模型随便玩!图片、视频、数字人等这款AI“应用商店”完全免费 GitHub星标6.2万!黑客工具箱有多强?安全专家:这5个功能太可怕 3个90%的人不知道的Claude Code免费用法,最后一个太香了 伯衡君的 OpenClaw 备份与迁移完全指南 避免熬夜!长视频变短视频:HeyGen Instant Highlights 轻松拿捏 短视频创作自动化—— Pixelle-Video 全自动 AI 制作短视频
你的LLM上下文太长了?Headroom帮你砍掉90%的Token,答案还一样准
伯衡君 · 2026-06-08 · via Luckydesigner

2026-06-0810:23:25

摘要

你想想看,咱们用LLM处理实际任务的时候,是不是经常遇到这种情况——工具调用返回了一大串JSON,日志文件动辄几万行,RAG检索回来的chunk一个比一个长。这些上下文塞进LLM的窗口里,token消耗得像流水一样,但里面真正有用的信息可能连10%都不到。我之前试过各种办法,手动截断吧,怕漏掉关键信息,不截断吧,模型又读不过来。直到我遇到headroom,坦率的讲,它解决的就是这个痛点。

你的LLM上下文太长了?Headroom帮你砍掉90%的Token,答案还一样准

开篇寄语

说真的,我是今天早上在GitHub Trending上刷到这个项目的,当时正在处理一个RAG管道的日志,上下文窗口被一堆重复的工具输出塞得满满当当,Claude在那儿疯狂提示「上下文即将用尽」。就在我准备手动清理的时候,headroom这个项目跳到了我眼前。我当时就想,这玩意儿来得也太是时候了吧。

你想想看,咱们用LLM处理实际任务的时候,是不是经常遇到这种情况——工具调用返回了一大串JSON,日志文件动辄几万行,RAG检索回来的chunk一个比一个长。这些上下文塞进LLM的窗口里,token消耗得像流水一样,但里面真正有用的信息可能连10%都不到。

我之前试过各种办法,手动截断吧,怕漏掉关键信息,不截断吧,模型又读不过来。直到我遇到headroom,坦率的讲,它解决的就是这个痛点。

项目地址

GitHub仓库地址在这里 https://github.com/chopratejas/headroom

内容详情

这玩意儿到底能干嘛

Headroom是一个智能上下文压缩工具,支持三种形态,你可以根据自己的场景选择

作为库使用

如果你是在Python项目里用,装个包就搞定

pip install headroom

然后几行代码就能压缩你的文本

from headroom import compress

# 压缩工具输出
compressed = compress(tool_output, ratio=0.7)

# 压缩日志文件
compressed_logs = compress(logs, ratio=0.8)

# 压缩RAG chunks
compressed_chunks = compress(chunks, ratio=0.6)

作为代理使用

如果你不想改代码,可以直接跑代理模式,所有经过的文本自动压缩

headroom --proxy --port 8080 --ratio 0.7

作为MCP服务器

这个是我觉得最香的用法。直接集成到Claude Code、Cursor这些支持MCP的工具里,工具输出自动压缩后再给LLM,整个过程对用户完全透明

{
  "mcpServers": {
    "headroom": {
      "command": "headroom",
      "args": ["mcp", "serve"],
      "env": {},
      "disabled": false,
      "autoApprove": ["headroom_compress", "headroom_retrieve", "headroom_stats"]
    }
  }
}

压缩效果有多狠

我跟你说,这个数字是真的夸张。根据项目文档里的测试数据

  • 工具输出压缩,token减少60%到95%
  • 日志文件压缩,token减少70%到90%
  • RAG chunks压缩,token减少50%到80%

最关键的是,压缩后的答案准确率跟原版的几乎没差别。它是怎么做到的呢?我翻了一下源码,它用的是一种智能语义压缩算法,不是简单的截断或者摘要,而是保留关键信息结构,去掉冗余表达。

实际场景体验

我用它测试了几个真实场景,效果确实惊艳

场景一,处理API错误日志

之前调用一个内部API返回了500错误,堆栈跟踪加上响应体一共8000多token。经过headroom压缩后只剩1200token,但关键的错误信息、堆栈顶部的调用链、响应状态码全部保留,LLM照样能准确定位问题。

场景二,RAG检索结果

我的一个知识库检索经常返回十几个chunk,每个chunk平均500token,加起来就是7500token。用headroom压缩后整体降到2000token左右,但每个chunk的核心论点和关键数据都还在,回答质量没有明显下降。

场景三,CI/CD流水线日志

这个是最爽的。之前把Jenkins日志丢给Claude分析,经常因为上下文太长被截断。现在先用headroom压缩,几万行的日志能压到几千token,完整的流水线分析一次就能做完。

配置参数怎么调

Headroom的核心参数就是这个ratio,控制压缩比例

  • ratio=0.3,保守压缩,保留70%内容,适合对准确性要求极高的场景
  • ratio=0.5,平衡模式,保留一半内容,日常使用推荐
  • ratio=0.7,激进压缩,只保留30%内容,适合超长日志和大规模RAG
  • ratio=0.9,极限压缩,只保留10%内容,应急使用

我的建议是,先从0.5开始试,观察LLM的回答质量,如果没问题再逐步提高压缩率。

跟其他方案比怎么样

市面上其实也有类似的上下文管理方案,比如简单的截断、基于规则的过滤、传统的文本摘要。但headroom的优势在于

第一,它是语义感知的,不是机械截断,能保留信息结构 第二,它支持流式处理,大文件不用全加载到内存 第三,它有三种形态,库、代理、MCP服务器,覆盖不同使用场景 第四,它是为LLM场景专门优化的,测试数据也是基于真实LLM任务评估的

谁应该用这个东西

我跟你说,如果你符合下面任何一条,都值得试试

  • 经常遇到上下文窗口不够用的开发者
  • 做RAG系统的,需要控制检索结果的token消耗
  • 运维同学,需要把海量日志丢给AI分析
  • 做AI Agent的,工具调用返回结果太长
  • 用Claude Code、Cursor这类工具,经常遇到上下文限制的

安装和使用的小坑

我踩过几个小坑,跟你说一下

坑一,Python版本

需要Python 3.9以上,低于这个版本会报错。我一开始在3.8的环境里折腾了半天。

坑二,代理模式的端口冲突

默认用8080端口,如果你本地已经有服务占了这个端口,记得换个端口

headroom --proxy --port 9090

坑三,MCP服务器的ratio设置

通过环境变量设置的时候,要用字符串格式

"env": {
  "HEADROOM_RATIO": "0.7"
}

写成数字0.7会不生效,这个我debug了好久才发现。

项目的活跃度和发展

这个项目是chopratejas在2025年底开源的,到现在差不多半年,已经积累了不错的社区热度。GitHub上的star增长很快,issue响应也比较及时。

我看了一下最近的commit,作者在持续优化压缩算法,还计划支持更多的输出格式,比如Markdown表格、JSON结构化数据的专用压缩策略。另外MCP服务器的功能也在不断完善,未来可能会支持更多的LLM工具集成。


以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~ 谢谢你看我的文章,我们,下次再见。