惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

阮一峰的网络日志
阮一峰的网络日志
Scott Helme
Scott Helme
P
Proofpoint News Feed
T
Threat Research - Cisco Blogs
C
CERT Recently Published Vulnerability Notes
P
Privacy & Cybersecurity Law Blog
云风的 BLOG
云风的 BLOG
V
Visual Studio Blog
Martin Fowler
Martin Fowler
Cisco Talos Blog
Cisco Talos Blog
罗磊的独立博客
MyScale Blog
MyScale Blog
博客园 - 【当耐特】
L
LangChain Blog
AWS News Blog
AWS News Blog
Security Latest
Security Latest
C
CXSECURITY Database RSS Feed - CXSecurity.com
P
Proofpoint News Feed
T
True Tiger Recordings
aimingoo的专栏
aimingoo的专栏
宝玉的分享
宝玉的分享
月光博客
月光博客
The Hacker News
The Hacker News
L
Lohrmann on Cybersecurity
The GitHub Blog
The GitHub Blog
Stack Overflow Blog
Stack Overflow Blog
S
SegmentFault 最新的问题
Recorded Future
Recorded Future
S
Security Archives - TechRepublic
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
WordPress大学
WordPress大学
Y
Y Combinator Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
大猫的无限游戏
大猫的无限游戏
Apple Machine Learning Research
Apple Machine Learning Research
小众软件
小众软件
博客园 - 聂微东
GbyAI
GbyAI
N
News and Events Feed by Topic
The Cloudflare Blog
Engineering at Meta
Engineering at Meta
Last Week in AI
Last Week in AI
博客园 - 三生石上(FineUI控件)
G
Google Developers Blog
A
About on SuperTechFans
K
Kaspersky official blog
NISL@THU
NISL@THU
S
Securelist
Microsoft Azure Blog
Microsoft Azure Blog
V
V2EX - 技术

V2EX

现在的你有哪些骄傲和无奈呢 香港金管局:就内地投资者投资账户新增三项监管措施 开户核查倒查至 2023 年 1 月 做了个 macOS 网站与应用拦截器, 保持专注. [小米] 有没有安卓玩机高手请教点问题 我发现 it 类工作者是最严重的性压抑群体 包括我自己 it 类的工作者 [开源] 高阶魔方一键求解器 Cursor 还能买吗, 20 刀和 60 刀的大概能用多久? ai studio 被疯狂封 api 怎么回事 Zerolang 好像还没人讨论? [问与答] token 用量究竟是怎么算的? 香港众安银行开户返 300HKD+50USD 英伟达股票兑换券 活动时间 5.28 日至 7.1 日截止。 vibe coding 了个辅助颈腰椎病康复的体态相机小工具 有在用免费 VPS 的吗?可以当梯子用吗? 这个 sechub 网站搬运了很多 V 站的内容,站方能管到它吗 我的 AI(LLM) 和 vibe coding 使用技巧已经落伍了吗 我做了一个 Agent Team 协作平台——Rudder:让 Agent Team 在实践中成长 react 这个技术栈到底是如何做到每天都有新发现的? 我终于找到了 24 小时进行 coding 的终极方法,你可以在帖子当中看到最佳的 Vibe coding 助手 我不想看你的产出 Anker 已经不是原来的 Anker 了,从苹果生态到饭圈生意,一路从龙头企业做到现在韭菜头子。 [产品发布] [产品自荐] 业余两周做了个 AI Visual Agent,自动选模型、写 prompt、调参数,想请 V 友帮忙看看 [深圳] 居家办公距离南山科兴地铁 50 分钟有推荐的小区吗 [推广] 📊 [抽奖+1] 多券商开户福利(万 0.854/两融低至 3.x),回帖抽 coding plan 欢迎各位分子 AirPods4 降噪版在地铁上的表现实在糟糕,关门声差点我把送走 [酷工作] 远程 AI 前端招聘 30-50K 活过来了,继续推广一下我的 codex 中转站,依旧免费送 30 刀 复杂内网里的 WebRTC + gRPC 音视频通话方案:信令、媒体链路与自恢复 寻找 App 平台规则与技术合规咨询顾问 / 团队 做了个宠物拍立得风格照片生成器,给你的猫狗来张照片吧 [问与答] 国内网盘,大家都试过有哪些好用的原生支持 webdav 的网盘? [酷工作] [Golang] 兼职/全职大量招聘|团队扩招—跨境电商 AI+SaaS 用多模态大模型来做语音输入,效果碾压 typeless [推广] [FK Claude] 满血 Claude 折扣中转站 最近 claude code 频繁卡死有碰到同样问题的吗 [问与答] 香港金管局:就内地投资者开户核查倒查至 2023 年 1 月。啥意思? 各位小微企业创业的大佬,欢迎联系我购买财务软件 麻将洗牌 40 张牌跟踪, YOLO+ByteTrack 累积 1942 ID, SAM 2 / Cutie / CoTracker3 哪个能救? [Claude] 跪求 Claude 使用高手 [分享发现] 小米开发者计划送了 820 亿 token + 240 亿 credits,有人用得完吗? 有需要的可以用我的 前几天看到有坛友有 NAS 托管需求 ,刚好我们这边可以放这个 和大家讨论讨论可行性 [OpenAI] 高考期间国产 AI 工具部分功能或将禁用 哪些兄弟有 token 渠道,采购需求! [酷工作] 阿里国际急招 Agent 开发,流程快,最核心的交易业务,速来 网站公安备案,安全评估大家是怎么处理的 vibe 了一个可视化 sing-box 配置编辑器 寻找视觉处理大佬,多目标 mask 跟踪, SAM2, CoTracker3 / TAPIR (点跟踪)等 香港那边是不是开不了投资账户了 伪装成技术博客的本地 TXT 小说阅读器,让你在办公室光明正大地摸鱼 [问与答] 选择还房贷还是选择理财冲掉房贷利息? 中转站 token 掺水检查 关于懒猫微服,你需要一场面对面的交流,直播预告 [分享发现] 果然便宜没好货,用 Deepseek v4pro 写出来的程序 用 opus 4.7 审计出来了 500 多个 bug,笑死 去那种不大的咖啡店里学习简直是种折磨。 [深圳] 暑假想让老婆孩子来深圳,短租 2 个月,求推荐靠谱的找房方式 codex 中转站 0.05x 倍率 高并发 0.03x [分享发现] 知乎这文章,乱写毒人的吧? 想学习 AI 应用开发练手,用哪家的什么套餐比较好啊 claude code 日更两次,现在启动上下文足够长的窗口也比以前快了 第一版很粗糙,欢迎体验面向全球用户的校友社区 - AlumniCircle(校友圈) 今天 Codex 经常在思考中卡死了 [分享发现] 新开了一个英国银行账户 [程序员] 我又来了,给大家分享一下这几天积累的几个 skills [分享创造] Vibe 了一个机器人工具 33 岁阿里 5 年,平薪去长沙 vs 继续卷杭州,怎么选? [VPS] 收购一台 VPS, colocrossing 家的 [NAS] 利用本地 NAS 解决商业/公益 Emby 服务器无法转码的问题 入手了 一加 15T,说说感受 Apple Store ChatGPT 土耳其区可以年付吗? 『记个到』v1.6 更新:任务分享、统一管理、统计信息和反馈记录 Next2V:原生鸿蒙 V2EX 社区客户端已上架市场 最近接 AI Agent / AI 工作流 / 企业内部自动化相关的远程项目。 国际阿里云/腾讯云|AWS/谷歌云 sm 账号 7 折充值! 看看大家的 AGENTS.md/claude.md 里面都有什么好东西 [深圳] CWILL 招聘内推:产品经理 / Golang / 运维 / AI 解决方案 PM 打 BOSS 技术能聊吗? 之前站内看到的汽水音乐的谷歌搜索结果中有危险网址的问题还在 [AI Agent 智能体] 为什么国内的大模型很少能支持 openAi responses api 的 [推广] [打工人药丸] 瞒着老板,偷偷送 5 个海外住宅 IP 兑换码(全球 195+ 国家选),新用户速来! [分享发现] 今天刷抖音发现有一个在线摸鱼表格莫名其妙的火了 [编程] codex 任何地区都登录不上了 域名注册哪家便宜 [程序员] 聊一聊各位大佬们在 Vibe coding 环境下用的技术栈? 隔壁 L 站小作文好难啊 内核(驱动)内存泄露 [问与答] 你们用 opus 和 gpt 的时候 effort 开的是 medium 还是 extra high [问与答] 可以大陆直连,支持 openai image2 的中转站有吗? [生活] 想买个桨板配套的救生衣,有推荐的吗?帮忙给个链接 [职场话题] 想知道你们曾经离职的主要核心原因都是什么? 讲讲我的中转站建站历程,大家似乎都不太关注中转站实际使用的模型,最近我的 gpt-oss-120b(别名成 GPT-5.5)蜜罐被盗刷炸了 [程序员] codex app 一定要开 tun 模式才能用吗? [问与答] 写了一个免费的 LLM4Rec(大模型推荐系统)的课程,不确定 0 基础能看懂吗? [生活] 中排量摩托车求推荐! 本地大模型最佳 Mac 配置选择 不主动不拒绝不表态的女生,还有必要继续吗? [首发/急招] 搞定万卡调度后,我们决定去 Web3 用 Go + Agent 掀翻天花板! 微软 Azure 的 openai 服务有需要组队的么? 从产品初始化到迭代,总抓不准真实用户需求?我做了一个让用户反馈驱动产品决策的工具 Feedalyze 现在还有哪些值得推荐的机场 每天 6 毛钱的 AI 日报系统 —— AI Daily 又进化了 [程序员] 小米 token plan 明天到期,只用了 1%,搞了什么好呢
请教一下关于长上下文 RAG 检索,总结的最佳实践
dassh · 2025-08-18 · via V2EX

如果有一段很长的文档,包含以下内容

...以上省略若干段文字
...
abc 的指导思想如下:
一、要大力 xxxxxxx
二、要加强 xxxxxxx
三、要促进 xxxxxxx
四、要发挥 xxxxxxx
五、要改革 xxxxxxx
六、要总结 xxxxxxx
七、要克服 xxxxxxx
...
...以下省略若干段文字

依我去前写过的 rag demo 测试来看,在 chunking 阶段,按一定长度切开后向量化存储,那每个 chunk 向量之间已经没关联了,再使用关键字与每个 chunk embedding 后的向量得到最佳相似度的结果,比如:

  1. 提问:“促进 xxxx 的具体方案在哪里提出的?”,可能会匹配到包含"三、要促进 xxxxxxx"的 chunk ,但其它未包含相关关键字的结果就不在其中了。
  2. 提问:“abc 的指导思想是什么?”,也并不能得到全部的一~七的答案。

也搜索到了有一些优化方案(结合 ai ,可能有幻觉):

  1. 其于语义切割:智能 chunk size ,大概就是不固定 chunk size ,而是一点点增加字符,并立即向量化,存储向量化结果至数组,当检测到添加的新向量和之前的差异超过一个阈值时,切开;
  2. 层次化切割(如 RAPTOR):在以上基础上,对 chunk 进行聚类并生成摘要,在有必要的时候,可再对生成的摘要聚类形成摘要; 未经测试,只依靠我的意想,"二、要加强 xxx" 也未必就一定和 "三、要促进 xxx"向量相近被聚类?(可能我举的例子不好,实际情况下,不一定都是以“要 xxx”开头)

其它方案:

  • GraphRAG:去年有试过,但是存在问题,对一篇长文太费 token ,而且慢;尝试使用本地模型( qwen2.5:14b )什么都跑不出来。
  • HippoRAG: 刚搜索到的,看其 github 各项指标均比 GraphRAG 好,未尝试

疑问:

  1. 这个需求是不是不适合用 RAG 来做,在上下文长度不够时,有其它方法吗?就算上下文够,llm 真的能在这么大的上下文中准确无误的提取?

  2. 使用 rag 的话,使用层次化切割这种方案看起来不错,比如:形成 abc 的指导思想 | | | 一、 二、 三、 这种结构,检索时可以一层层由上向下展开,由下向上溯源。 但是搜了相关 RAPTOR RAG github repo ,看 star 数并不理想(几十),故对这种方案的真实实用性存疑。

  3. 如果还涉及一些总结性的提问,关键词可能在原文未涉及,在检索这一步使用相似度比对得到相关向量结果肯定不理想,又有什么好的方案?

题外话: RagFlow: 未针以上场景测试过,但 docker 搭建玩了一下,忘了放着不管,大概 1 个月后竟然把磁盘写满了(有一个 1.5T 的报错日志,全是 redis 未连接上的)