惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
SegmentFault 最新的问题
Security Latest
Security Latest
Martin Fowler
Martin Fowler
酷 壳 – CoolShell
酷 壳 – CoolShell
Engineering at Meta
Engineering at Meta
The Register - Security
The Register - Security
H
Hackread – Cybersecurity News, Data Breaches, AI and More
罗磊的独立博客
MyScale Blog
MyScale Blog
Microsoft Azure Blog
Microsoft Azure Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
WordPress大学
WordPress大学
M
MIT News - Artificial intelligence
小众软件
小众软件
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
F
Fortinet All Blogs
博客园 - 叶小钗
H
Help Net Security
大猫的无限游戏
大猫的无限游戏
U
Unit 42
G
Google Developers Blog
V
Visual Studio Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
PCI Perspectives
PCI Perspectives
The Last Watchdog
The Last Watchdog
有赞技术团队
有赞技术团队
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
N
News and Events Feed by Topic
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Application and Cybersecurity Blog
Application and Cybersecurity Blog
雷峰网
雷峰网
SecWiki News
SecWiki News
Google Online Security Blog
Google Online Security Blog
S
Security @ Cisco Blogs
N
News | PayPal Newsroom
The Hacker News
The Hacker News
月光博客
月光博客
T
Threatpost
B
Blog
P
Proofpoint News Feed
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Simon Willison's Weblog
Simon Willison's Weblog
P
Palo Alto Networks Blog
L
LangChain Blog
Scott Helme
Scott Helme
Last Week in AI
Last Week in AI
C
Check Point Blog
P
Privacy International News Feed

博客园 - iTech

AI Agent 写完代码谁来测?这个开源沙箱把 CI/CD 和多 Agent 协作全包了 7万星的AI交易框架:让大模型模拟投行多空辩论,自动做交易决策 71000颗星的AI交易团队:让大模型模拟投行分工,自动做交易决策 13400颗星的开源项目:输入一句话,AI全自动帮你做短视频 102颗星的沙盒:当AI学会自己写代码、跑测试、做部署 AI 技术日报 - 2026-05-08 每天花两小时刷信息?这个开源项目帮你全自动搞定 读源码像读小说?试了 DeepWiki 和 Zread,我再也不想裸读 GitHub 了 Matt Pocock 开源的这套 .claude 技能,为什么让工程师集体上头? Cursor Team Kit:Cursor 官方团队在用的 17 个 AI 工作流 AI 技术日报 - 2026-05-07 AI 技术日报 - 2026-05-06 AI 技术日报 - 2026-05-05 Anthropic CEO 说 12 个月内程序员要失业,我扒完他的底牌,发现事情没那么简单 把工程师的肌肉记忆装进 Claude Code,这个 4300 Star 的项目我后悔没早用 AI 技术日报 - 2026-05-04 AI 技术日报 - 2026-05-03 AI 技术日报 - 2026-05-02 六大 Agent 框架横评:谁支持 Skills?谁能自动创建 Agent?MCP 呢? Wechatsync:一个 Chrome 插件,一键把文章同步到 31 个平台 LangChain 开源了 Open SWE:Stripe、Ramp、Coinbase 内部都在造的编程 Agent Cockpit:把 Claude Code 从终端里搬出来,装进浏览器 Cursor 把自家的 AI Agent 开放了:写几行 TypeScript 就能调 Cursor 干活 AI 技术日报 - 2026-05-01 AI 写代码每次结果都不一样?Archon 用 YAML 工作流把 AI 编程变成流水线 AI 写代码比你快了,但你还是得学编程——只不过学法得换 腾讯的龙虾特工队:4 个 AI Agent 同日更新,全家桶正式成型 Agno 不做更聪明的 Agent,它要把所有 Agent 框架包进同一个操作系统 Hermes Agent 终于有了像样的 Web 界面,而且还支持远程访问 Datawhale 出了一套 29 学科知识地图,把 AI 的底牌全掀了 Hermes Agent 在聊天框里就能用的 20 种高级功能 一份 AGENTS.md 能顶一次模型升级?Augment Code 用数据说了算 NVIDIA 开源了一个「AI 沙箱」,20K Star,让 Agent 跑代码不再裸奔 60ms 冷启动、5MB 内存:腾讯开源的这个沙箱让 Docker 安全隔离像笑话 AI 技术日报 - 2026-04-30 AI 技术日报 - 2026-04-29 AI 技术日报 - 2026-04-28 Goose:Linux 基金会亲儿子,能撼动 Claude Code 和 OpenCode 吗? AI 技术日报 - 2026-04-27 AI 技术日报 - 2026-04-26 Google 把价值20美元/月的东西免费了,102K人已经抢到了 OpenClaw 和 Claude Code 网络搜索配置指南 AI 技术日报 - 2026-04-25 Anthropic 为什么遥遥领先:从 Cat Wu 专访看AI霸主的底层逻辑 Mac 本地跑大模型完全指南:你的苹果电脑就是 AI 工作站 同样 70B 参数,为什么 MoE 只激活 13B 就能打平 Dense? DeepSeek-V4 技术报告里藏着一条线:华为昇腾 NPU 已完成推理验证 DeepSeek-V4 深夜炸场:1M 上下文、384K 输出、双模型,API 定价直接卷到底 MacBook Air 跑大模型实测:Ollama、llama.cpp、LM Studio 谁才是本地推理之王? AI 技术日报 - 2026-04-24 OpenCode:Claude Code 的最佳平替 2026 开源大模型五国杀:Qwen 3.6 vs Gemma 4 vs Llama 4 vs GLM-5.1 vs DeepSeek V4 MCP 与 Skills 的你死我活:Anthropic 的 Agent 生态野心与开发者的站队困境 给 AI Agent 配搜索,国内能用的搜索 API 实测对比 AI 技术日报 - 2026-04-23 CC Switch:49K Star 的 Claude Code 登录绕过神器,还能管 Codex 和 Gemini CLI NVIDIA 开出 32 万美元年薪招 AI Agent 工程师,JD 里藏着这些信号 fast-mirror-skill 技术拆解:一个小而完整的 Claude Skill 是怎么设计的 Cursor 值 600 亿美元?马斯克这次赌的不是技术,是入口 AI 技术日报 - 2026-04-22 别再问 AI 能不能赚钱了:3 个上班族亲测有效的副业方法(2026 最新版) 10 分钟从零搞定 Hermes Agent:飞书微信双通道丝滑上线 AI 技术日报 - 2026-04-21 Anthropic 实战总结:AI Agent 的 3 种工作流模式,选错代价很大 安装 openclaw,hermes 慢的想发疯,fast-mirror-skill 来救了 Claude Routines:你下班睡觉了,Agent 还在为你干活 微信飞书里敲一个斜杠就能干活:Hermes Quick Command 到底多省事 AI 正在疯狂吃电:算力尽头是电力,谁能解这道题? AI 技术日报 - 2026-04-20 3K 行代码造一个越用越聪明的 AI Agent:GenericAgent 登顶 GitHub Trending 高德途途封神机器人半马,背后的 ABot-Claw 到底是什么 人们希望 AI 能干啥?Anthropic 调查:第一名不是赚钱,是变强 AI 时代人们在担心什么?Anthropic 的 13 条焦虑排行榜 OpenAI 官方 Agent SDK 来了:22k Star,支持 100+ 模型,Python 10 行代码上手 AI 技术日报 - 2026-04-19 OpenAgents Workspace:让 Claude Code 和 Codex 在同一个群里干活 Claude 是要干掉整个软件行业吗? Claude 官方推荐多 Agents 设计模式 多 Agent 系统的 5 种协调模式:选错了模式,再强的 Agent 也白搭 AI 技术日报 - 2026-04-18 AI 技术日报 - 2026-04-17 Better-Harness:让AI Agent自己优化自己的革命性框架 OpenClaw Workspace 完全指南:我的AI编程工作流 DeepSeek内蒙草原高薪招聘:AI时代的数字牧民梦,还是营销噱头? 2 核 2G 的阿里云 ECS 能跑 OpenClaw 吗?能,但有点折腾 AI 技术日报 - 2026-04-16 OpenCLI:一个命令行搞定 16+ 内容平台的神器 从零到精通:OpenClaw CLI 命令完全指南 AI 技术日报 - 2026-04-15 AI Agent 如何自我进化?Hermes Agent Self-Evolution 深度解析 AI 技术日报 - 2026-04-14 为什么你的飞书 Bot 总是连不上?OpenClaw Gateway 架构深度解析 OpenClaw 连接飞书的原理:Gateway、Channel 与消息流转 国内安装 Hermes Agent 踩坑全记录:从 GitHub 超时到正常跑起来的每一步 35 万 Star 的 OpenClaw:5 分钟部署你的私人 AI 助手,直连飞书 AI 技术日报 - 2026-04-13 公司用 AI 筛简历,这个开源项目让候选人用 AI 反选公司 为什么 Google ADK 可能是你下一个 Agent 框架——7 个改变游戏规则的特性 Microsoft Agent Framework 深度解析:架构设计与实战落地 AI 技术日报 - 2026-04-11
29k 星的 PageIndex:不用向量数据库,靠推理就能做 RAG
iTech · 2026-05-07 · via 博客园 - iTech

RAG 领域有个根深蒂固的假设:检索必须靠向量相似度匹配。

把文档切成块,算 embedding,塞进向量数据库,查询时算余弦相似度取 top-K——这套流程已经成了"标准答案"。但问题在于,语义相似不等于真正相关。 你问一个金融报告里的具体数字,向量检索可能把看起来"像"但完全不是同一张表的段落拽出来。

GitHub 上一个叫 PageIndex 的项目(29,300+ 星),直接挑战了这个假设:不用向量数据库,不做切块,靠 LLM 推理来检索。

本文提纲

  1. 核心思路:像人一样读文档
  2. 树索引:把目录变成 LLM 能理解的结构
  3. 检索过程:Agent 自己决定看哪里
  4. 效果:FinanceBench 98.7% 准确率
  5. 三种部署方式
  6. 适合什么场景?

核心思路:像人一样读文档

想象一个专家拿到一份 200 页的财报,要回答"公司 2025 年 Q3 的海外营收占比是多少"。

他不会把整份报告切成 500 个片段然后逐个看"像不像"这个问题。他会:

  1. 翻目录 — 找到"财务数据"或"营收分析"章节
  2. 精确定位 — 跳到对应页码
  3. 读具体内容 — 提取数字
  4. 判断充分性 — 信息不够就继续翻

PageIndex 就是把这个过程编码成 LLM Agent 的行为。核心区别:检索不是靠"什么看起来相似",而是靠推理决定"下一步该看哪里"。

树索引:把目录变成 LLM 能理解的结构

PageIndex 把长文档转换成一个 JSON 格式的层级树状索引。长这样:

{
  "doc_name": "Annual Report 2025",
  "structure": [
    {
      "node_id": "0001",
      "title": "Financial Overview",
      "start_index": 15,
      "end_index": 28,
      "summary": "公司整体财务表现,包含营收、利润...",
      "nodes": [
        {
          "node_id": "0002",
          "title": "Revenue by Region",
          "start_index": 20,
          "end_index": 23,
          "summary": "按地区拆分的营收数据..."
        }
      ]
    }
  ]
}

每个节点包含标题、页码范围、摘要和递归的子节点。这个索引是一个 "in-context index"——直接驻留在 LLM 的推理上下文中,LLM 可以导航、引用和推理。

索引构建本身也靠 LLM:检测目录 → 提取结构 → 转换为 JSON → 页码定位 → 验证 → 生成摘要,每一步都是 LLM 调用。支持 PDF 和 Markdown 两种格式。

检索过程:Agent 自己决定看哪里

检索是 agentic 的。PageIndex 给 LLM Agent 暴露三个工具:

  • get_document_structure() — 拿到树索引(不含正文,省 token)
  • get_page_content(pages="20-23") — 读取指定页码的原始文本
  • get_document() — 获取文档元数据

Agent 的检索流程:

  1. 调用 get_document_structure() 拿到树索引
  2. 看一遍结构,推理判断答案最可能在哪个章节
  3. 调用 get_page_content(pages="X-Y") 读具体内容
  4. 信息不够?继续推理,去其他章节找
  5. 收集够了,生成答案——每个结论都带页码引用

全程可追溯、可解释。 你知道它读了哪些页、为什么读那些页、答案从哪来。传统 RAG 做不到这点——向量相似度是个黑盒,你很难解释"为什么返回了这 5 个 chunk"。

效果:FinanceBench 98.7% 准确率

官方在 FinanceBench(金融报告问答基准)上的对比:

方案 准确率
传统 RAG + 向量数据库(单索引) 30%
传统 RAG + 向量数据库(每文档独立索引) 50%
PageIndex(推理驱动检索) 98.7%

30% 到 98.7%,这个差距不是调参能追回来的。根本原因是金融文档的检索难点:同一个文档里可能有 10 张表,向量检索分不清你要哪张,但 PageIndex 可以通过章节标题和页码精确定位。

而且,PageIndex 声称 没有 Time-to-First-Token 延迟——传统 RAG 需要等整个检索阶段完成才能开始生成,PageIndex 的检索和生成是交替进行的。

三种部署方式

自托管(开源,MIT 协议):

from pageindex import PageIndexClient

client = PageIndexClient(workspace="./workspace")
doc_id = client.index("financial_report.pdf")
# Agent 通过 get_document_structure() + get_page_content() 自主检索

云服务(SaaS):

from pageindex import PageIndexClient

pi_client = PageIndexClient(api_key="YOUR_API_KEY")
result = pi_client.submit_document("./report.pdf")
response = pi_client.chat_completions(
    messages=[{"role": "user", "content": "Q3 海外营收占比多少?"}],
    doc_id=result["doc_id"]
)

MCP 集成:兼容 Claude Agent SDK、OpenAI Agents SDK、LangChain、CrewAI、Google ADK 等主流框架。只要支持 MCP 协议,直接插上就能用。

云服务按 credit 计费(1 credit/页,索引一次性消耗),如果用 MCP + 自有 LLM,PageIndex 不收 credit 费。

适合什么场景?

PageIndex 不是来替代所有 RAG 的。它的优势在结构化长文档的精确问答

  • 金融 — 年报、SEC 文件、审计报告,数字必须精确到具体页码
  • 法律 — 合同、判例法,条款引用必须可追溯
  • 医疗 — 临床报告、药品说明书,信息不能有偏差
  • 技术 — API 文档、产品手册,用户需要精确到某个章节的答案

如果是探索性搜索——"帮我找一些关于 X 的相关内容"——传统向量 RAG 反而更合适。

PageIndex 传递了一个重要信号:RAG 不等于向量检索。 检索的本质是信息定位,语义相似度只是其中一种策略,LLM 推理是另一种。在需要精确性的场景下,推理比相似度靠谱得多。

项目地址:https://github.com/VectifyAI/PageIndex


作者: itech001
来源: 公众号:AI人工智能时代
主页: https://www.theaiera.cn(每日分享最前沿的AI新闻和技术)

本文首发于 AI人工智能时代,转载请注明出处。