惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
Recent Announcements
Recent Announcements
博客园 - 司徒正美
P
Proofpoint News Feed
博客园 - 聂微东
小众软件
小众软件
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
aimingoo的专栏
aimingoo的专栏
量子位
MyScale Blog
MyScale Blog
云风的 BLOG
云风的 BLOG
博客园 - Franky
B
Blog RSS Feed
F
Full Disclosure
The Cloudflare Blog
宝玉的分享
宝玉的分享
Last Week in AI
Last Week in AI
D
DataBreaches.Net
N
News and Events Feed by Topic
S
Secure Thoughts
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
V2EX - 技术
V2EX - 技术
L
LINUX DO - 最新话题
H
Heimdal Security Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Apple Machine Learning Research
Apple Machine Learning Research
L
LangChain Blog
Hugging Face - Blog
Hugging Face - Blog
C
Check Point Blog
U
Unit 42
G
Google Developers Blog
Forbes - Security
Forbes - Security
S
Schneier on Security
T
Threatpost
W
WeLiveSecurity
I
Intezer
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Security Latest
Security Latest
T
Troy Hunt's Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
I
InfoQ
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
有赞技术团队
有赞技术团队
S
Security Affairs
Cisco Talos Blog
Cisco Talos Blog
T
Tenable Blog
Simon Willison's Weblog
Simon Willison's Weblog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
V
Vulnerabilities – Threatpost

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
RAG原理完全教程(对照图书馆版)
打不死的信心 · 2026-06-24 · via 博客园_首页

这是一个面向普通人的RAG教程。你不需要懂机器学习,也不需要懂数学,只要能理解图书馆,就能理解RAG。


第一章 什么是RAG

RAG全称:

Retrieval-Augmented Generation
检索增强生成

核心思想:

先找资料
再回答问题

而不是:

直接靠模型记忆回答

例如:

用户:

盗窃多少钱判刑?

RAG:

先查刑法库
↓
找到相关条文
↓
交给Qwen
↓
生成答案

第二章 图书馆角色对照表

RAG组件 图书馆角色 职责
原始文档 图书 知识来源
Chunk切分器 拆书员 把书拆成知识卡片
Chunk 知识卡片 最小知识单位
Embedding 分类专家 理解内容并确定语义位置
向量(Vector) 地图坐标 知识卡片的位置
FAISS 馆藏索引系统 根据位置找书
Query 用户借书需求 用户的问题
Q向量 用户当前位置 用户需求在地图上的位置
Similarity Search 测距系统 计算距离
TopK 第一轮候选书 最接近的50本
Reranker 资深馆员 重新排序
Context 顾问桌面 能放下的资料
Qwen/LLM 专家顾问 阅读资料并回答
Prompt 工作制度 规定顾问如何工作

第三章 入库流程(向量化流程)

这是正向流程。

即:

文档
↓
知识库

第一步 拆书

一本书:

中华人民共和国刑法

50万字。

不能直接处理。

于是:

拆书员

开始工作。


拆成:

Chunk1
盗窃罪

Chunk2
诈骗罪

Chunk3
故意伤害罪

Chunk4
抢劫罪

得到:

知识卡片

第二步 Embedding

分类专家开始工作。

读取:

Chunk1

盗窃公私财物,
数额较大的...

Embedding理解:

这是盗窃罪相关

然后生成:

C1

[0.23,-0.81,0.55,...]

这不是答案。

这是:

语义坐标

继续:

Chunk2

诈骗罪

C2

[0.31,-0.66,0.42,...]

所有Chunk都完成。


第三步 保存到FAISS

FAISS保存:

向量
↓
Chunk

例如:

C1
↓
Chunk1

C2
↓
Chunk2

C3
↓
Chunk3

图书馆理解:

坐标
↓
书架位置

例如:

法律区A
第3层
第15本

至此:

知识库建立完成

第四章 什么是Embedding

很多人误解:

Embedding
=
压缩工具

错误。


Embedding真正作用:

理解语义
建立坐标

例如:

偷手机

窃取手机

非法占有他人手机

Embedding会认为:

意思接近

于是坐标靠近。


这才是Embedding最重要的能力。


第五章 查询流程(RAG回答流程)

这是反向流程。

即:

用户问题
↓
答案

第一步 用户提问

用户:

偷手机判几年?

第二步 Embedding生成Q

Embedding再次工作。

注意:

这次不是处理Chunk。

而是处理问题。


问题:

偷手机判几年?

Q

[0.25,-0.80,0.57,...]

这个Q叫:

Query Vector
问题向量

图书馆理解:

用户站在地图上的位置

第三步 FAISS检索

FAISS收到:

Q

开始测距。


例如:

Q ↔ C1 = 0.95

Q ↔ C2 = 0.91

Q ↔ C3 = 0.42

Q ↔ C4 = 0.01

得到:

Top50

图书馆理解:

最接近的50本书

第四步 Reranker

Reranker开始工作。


FAISS返回:

盗窃罪量刑

盗窃罪历史沿革

盗窃罪立案标准

诈骗罪量刑

Reranker发现:

用户问:

判几年

重点应该是:

量刑

于是重新排序:

1 盗窃罪量刑

2 司法解释

3 立案标准

4 历史沿革

得到:

Top8

图书馆理解:

最值得给顾问看的8本书

第五步 Qwen回答

Qwen终于开始工作。

看到:

刑法264条

司法解释

量刑标准

然后总结:

根据刑法264条...

生成最终答案。


第六章 FAISS到底干什么

很多人误解:

FAISS懂法律

错误。


FAISS实际上只懂:

向量

它不知道:

盗窃罪

诈骗罪

Python

是什么意思。


它只知道:

Q

离谁最近

因此:

FAISS
=
仓库管理员

第七章 为什么知识明明在库里却回答不出来

这是RAG最常见问题。


情况1

Embedding理解错问题

例如:

偷手机

没有定位到:

盗窃罪区域

结果:

Q偏了

情况2

FAISS召回失败

正确Chunk没进Top50。


情况3

Reranker排序失败

正确答案排第35名。

最终只保留前8名。


情况4

Qwen理解失败

资料已经给了。

但模型能力不足。


第八章 谁最重要

很多人认为:

Qwen最重要

其实不一定。


法律库、技术文档库、企业知识库:

大约可以理解为:

Chunk切分
≈ 30%

Embedding
≈ 30%

Reranker
≈ 20%

LLM
≈ 20%

所以:

找不到资料

通常不是Qwen的问题。

而是:

Chunk

Embedding

FAISS

Reranker

中的某一步出了问题。


最终一句话总结

RAG其实就是一个图书馆:

拆书员
↓
把书拆成知识卡片

Embedding分类专家
↓
给知识卡片建立语义地图

FAISS管理员
↓
根据用户位置找附近的书

Reranker资深馆员
↓
从候选书中挑最相关的

Qwen专家顾问
↓
阅读这些书并回答用户

理解了这套图书馆模型,你就理解了90%以上的RAG工作原理。

以后遇到:

知识明明在库里
为什么答不出来?

不要先怀疑Qwen。

先检查:

问题
↓
Q向量
↓
FAISS Top50
↓
Reranker Top8

看看正确的那本书,究竟是在什么地方被弄丢了。