























上一篇文章采用字符串匹配的方式来查找知识,这种方式比较呆板不够智能,接下来引入向量数据库,通过向量化实现更精细的知识检索。
向量化一段文本的时候,经常用到all-MiniLM-L6-v2,它是一个轻量级的文本嵌入Embedding模型,专门把文字转成数字向量,给RAG做语义检索用。
命令行通过cd命令进入Python工程的所在目录,再执行下面的模型下载命令,可将all-MiniLM-L6-v2保存到本地目录:
接着编写下面的Python代码,就表示把指定文本转成数字向量,也就是对文本做向量化处理:
把文本向量化之后,还要找个地方保存向量数据,以便后续从数据集中检索知识。
FAISS就是一个本地、超快、免费的语义检索工具,专门用来在RAG里找“最相似的知识”。
Python代码里的FAISS主要完成三件事:建立索引、放入知识向量、在用户提问时检索知识,如下代码所示:
接下来演示如何使用all-MiniLM-L6-v2与FAISS实现RAG检索功能。在编写Python代码前,要先在命令行执行下面的pip安装命令:
然后编写下面的Python检索测试代码:
运行上面的Python代码,根据提示输入问题“什么是FAISS?”,输出日志结果如下:
可见即使问题文本与知识库不是完全的字符串匹配(“什么是FAISS?”对“FAISS是什么”),all-MiniLM-L6-v2模型结合FAISS也能正确识别出问题意图,并给出准确的回答。
本系列的AI应用开发文章目录为《15天学会AI应用开发全目录(零基础小白,零Token消耗)》。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。