当我们完成了一个RAG系统的开发工作以后，我们还需要对RAG系统的性能进行评估，那如何来对RAG系统的性能进行评估呢？我们可以仔细分析一下RAG系统的产出成果，比如检索器组件它产出的是检索出来的相关文档即context, 而生成器组件它产出的是最终的答案即answer,除此之外还有我们最初的用户问题即question。因此RAG系统的评估应该是将question、context、answer结合在一起进行评估

RAG 三元组

标准的 RAG 流程就是用户提出 Query 问题，RAG 应用去召回 Context，然后 LLM 将 Context 组装，生成满足 Query 的 Response 回答。那么在这里出现的三元组:—— Query、Context 和 Response 就是 RAG 整个过程中最重要的三元组，它们之间两两相互牵制。我们可以通过检测三元组之间两两元素的相关度，来评估这个 RAG 应用的效果：

• Context Relevance: 衡量召回的 Context 能够支持 Query 的程度。如果该得分低，反应出了召回了太多与Query 问题无关的内容，这些错误的召回知识会对 LLM 的最终回答造成一定影响。

• Groundedness: 衡量 LLM 的 Response 遵从召回的 Context 的程度。如果该得分低，反应出了 LLM 的回答不遵从召回的知识，那么回答出现幻觉的可能就越大。

• Answer Relevance: 衡量最终的 Response 回答对 Query 提问的相关度。如果该得分低，反应出了可能答不对题

  

Ragas评估

什么是Ragas评估

官网地址：https://www.ragas.io/

Ragas (Retrieval-Augmented Generation Assessment) 它是一个框架，它可以帮助我们来快速评估RAG系统的性能，为了评估RAG系统，Ragas需要以下信息:

• question：用户输入的问题。
• answer：从 RAG 系统生成的答案(由LLM给出)。
• contexts：根据用户的问题从外部知识源检索的上下文即与问题相关的文档。
• ground_truths： 人类提供的基于问题的真实(正确)答案。 这是唯一的需要人类提供的信息。

评估指标

Ragas提供了五种评估指标

忠实度

忠实度(faithfulness)衡量了生成的答案(answer)与给定上下文(context)的事实一致性。它是根据answer和检索到的context计算得出的。并将计算结果缩放到 (0,1) 范围且越高越好。

如果答案(answer)中提出的所有基本事实(claims)都可以从给定的上下文(context)中推断出来，则生成的答案被认为是忠实的。为了计算这一点，首先从生成的答案中识别一组claims。然后，将这些claims中的每一项与给定的context进行交叉检查，以确定是否可以从给定的context中推断出它。忠实度分数由以下公式得出:

结果范围是 (0,1)：越接近 1，说明回答越 “忠实” 于上下文，没有编造；越接近 0，说明模型幻觉严重，很多内容都是瞎编的

示例:

• 问题(question):爱因斯坦出生于何时何地?
• 上下文(context):阿尔伯特·爱因斯坦(Albert Einstein，1879年3月14日出生)是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最有影响力的科学家之一
• 高忠实度答案:爱因斯坦1879年3月14日出生于德国
• 低忠实度答案:爱因斯坦于1879年3月20日出生于德国

答案相关性

“答案相关性”重点评估生成的答案(answer)与用户问题(question)之间相关程度。不完整或包含冗余信息的答案将获得较低分数。该指标是通过计算question和answer获得的，它的取值范围在 0 到 1 之间，其中分数越高表示相关性越好。

当答案直接且适当地解决原始问题时，该答案被视为相关。重要的是，我们对答案相关性的评估不考虑真实情况，而是对答案缺乏完整性或包含冗余细节的情况进行惩罚。为了计算这个分数，LLM会被提示多次为生成的答案生成适当的问题，并测量这些生成的问题与原始问题之间的平均余弦相似度。基本思想是，如果生成的答案准确地解决了最初的问题，LLM应该能够从答案中生成与原始问题相符的问题

示例:

• 问题(question):法国在哪里，首都是哪里?
• 低相关性答案:法国位于西欧。
• 高相关性答案:法国位于西欧，巴黎是其首都。

上下文精度

上下文精度是一种衡量标准，它评估所有在上下文(contexts)中呈现的与基本事实(ground-truth)相关的条目是否排名较高。理想情况下，所有相关文档块(chunks)必须出现在顶层。该指标使用question和计算contexts，值范围在 0 到 1 之间，其中分数越高表示精度越高。

上下文召回率

上下文召回率(Context recall)衡量检索到的上下文(Context)与人类提供的真实答案(ground truth)的一致程度。它是根据ground truth和检索到的Context计算出来的，取值范围在 0 到 1 之间，值越高表示性能越好。

为了根据真实答案(ground truth)估算上下文召回率(Context recall)，分析真实答案中的每个句子以确定它是否可以归因于检索到的Context。 在理想情况下，真实答案中的所有句子都应归因于检索到的Context。

假设：

• 真实文本（GT）共有 10 句话；
• 其中有 8 句话的信息，都能在参考上下文里找到。

那么：上下文召回率=108=0.8=80%

示例:

• 问题(question):法国在哪里，首都是哪里?
• 基本事实(Ground truth):法国位于西欧，其首都是巴黎。
• 高的上下文召回率(High context recall):法国位于西欧，拥有中世纪城市、高山村庄和地中海海滩。其首都巴黎以其时装屋、卢浮宫等古典艺术博物馆和埃菲尔铁塔等古迹而闻名。
• 低的上下文召回率(Low context recall):法国位于西欧，拥有中世纪城市、高山村庄和地中海海滩。该国还以其葡萄酒和精致的美食而闻名。拉斯科的古代洞穴壁画、里昂的罗马剧院和宏伟的凡尔赛宫都证明了其丰富的历史。

上下文相关性

该指标衡量检索到的上下文(Context)的相关性，根据用户问题(question)和上下文(Context)计算得到，并且取值范围在 (0, 1)之间，值越高表示相关性越好。理想情况下，检索到的Context应只包含解答question的信息。 我们首先通过识别检索到的Context中与回答question相关的句子数量来估计 |S| 的值。 最终分数由以下公式确定：

假设：

• 模型从知识库中检索到了 10 句上下文；
• 其中有 7 句话和用户的问题是相关的。

那么：上下文相关性=107=0.7=70%

示例:

• 问题(question):法国的首都是哪里?
• 高的上下文相关性(Context relevancy):法国位于西欧，拥有中世纪城市、高山村庄和地中海海滩。其首都巴黎以其时装屋、卢浮宫等古典艺术博物馆和埃菲尔铁塔等古迹而闻名。
• 低的上下文相关性(Context relevancy):西欧的法国包括中世纪城市、高山村庄和地中海海滩。其首都巴黎以其时装屋、卢浮宫等古典艺术博物馆和埃菲尔铁塔等古迹而闻名。该国还以其葡萄酒和精致的美食而闻名。拉斯科的古代洞穴壁画、里昂的罗马剧院和宏伟的凡尔赛宫都证明了其丰富的历史。

父文档检索器

文档切割时传统的做法是使用像CharacterTextSplitter, RecursiveCharacterTextSplitter这样的文档分割器将文档按指定的块大小(chunk_size)来均匀的切割文档，然后将每个文档块做向量化处理(Embedding)后将其保存到向量数据库中，而当我们在做文档检索时，会将用户的问题转换成的向量与向量数据库中的文档块的向量做相似度计算，并从中获取k个与用户问题向量相似度最高的文档块(也就是和用户问题相关的文档块)，然后我们会把用户的问题以及相关的文档块一起发送给LLM, 最后LLM会给出一个对用户友好的回复。这就是一般的传统文档检索的方法。

传统检索方法其实存在一定的局限性，这是因为文档块的大小会影响和用户问题的匹配度，也就是说当我们切割的文档块越大时，它与用户问题的匹配度就会越低，当文档块越小时，它与用户问题的匹配度会越高，这是因为较大的文档块可能会包含较多的内容，当它被转换成一个固定维度的向量时，该向量可能不能够准确反应出该文档块中的所有内容，因而对用户问题的匹配度就会降低，而小的文档块包含的内容较少，当它被转换成一个固定维度的向量时，该向量基本能够准确反应出该文档块中的内容,因此它与用户问题的匹配度会教高，但是较小的文档块可能因为所包含的信息量较少，因而它可能不是一个全面且正确的答案。为了解决这些问题今天来介绍Langchain中的父文档检索器，它能够有效的解决文档块大小与用户问题匹配的问题。

由于我们在利用大模型进行文档检索的时候，常常会有相互矛盾的需求，比如：

• 希望得到较小的文档块，以便它们Embedding以后能够最准确地反映出文档的含义，如果文档块太大，Embedding就失去了意义。
• 希望得到较大的文档块以保留教多的内容，然后将它们发送给LLM以便得到全面且正确的答案。

面对这样矛盾的需求，Langchain的父文档检索器为我们提供了两种有效的解决方案：

• 检索完整文档
• 检索较大的文档块

该方案的优势:

1. 解决 “大块不精准，小块缺上下文” 的矛盾
   • 小块（子文档）做向量检索，匹配度更高，能精准定位到相关内容；
   • 大块（父文档）作为上下文输入，保留了完整的逻辑和前后文，避免信息断裂。
2. 大幅减少 “幻觉” 和信息断层
   比如一个知识点被拆成了 3 个子块，直接用子块会缺失部分信息，而通过 ID 找回父文档，就能拿到完整的原文。
3. 向量库存储成本低
   只需要存子文档的向量，父文档本身不需要做向量计算，节省算力和存储

检索完整文档

所谓检索完整文档是指将原始文档均匀的切割成若干个较小的文档块，然后将它们与用户的问题进行匹配，最后将匹配到的文档块所在原始文档和用户问题一起发送给llm后由llm生成最终答案，如下图所示：

检索较大的文档快

当原始文档比较大时，我们需要将原始文档按照两个层级进行切割，即切割成主文档块和子文档块，而用户的问题会与所有的子文档块进行匹配(相似度比较) ，当匹配到特定的子文档块后，将该子文档块所属的主文档块的全部内容以及用户问题发送给llm，最后由llm来生成答案。

Ragas评估实操

1. 创建父文档检索器

   import os
   from langchain_community.document_loaders.pdf import PyPDFLoader
   from langchain_community.embeddings import DashScopeEmbeddings
   from langchain_community.llms import Tongyi
   from langchain_chroma import Chroma
   from langchain.text_splitter import RecursiveCharacterTextSplitter
   from langchain.retrievers import ParentDocumentRetriever
   from langchain.storage import InMemoryStore
   
   # 初始化大语言模型
   DASHSCOPE_API_KEY = os.getenv("DASHSCOPE_API_KEY")
   llm = Tongyi(
       model_name="qwen-max",
       dashscope_api_key=DASHSCOPE_API_KEY
   )
   
   # 创建嵌入模型
   embeddings = DashScopeEmbeddings(
       model="text-embedding-v1",
       dashscope_api_key=DASHSCOPE_API_KEY
   )
    
   # 创建主文档分割器
   parent_splitter = RecursiveCharacterTextSplitter(chunk_size=512)
    
   # 创建子文档分割器
   child_splitter = RecursiveCharacterTextSplitter(chunk_size=256)
    
   # 创建向量数据库对象
   vectorstore = Chroma(
       collection_name="split_parents", embedding_function = embeddings
   )
   # 创建内存存储对象
   store = InMemoryStore()
   # 创建父文档检索器
   retriever = ParentDocumentRetriever(
       vectorstore=vectorstore,
       docstore=store,
       child_splitter=child_splitter,
       parent_splitter=parent_splitter,
       search_kwargs={"k": 2}
   )
    
   # 添加文档集
   retriever.add_documents(docs)
   

2. 创建rag prompt

   from langchain.prompts import ChatPromptTemplate
   from langchain.schema.runnable import RunnableMap
   from langchain.schema.output_parser import StrOutputParser
    
   # 创建prompt模板（RAG Prompt）
   template = """You are an assistant for question-answering tasks. 
   Use the following pieces of retrieved context to answer the question. 
   If you don't know the answer, just say that you don't know. 
   Use two sentences maximum and keep the answer concise.
   Question: {question}
   Context: {context}
   Answer:
   """
    
   # 由模板生成prompt
   prompt = ChatPromptTemplate.from_template(template)
    
   # 创建 chain（LCEL langchain 表达式语言）
   chain = RunnableMap({
       "context": lambda x: retriever.get_relevant_documents(x["question"]),
       "question": lambda x: x["question"]
   }) | prompt | llm | StrOutputParser()
   

3. 准备评估的QA数据集

   from datasets import Dataset
   
   # 保证问题需要多样性，场景化覆盖
   questions = [
       "客户经理被投诉了，投诉一次扣多少分？",
       "客户经理每年评聘申报时间是怎样的？",
       "客户经理在工作中有不廉洁自律情况的，发现一次扣多少分？",
       "客户经理不服从支行工作安排，每次扣多少分？",
       "客户经理需要什么学历和工作经验才能入职？",
       "个金客户经理职位设置有哪些？"
   ]
   
   ground_truths = [
       "每投诉一次扣2分",
       "每年一月份为客户经理评聘的申报时间",
       "在工作中有不廉洁自律情况的每发现一次扣50分",
       "不服从支行工作安排，每次扣2分",
       "须具备大专以上学历，至少二年以上银行工作经验",
       "个金客户经理职位设置为：客户经理助理、客户经理、高级客户经理、资深客户经理"
   ]
   
   answers = []
   contexts = []
   
   # Inference
   for query in questions:
       answers.append(chain.invoke({"question": query}))
       contexts.append([docs.page_content for docs in retriever.get_relevant_documents(query)])
    
   # To dict
   data = {
       "user_input": questions,
       "response": answers,
       "retrieved_contexts": contexts,
       "reference": ground_truths
   }
    
   # Convert dict to dataset
   dataset = Dataset.from_dict(data)
   

4. 评测结果

   from ragas import evaluate
   from ragas.metrics import (
       faithfulness,
       answer_relevancy,
       context_recall,
       context_precision,
   )
    
   result = evaluate(
       dataset = dataset, 
       metrics=[
           context_precision, # 上下文精度
           context_recall, # 上下文召回率
           faithfulness, # 忠实度
           answer_relevancy, # 答案相关性
       ],
       embeddings=embeddings
   )
    
   df = result.to_pandas()
   

实施RAG工程核心步骤

1. 数据集的准备（语料）

   • 文档结构化处理：采用现代的智能文档技术

2. 测试集的准备（QA对）

   • 使用主流的 LLM 模型来根据文档来生成 QA 对

3. 技术选型

   • 零代码搭建： DB-GPT / Dify / RAGFlow / Coze Studio...
   • 低代码搭建： Qwen-Agent / TrustRAG / GraphRAG / LightRAG
   • 高度定制开发：LlamaIndex / LangChain / LangGraph

4. 构建知识库

5. 测试和优化

   • 根据不同的阶段来进行优化处理
   • 数据预处理，结构化处理
   • 切片策略
   • 召回策略
   • 重排序
   • RAFT

6. 最终效果评估

   • Ragas 来进行 RAG 性能的评估

7. 生产环境部署

   • 本地模型部署 vLLM