在上一篇文章1中，我们讲解了 RAG 的基础原理、传统 LLM 的幻觉困境、使用RAG的好处、RAG 技术的工作流程、产品经理在使用RAG 的过程中可能遇到的问题（数据来源、结果不符合预期）以及应对措施（从召回到排序的逆向排查、各层次上的优化思路）。但是从基础的概念到实际的落地，还存在一大段鸿沟。
本篇文章，我们会从优化大模型应用效果的角度切入，分析基座模型、模型微调、RAG 技术、用户体验四个方面，其中 RAG 是投入产出比最高的杠杆。各个环节对模型应用效果的权重、具体如何优化 RAG 环节，值得我们深入探讨。
在设计一个真正实用的大模型应用时，影响最终效果的关键因素可以从四个层面来分析，它们相互独立又紧密协作，共同决定了产品的落地能力和使用体验。其中，影响模型应用效果较大、AI 产品经理接触较多的因素是RAG（本文会着重讲解 RAG 如何影响模型的生成效果，关于四层分析框架可以阅读《万字长文：AI产品四层架构》2）。
我们常说要了解大模型的能力边界，到底是什么意思？我分上限和局限性两个角度来说：
① 上限由底层模型的基础能力决定：模型的理解能力、推理能力、生成质量等，从根本上决定了应用能处理多复杂的问题，以及生成内容的质量。就像玩版本弱势的英雄，你操作优化得再好也白搭，carry 不动。
② 局限性取决于大模型的原理和训练过程：架构、算法、数据等。如果大模型本身存在结构性缺陷，那么在后续优化中是很难弥补的。就像辅助英雄可能都没有攻击型的技能，用来打野就发挥不出它的能力。
所以选择合适的大模型并确保其性能稳定，是所有工作的起点，这在一开始就决定了。
大模型虽然强大，但它本质上是通用的，无法针对具体场景提供最优解（比如金融问答、医疗对话等）。通过微调，我们可以让模型针对特定领域或业务场景进行优化，使其生成的内容更贴合应用场景。比如，针对医疗领域的应用，我们可以用专业医学数据对模型进行微调，直接影响到模型在具体场景中的表现，让它更懂医学术语和诊断逻辑。
模型微调通常可以采用两种不同的策略：
1. 全参数微调（Full Parameter Fine Tuning）
2. 部分参数微调（Sparse Fine Tuning）
一种是对模型的全部参数进行重新训练，另一种则是仅针对部分参数进行优化。这两种方法各有适用场景和技术特点，选择时需要结合具体业务需求和资源条件：
第一种策略，即全参数微调，适用于对任务要求极高且模型需要彻底适配新场景的情况。通过重新训练模型的所有参数，可以让模型从底层到高层都贴合目标任务。这种方法虽然灵活性最高，但对计算资源的要求较高，同时也需要较大的标注数据集来支撑训练，否则容易出现过拟合或训练效果不佳的问题。
第二种策略是部分参数微调，通常 冻结部分模型层，仅调整特定层的参数，或者采用类似“Adapter”模块的方法，在原模型上增加小规模的可训练子模块。这种方式显著降低了计算成本，同时能够保留原模型的知识，避免对已有能力的过度扰动。它特别适合数据量有限或计算资源受限的场景，也能快速适配新任务。
合理设计微调可以提升模型效果，但是由于模型微调存在成本高、周期长、需要大量高质量数据的特点。所以，在实际的项目中，微调不是常规首选，而是高投入、高门槛的进阶方法。
这部分可以理解为效率提升的关键工具。大模型虽然能生成内容，但它并不总是能即时获取最新或最准确的信息。而通过检索增强生成技术，我们可以让模型在生成内容时动态调用外部知识库和与 query 相关的历史对话。在实际应用中，利用 RAG 是最具性价比的一种策略。与其花大力气“教会模型理解所有内容”，不如让它“边查边答”。
一句话总结：RAG =大模型+查资料能力。
有没有使用 RAG 的区别，就像是大学期末考试，闭卷考试和开卷考试的区别：
（1）没用 RAG 的模型回答问题，只能回忆的学过的知识。传统的大语言模型在生成内容时，只能依赖其训练数据和内部参数（学过的知识）进行推理和生成。会生成一些看似合理但实际上并不准确甚至不存在的信息，出现所谓的“幻觉”。
（2）有了 RAG 的模型回答问题，先查重点再写答案。这个查资料的能力，就是 RAG（Retrieval Augmented Generation），核心是检索与生成，先通过检索模块从资料库中找到与问题相关的内容，再将这些内容与用户的问题一起传递给语言模型，即“用户提示词+查到的内容”。更准确的来说，LLM 具体的输入由几个部分组成：
RAG 后的模型，它接收的输入就是这样一个经过精心构造的文本序列，检索多种信息源保证知识的专业性和全面性，检索 query 相关的历史对话保证回答的准确性，最终增强大模型生成回答的准确性（即"检索增强生成"）。
这样就解决 LLM 本身的 2 两大局限：
（1）知识是静态的：在完成训练后，大模型的知识会被“保存”在其参数中，无法自主更新新闻、文档或业务相关的信息。RAG通过外部知识库动态检索相关信息，把这些信息拼接进当前输入，保证提供给模型的背景信息的深度和广度。
（2）上下文窗口限制：大语言模型一次只能“看”一定长度的文字，就像人的视线只能看到一定距离内的物体。这个能看多少字的长度叫做上下文窗口，比如，模型的上下文窗口3是4000个字（tokens），它一次最多只能处理4000个字的内容，如果你给它的输入超过4000个字，它只能看最靠近最后的4000个字，前面的就看不到了。
举个例子，假设你和模型聊了很久，历史对话有1万个字。但模型一次只能看到最近4000个字的对话内容，之前的6000个字它“看不到”，就像被遮住了。所以，模型回答时只能基于最近4000个字里的信息。你当场提问，RAG 当场就去历史对话和外部知识库里检索相关资料，从里面“挑出最重要的部分”，拼成一段不超过4000字的内容，模型虽然还是只能看到4000字，但这4000字是“精选”的，包含了对回答最有用的信息。
模型本身的上下文窗口大小没有变，但是 RAG帮你从历史和知识库里选取重要内容，拼成模型能处理的长度，让模型“看到”更有价值的信息，所以回答质量大大提高了。
最后才是用户直接接触的部分，产品的门面——包括界面设计、交互逻辑、功能设计以及用户体验优化。
并不是否认用户体验的重要性，再强大的模型，如果用户在实际使用中觉得操作繁琐或功能不够贴心，都会影响产品的最终价值。但是在如今在移动互联网时代，我们已经积累了相当成熟的 UI/UX 技术，用户体验层已不是瓶颈。
四个层面环环相扣：大模型提供底层能力，微调让能力适配场景，RAG 保证信息专业性和全面性，而应用层则将技术转化为用户价值。
在充分理解 RAG 的重要性之后，接下来我们将探讨如何最大化其潜力：有效的 RAG 实施不仅依赖于合理设计的提示词，还需要一些优化技巧（考虑数据质量、格式选择、tokenn 限制等因素），才能确保系统能够准确、有效地生成所需信息。
提示词 1：需求识别/query 改写+精准回答
问题的表述方式对回答质量有直接影响。如果用户提出的问题过于宽泛或模棱两可，RAG可能会因为缺乏明确的方向而给出不准确甚至错误的回答。优化问题表述不仅能够减少歧义，还能让 RAG更专注于检索到的信息，避免它凭空“脑补”或编造内容，从而提升回答的精准度。
用户想了解 [ X ]，但他在表达问题时，可能存在模糊或隐含的意图， 需要你先通过精准的语义分析来识别其真实需求，再结合以下知识库的内容，给出最清晰、最准确的回答。
应用场景：
(1) 问题过于模糊：当用户的问题缺乏明确指向时，RAG可能会因为信息检索范围过大而失去焦点。 例如，“如何提高效率？”这样的提问很难得到有价值的回答。结合上下文将 query 改写为“在知识管理系统中， 如何利用 RAG 技术提高信息查询效率？”，问题的范围和上下文就清晰了，回答也会更有针对性。
(2) 开放式提问：开放式问题通常可以回答的维度过多，容易让模型生成泛泛而谈的空话、套话。例如，“RAG 的优势是什么？”结合上下文将 query 改写为“在处理非结构化数据时，RAG 相较于传统检索系统有哪些具体优势？” 引导 RAG专注于特定领域，给到言之有物的具体回答。
提示词 2：先分析推理再回答（COT）
在处理复杂问题时，信息量过大往往会导致模型缺乏逻辑性，给出混乱甚至错误的答案，可以强制 RAG 先分析问题，再逐步生成答案，进而减少模型出现幻觉的概率。思维链 (Chain-of-Thought) 就是让模型先按照明确的步骤进行推理，而不是直接跳到最终答案。
这是用户的问题 [ X ]。用更简单的语言总结用户问题；挑选出最相关的文本片段。把这些片段整理成逻辑清晰的大纲，基于大纲撰写一个完整、连贯的答案。请展示你的推理过程，并提供最终精炼后的答案。
应用场景：
常用于对准确性要求较高的任务，例如金融分析、法律咨询、医学诊断等复杂场景，错误或不严谨的答案可能带来严重后果。 需要模型有更强的逻辑能力（先列大纲保证结构清晰），为用户提供更加真实和精确的答案。同时，推理过程透明可见，如果答案有错，也能轻松定位问题。
提示词 3：让模型学会"say no"
这是用户的问题 [ X ]。如果你没有检索到相关的信息，请直接回答“我没有相关信息”，如果你有足够的信息来回答，就基于信息正常回答。
应用场景：
(1) 在智能客服场景中，用户提出的问题可能超出知识库范围。此时，让机器人它直接礼貌地说明“当前信息不足，无法准确回答”，并引导转人工，可以避免对用户的误导。
(2) 在研究分的场景中，例如市场分析或科学研究，需要严谨的数据支持，该提示词优势则更为明显，它只会基于检索到的可靠信息生成答案，不了解的予以回答。这种机制能够确保输出结果的可信度，避免因错误信息导致决策偏差。
（1） 清理和整理 RAG 数据源 ：可以设定规则确保检索出的信息足够精准，并过滤掉无关内容，提高系统整体的准确性。比如，在一个电商产品知识库中，定期删除已下架产品的信息，避免 RAG 在回答关于产品的问题时引用到无效内容。
（2） 限定回答的输出格式 ：不同的内容类型，适合不同的输出格式。在某些情况下，调整提示词结构能显著提升 RAG 的回答质量，如：
要点式总结 ：适用于技术性内容，能让信息更清晰易读。比如总结代码技术文档时，用要点式列出关键代码功能、使用方法等。
请以要点的格式总结检索到的代码文档：
- 代码功能
- 使用方法
- 注意事项
问答结构（Q&A）：适用于 FAQ 或知识库查询，便于模型精准匹配答案。像常见问题解答系统，直接采用一问一答的格式让 RAG 更高效地给出回应。
请根据以下常见问题提供答案：
- 如何安装软件？
- 软件的系统要求是什么？
- 如何联系技术支持？
- ...
表格格式：适用于信息比对，比如产品参数、数据分析等场景。在对比不同品牌产品参数时，用表格呈现数据，RAG 能更直观地进行分析和回答。
请比较以下三款手机的参数，并以表格形式呈现：
- 品牌A：型号X
- 品牌B：型号Y
- 品牌C：型号Z
（3）对信息进行精简，以减少 tokne 占用：通过摘要或预处理方法来精炼信息，确保 RAG 接收到的仅是最重要的数据。例如，在处理一篇冗长的新闻报道时，首先对其进行摘要，并提取出关键内容，然后再交给 RAG 模型，这样既能够保证信息的全面性，也不会超出 Token 的限制。
（4）加入审核机制，确保答案可靠：在处理高风险场景时，比如法律、医疗、金融领域，仅依赖 RAG（检索增强生成）技术自动生成的答案并不够可靠。为了提升输出的准确性和可信度，需要引入额外的审核机制。这里可以采用两种方法
两种方法各有侧重，可以根据场景需求组合使用。辅助模型审核适合大规模内容审查，效率较高；人工复核则适用于关键环节，确保最终输出万无一失。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。