随着人工智能技术的飞速发展，AI在搜索和知识问答领域的应用越来越广泛。然而，企业在利用AI提升客服效率时，常常面临诸多挑战，如客服培训成本高、培训效果不稳定等。本文将介绍一种通过模型微调和检索增强生成（RAG）技术优化AI搜索/知识问答的方案，旨在解决这些问题，提升企业客服的效率和准确性。

关键词：模型微调（规范回复结构）、检索增强生成RAG（解决模型幻觉）、提示词优化（解决模型幻觉）

一、项目背景

很多企业都有自己的业务文件，客服人员需要进行长时间学习和培训才能熟悉这些文件，然后基于这些文件给客户进行答疑。

二、用户痛点

对于企业：培训时间长，对企业来说成本太高；

对于客服：培训效果不能保证，实际业务中客服还是会遇到不熟悉的问题，无法快速专业地作答。

三、我的职责

从0-1负责知识库项目，从产品方案设计-研发支持-产品验收-协助运营POC。

知识问答模块的优化由我独立负责方案设计与执行，实现从需求分析 → 技术选型 → 模型设计 → 工具搭建 → 效果验证的完整闭环。

四、【知识问答】设计方案BEFORE———Prompt

1.设计思路

1>编辑提示词

2>配置大模型API

3>客服输入问题

4>大模型总结答案

5>输出结构式回复

2.存在的问题

问题1：输出结构不稳定

分析原因：这是由于模型的忠实性幻觉导致的，虽然提示词里明确给出了回复结构的示例，但是模型并未严格遵循。

解决思路：可以通过指令调优的方式进行模型微调，解决这个模型幻觉问题。

问题2：对于同一个问题，有时候回答正确，有时候回答错误

分析原因：这个问题也是由于模型的忠实性幻觉导致的，是推理过程出现了问题。

解决思路：可以通过优化提示词的方式进行处理。

问题3：一句话里包含多个问题，但是模型只回答了其中一个问题

分析原因：这是由于模型推理过程导致的幻觉，忽略了前面的问题，只聚焦在后面这个问题上。

解决思路：采用RAG技术，将用户问题进行重写，让模型清楚地理解用户问题。

五、【知识问答】设计方案NOW——模型微调&RAG

1.方案概述

针对上述3个问题我设计了2个方案，方案一是采用模型微调技术，这个方案是在dify平台实现的；方案二是采用RAG技术，这个方案是在coze平台实现的，下面我进行详细介绍。

2.设计思路——方案一（模型微调）

此方案是基于我在dify平台上创建的聊天机器人进行验证的。

1>准备模型训练的数据

2>模型训练与部署

3>总结回答

通过模型微调，稳定了回复内容的结构，解决上述的问题1。

通过修改提示词，新增思考路径，让大模型根据步骤思考后作答，回复内容不再出错，解决了上述的问题2。

3.设计思路——方案二（RAG）

我在coze平台搭建了一套工作流，具体步骤如下：

1>重写问题

2>知识库检索

3>基于检索内容进行总结回答

通过问题重写，大模型不再遗漏用户问题，解决了问题3。

通过提示词优化，告诉大模型具体的计算规则，解决了问题2。

六、成果与验证

1.方案一（模型微调）

用10组数据进行验证后，对于微调后的模型，无论是结构还是回复内容均正确。

回答正确率从原来的50%提高到了100%。

2.方案二（RAG）

采用RAG技术及提示词优化之后，针对问题2和问题3的回答准确率为100%。

七、项目总结与可迁移性

1.想要同时解决上述3个问题，需同时采用模型微调和RAG技术，当然还有提示词优化。

2.解决了客服问答准确率问题，降低了人工成本；

3.AI系统的提示词优化价值大于技术堆栈本身；

4.此方案可推广至金融、政务、教育等FAQ密集场景。