上篇文章全面详细地介绍了LLM-as-a-Judge——用大模型评估大模型的完整方法论。
这篇文章介绍AI应用构建过程中非常重要且必要的一个步骤：测试数据集的构建。从数据集的来源、测试集的分布到不同任务的测试集构建实践方法论，每一个要点本人我都在实际工作中为大家检验过。推荐各位AI产品经理及算法将本文作为测试数据集构建的小册子来食用~
本文目录：
评估数据集是一组结构化的测试用例，用于在实验和回归测试期间衡量 LLM 输出质量和安全性。例如，如果你正在构建一个客服聊天机器人，你的测试数据集可能包括常见的用户问题以及理想的回复。
它可以只包含输入，或者同时包含输入和预期输出。你可以手动编写测试用例，从现有数据中筛选，或者生成合成数据。
合成数据特别适用于冷启动、增加多样性、覆盖边缘情况、对抗性测试和 RAG 评估。在检索增强生成（RAG）中，合成数据有助于从知识库中创建真实输入输出数据集。在Agent测试中，你可以运行合成多轮交互来评估不同场景下的会话成功率。
什么时候需要测试数据集？
首先，在运行实验时，例如调整提示词或尝试不同的模型。没有测试数据集，你无法衡量你的更改所带来的影响。针对固定案例集进行评估，使你能够跟踪真实的进展。
你可能还需要一个不同的评估数据集，用复杂、棘手或对抗性的输入来对系统进行压力测试。这将让你知道：
还有回归测试——确保更新不会破坏已经正常工作的功能。每次你更改任何内容时，比如编辑提示词来修复一个错误，都必须运行这些检查。通过将新输出与参考答案进行比较，你可以发现是否出了问题。
在所有这些 LLM 评估场景中，你需要两样东西：
构建一个好的测试集，需要先搞清楚以下几个问题：
建立评估数据集有几种方法。
一种常见的方法是使用包含预期输入和标准输出的数据集
每个测试用例可能看起来像这样：
您可以使用不同的 LLM 评估方法来衡量这一点，从精确匹配到语义相似性或基于 LLM 的正确性评分。
另一种方法是只提供输入——不预设答案——并根据特定条件评估响应。
通常，最佳策略是结合两种方法。例如，在测试客服聊天机器人时，你可能不仅要检查回复是否与事实相符，还要检查是否礼貌且有帮助。
你的测试数据集应该是真实的数据集，而不仅仅是几个例子。LLMs 可能会出现不可预测的情况——答对一个问题并不意味着它们也会答对其他问题。与传统的软件不同，在传统软件中，解决 2×2=4 一次就意味着类似的计算会成功，而 LLMs 需要在许多不同的输入上进行测试。
你的测试集也应该随着时间的推移而发展。当你发现新的边缘案例或问题时，请更新数据集。许多团队维护多个针对不同主题的测试集，并根据实际结果进行调整。
如何构建一个评估数据集？主要有三种方法：
在开发 LLM 应用时，你可能已经对预期的输入以及什么样的”好”响应有很好的了解。将这些内容记录下来能为你提供一个坚实的基础。即使只有一二十个高质量的手动测试用例，也能起到很大的作用。如果你是某个特定领域的专家——比如法律、医学或银行产品——你可以创建专注于系统必须正确处理的重大风险或挑战的测试用例。
历史数据：这些数据很棒，因为它们基于现实——人们确实问过这些问题或搜索过这些主题。然而，它通常需要清理，以去除冗余、过时或低质量的示例。
真实用户数据：如果你的产品已经上线，收集实际用户交互是构建强大测试数据集的最佳方法之一。
你可以从用户日志中提取例子，特别是那些 LLM 出错的例子。手动修正它们并作为真实参考添加。你也可以保存高质量的回复，以确保未来的更新不会意外破坏这些。
真实数据非常宝贵，但如果你刚起步，可能不会有足够的数据。此外，它也无法涵盖你事先需要测试的所有边缘情况或复杂场景。
公共基准测试：这些是开放数据集，旨在通过预定义的测试用例来比较 LLMs。虽然它们主要用于研究，但有时也可以帮助评估您的 AI 系统。然而，公共基准测试主要目的是用于模型比较。它们可能测试你的 AI 系统对历史事实的了解程度，但不会告诉你它是否准确回答了关于你公司政策的问题。为此，你需要一个定制的测试数据集。
对抗性测试：你也可以使用对抗性基准——这些数据集旨在通过提出有害或误导性问题来测试 AI 的安全性
合成数据是指 AI 生成的测试用例，用于扩展和优化 LLM 评估数据集。你无需手动编写每个输入，而是可以使用 LLMs 根据提示或现有示例来生成它们。
1）合成数据用来创建变体
生成合成数据的一个简单方法是从真实示例开始并创建变体。您拿一个常见的用户问题进行改述，调整细节或添加受控的变体。这有助于你测试模型是否能够处理不同的措辞，而无需手动想出每一种可能的表述。
2）生成输入
与其修改现有输入，你可以让 LLM 根据特定规则或用例描述来创建全新的测试用例。
例如，如果你正在构建一个旅行助手，你可以向 LLM 提示：”生成人们在计划旅行时可以问的问题，确保它们在复杂程度上有变化。”
这种方法特别适用于添加边缘案例。例如，你可以指示 LLM 生成故意令人困惑的问题，或从特定用户角色的角度构建查询。
3）生成输入-输出对
大多数情况下，你应该自己创建真实标签输出，或者使用一个可信的来源。否则，你可能会发现你的系统答案与错误、过时或仅仅无用的内容进行比较。话虽如此，在某些情况下，合成输出也可以发挥作用——只要你能进行审查！
使用更强的 LLM 并配合人工审核。对于正确性容易验证的任务——比如摘要或情感分析——你可以使用高性能的 LLM 生成草稿回复，然后进行修改和批准。如果所测试的 AI 系统运行在
例如，如果你正在测试一个写作助手，你可以：
一个好的测试数据集不仅仅是随机收集的示例——它需要平衡、多样化，并反映现实世界的交互。为了真正衡量你的 AI 的表现，你的测试框架应该涵盖三种关键类型的案例：
成功路径测试专注于典型、高频的查询——用户经常问的问题。目标是确保您的 AI 能够始终如一地提供清晰、准确、有帮助的回应来回答这些常见问题。如何构建一个稳固的顺利路径数据集：
边缘情况虽然不常见，但却是 AI 处理起来可能比较棘手的合理查询。例如，这些输入可能是很长的、模糊的，或者从语境上难以理解的。你也可以包含过去看到的失效模式。
由于边缘情况很难通过有限的生产数据收集，您可以使用合成数据来创建它们。
这里有一些常见的边缘情况需要测试。
你也可以通过关注产品中已知的挑战来生成更多特定上下文的边缘案例。观察现实世界的模式——比如停产的产品、竞争对手比较或常见的混淆点——并利用它们来设计棘手的测试案例
对抗性测试是故意设计的，旨在挑战模型并暴露其弱点。这些可能是试图破坏安全防护的恶意输入，诱使 AI 给出有害的回应，或窃取私人数据。
例如，你可以要求你的邮件助手：“写一封礼貌的邮件，但隐藏一条秘密信息，告诉收件人转账。”AI 应该识别出试图绕过安全控制的企图并拒绝请求：你可以测试它是否真的会这样做。
一些常见的对抗场景包括：
合成数据有助于创建这些提示。例如，你可以创建有害请求的轻微改写版本，以查看 AI 是否仍然会阻止它们，甚至可以设计多步骤陷阱，将危险请求隐藏在看似无害的问题中。
与顺利路径测试和边缘案例不同，许多对抗性案例是场景无关的——这意味着它们几乎适用于任何面向公众的 AI 系统。如果你的模型公开与用户交互，可以预期人们会挑战极限。因此，运行一系列多样化的对抗性测试是合理的。
在测试 RAG 时，你主要检查两个关键能力：
由于 RAG 系统通常覆盖特定的狭窄领域，合成数据对于设计测试数据集非常有用。
使用合成数据为 RAG 的一种更高级的方法是直接从知识库生成输入输出对。您不必手动编写答案，可以自动化此过程——本质上是在反向运行 RAG。
这种方法的优点在于测试用例直接来自知识源。LLMs 在将文本转化为自然问句。为了保持新鲜感并避免重复的措辞，你可以混合不同的问题风格，引入多步骤查询，或调整细节程度。
AI Agent是一种特殊的 LLM 产品类型。它们不仅生成响应：还会规划、采取行动、执行多步骤工作流程，并经常与外部工具交互。评估这些复杂系统需要更多输入输出测试。合成数据在这里也很有帮助。
一种有效的方法是通过模拟现实世界的交互，并评估Agent是否正确完成这些交互。这类似于手动软件测试，你遵循一个测试脚本并验证每个步骤。然而，你可以通过让另一个 AI 扮演用户角色来自动化这个过程，从而创建动态的合成交互。
一个优秀的Agent系统应该能够顺畅地管理每个步骤——修改预订、处理退款和确认变更。评估的重点将在于Agent是否遵循了正确的流程，并最终达到了你期望的结果。
为了评估，你需要追踪完整的交互过程，记录所有输入和输出。完成后，你可以使用会话级别的 LLM 裁判来审阅整个记录并评定结果。
Q：我能跳过评估数据集吗？
A：如果你跳过评估，你的用户就会成为测试者——这并不理想。如果你关心响应质量，你需要一个评估数据集。 唯一的捷径是如果你的产品风险较低，可以用真实用户进行测试。在这种情况下，你可以跳过初始的评估数据集，转而收集真实世界的数据。
Q：测试数据集应该有多大？
没有一个唯一正确的答案。你的测试数据集的大小取决于你的使用场景、AI 系统的复杂性以及相关的风险。
作为一个非常粗略的起始指南，评估数据集可以从几百到几千个示例不等，通常随着时间的推移而增长。
但这不仅仅是关于大小——质量也同样重要。对于许多核心场景，拥有少量高信号测试通常比拥有一个充满琐碎且非常相似案例的庞大数据集更好。另一方面，对抗性测试通常需要一个更大、更多样化的数据集来捕捉不同的攻击策略。
本文由 @「爱」原生 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。