在大语言模型主导的AI时代，如何确保Agent应用层的稳定输出成为关键命题。本文系统拆解Agent评测体系的构建逻辑，从过程指标与结果指标的双重视角，揭示如何通过标准化测试收敛概率模型的不确定性。更包含评测集构建、自动化评测实施等实战方法论，为AI产品落地提供可复用的质量保障方案。
LLM（大语言模型）本质上是概率，Agent作为应用层，必须通过标准化测试来收敛这种不确定性，确保产出符合业务SOP。
Agent 评测是一个迭代的过程，旨在为 Agent 的持续优化提供明确方向。好的指标能准确的判断当前Agent是否符合业务预期，并且能快速定位到需要优化的点去进行优化。
接下来将详细说明评测如何进展。
指标分为2种，结果指标和过程指标。
过程指标是即Agent运行过程中，是否按照预期路径来执行，是否调用某工具，是否搜索了知识库，过程指标就是为了防止Agent使用“邪门歪道”来完成任务而导致结果的不可信，不然很可能结果全对，但是过程全错。
举个现实的例子：某销售经理为了完成月100W的销售额，花了公司200W的营销预算，最终达成了目标。
还有很多过程指标，可以按照业务的需求来定义。
结果指标顾名思义，得出的结果是否符合预期。以下是一些通用型的指标：
当然，除了针对Agent回复内容做出分析以外，也可以针对用户提问做出分析，以此来评判是否需要在用户问题上做出优化和引导。
例如用户的问题是否清晰、意图是否明确、上下文是否完整等。
指标确认后，需要确认评分的维度，不同的指标对于结果的评估方式是不同的。
常用的评分维度包括:
完全肯定或否定，即非是即否，例如是否调用工具、是否遵守安全规范等。
有的不能完全用是否判断的，可以用打分评估，例如：准确性、相关性、流畅度
按照1-5分进行打分，其中5分表示非常流畅自然，1分表示生硬不通顺
还可以做一些区间指标，例如响应时长:
指标和评分维度的设定并不是一成不变的，甚至同一个数据集，需要分析的方向不一样，设定的指标和评分维度也会不一样。
举个例子：一份客服智能体回复的评测集，要评测回复质量，直接沿用上述的指标即可，但是要评测某一个具体的方向，例如要找到Agent回答错误的原因：可能就需要开放性的问题+几个筛选项了。
query意图是否完整-单选
-语义完整
-语义不完整
query语义不明类型-单选
-上下文缺失
-单词有歧义
-query无实际意义
-query带错别字
当前query还有哪些问题-开放性问题
在指标和指标评分维度确认后，去收集评测数据。
评测集就像考试的考题一样，需要覆盖重点考察的知识点。一份好的评测集，需要有足够的真实度和场景覆盖度。数据来源通常有以下场景：
这是最有价值的数据来源，可以直接获取历史真实业务的数据作为基础，例如:
针对一些低频但高风险的场景，需要人工构造测试用例:
利用大模型生成测试数据，但需要人工审核确保质量。
举个例子:
由于评测的方向和目标的不一致，评测集的使用方式也不一样，例如，原始数据为：获取了线上3个月内客户咨询的1000组对话。
要评估走向人工答复的原因，则可以筛选出对话最终走向人工的对话；
要评估Agent拒答的原因，则可以筛选出Agent回复类似，很抱歉，对不起…
有了指标和评测集，接下来就是执行评测。评测执行分为人工评测和自动化评测两种方式。
人工评测适用于初期验证和复杂场景判断。通过人工对比Agent生成的内容与标准答案，对结果进行各项指标的打分。
即评测集包含：用户提问/Agent答复/标准答复。
然后将评测集分发给多位参与评测的成员，人工判断Agent答复的内容与标准答案进行打标，最后按照打标结果进行分析。
自动化评测适用于大规模、高频次的评测场景。
在设定好了指标和评分维度后，利用另一个大模型作为”裁判”，评估Agent的输出质量:
评测提示词示例：
对比人工评测和自动化评测，各有优劣。
人工评测依靠的是主观的判断，很容易因为人为因素而影响判断和最后的结果，因此会采取交叉评测的方式来降低这种影响；
而自动化评测，本身命题是否成立还有待商榷，用AI评价AI生成的内容，可靠性能到多少？
评测执行完成后，即需要对打标的内容进行汇总分析，找到本次想要验证和优化的点。
通过计算各项指标的：平均值、加权平均值、中位数、标准差、分布区间等，看出Agent输出是否稳定，最终结果是否在预期范围内等；
根据某个问题的打标占比，找到解决问题的方向；
将问题进行分门别类的归纳并对应寻求解决方案，在之前的文章中，也提到过部分优化的方案：
例如：
最后即是针对性的做调整、优化后，新一轮的迭代、上线、观测、评测、再次迭代的流程了。
Agent评测是一个系统工程，不是简单的打分游戏。一个完善的评测体系，需要合理的指标设计、高质量的评测集、科学的执行方法、深入的结果分析，以及持续的迭代优化。
在实践中，通常会遇到各种各样的困难和挑战:评测标准的主观性、评测成本的高昂、真实场景的难以模拟、模型黑盒的难以诊断等。但这些都是正常的，关键是要有系统性的思维和解决问题的方法论。
借用一句话:“没有度量，就没有改进。” 只有建立系统化的评测体系，才能真正驾驭Agent，让AI为业务创造价值。
本文由 @诸葛铁铁 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。