AI产品的技术指标再亮眼，也可能与商业目标南辕北辙。本文揭秘谷歌决策智能理论的三层指标体系：从定义北极星指标到选择代理指标，再到设置不可逾越的护栏红线。一套画布工具助你在项目启动前就对齐业务与算法团队，让AI产品真正创造可衡量的商业价值。
你的AI智能体上线了。产品数据看起来不错：准确率80%，响应时间200ms。
但业务方问你：”这个智能体对我们的订单量有多少帮助？”
你卡住了。
这是99%的AI产品经理都在经历的困境：算法指标看似亮眼，但产品却无法转化为商业价值；或者指标持续向好，业务表现却某天突然崩盘，原因还无从追溯。
根本原因不是你的执行能力差，而是你用错了框架。你用的是”从技术倒推指标”的思路，但应该用的是”从商业决策正向定义指标”。这就是评测驱动开发的核心。
问题不在指标本身，而在于你选错了要优化的度量衡。用专业术语说，你选的是离线算法指标（准确率、响应时间），而业务真正关心的是在线业务指标（自主解决率、客户满意度、成本节约）。这两者之间有隐形的鸿沟。
这就是为什么需要评测驱动的思维。它有个核心框架，来自谷歌首席决策科学家Cassie Kozyrkov的决策智能理论。
第一层：定义真正的商业目标（北极星指标）
不问”我们要做什么”，而问”我们要做什么决策”。
以客服智能体为例。业务方的真实目标不是”让智能体更聪明”，而是：减少人工客服成本，同时维持或提升客户满意度。
这就是你的北极星。它可能很难在两周内精确量化，但它指明了方向。
第二层：选择代理指标（能快速测量、直接优化的指标）
代理指标是连接”技术能做的”和”商业想要的”之间的桥梁。
要找对代理指标，关键问一个问题：我假设哪个指标的提升，最有可能推动北极星指标的增长？
对于客服智能体，可能的代理指标包括：自主解决率（用户不需要人工转接）、首轮解决率（用户第一次对话就得到满足的比例）、用户满足度评分（用户对回复有帮助的占比）。
这些指标有什么特点？可以在A/B测试中快速观测；与北极星指标有逻辑关联；是可以明确指导算法团队优化的方向。
不选算法准确率，是因为一个智能体的回复可能语法正确、逻辑完整，但就是没有人话感，导致用户不相信它的答案。
第三层：设置护栏指标（绝不能恶化的红线）
这是最容易被忽视，也是最容易出事的一层。
在优化代理指标的过程中，你要确保：
这些护栏指标就像高速公路的边界线。算法团队可以在这条线内尽力加速，但不能越界。
知道理论还不够。关键是你必须在项目启动前，与业务方、算法团队一起，用一张表把这三层指标确定下来。
这就是AI产品指标体系设计画布：
AI产品指标体系设计画布
[1] 商业目标(北极星)
我们追求的最高层次目标是:
□ ________________________
如，降低客服成本30%，同时保持NPS > 8.5
[2] AI系统的具体动作
这个AI功能要做的事是:
□ ________________________
如，自动回复客户订单问题
[3] 代理指标(可快速测量的短期指标)
我们相信以下指标提升会推动目标达成:
□ ________________________
如，自主解决率（无人工转接的对话%），目标值: 从30% → 50%
[4] 护栏指标(绝不能恶化的红线)
在优化过程中,这些指标不能变差:
□ ________________________
如，误解率（智能体理解错意图的%），红线: 不能超过 5%
[5] 假设验证
如果代理指标提升X%,我们预期:
• 目标指标变化: ___________
如，成本降低降低25%，客户满意度提升5%
• 验证方式: _______________
如，方式：A/B测试，时长：3-4周，成功判断标准：同时满足上述两个条件
怎么用这张画布？
第1步（启动前）：与业务方一起填写。目的是达成共识。
问题会很尖锐：
这些问题很烦人，但必须问。不问清楚现在，你就会在3个月后，看着一堆漂亮的数据，却听不懂业务的抱怨。
第2步（开发前）：与算法团队对齐。
把画布丢给算法负责人，问：
目的不是为了为难他们，而是确保他们理解”我们为什么优化这个”，而不是盲目追求模型精度的最大值。
第3步（全量上线前）：检查A/B测试方案。
有人会说：这不应该是数据分析师或算法团队的职责吗？
不对。因为：
评测驱动开发，本质上是一种以终为始的思维。你不是在做最好的技术，而是在做最有用的产品。
对于AI智能体这种不确定性很高的产品，这套框架就像一个指南针。你知道往哪个方向走，知道什么是偏离，知道什么是成功。
不靠这个框架去做，你就在赌。用上这个框架，你就在设计。
本文由 @辛康在进化 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。