在AI+产品的开发中，数据漂移（Data Drift）因其隐蔽性和普遍性，成为一个绕不开的话题。这篇文章就来聊聊关于数据漂移的特点、影响和应对措施。

先来看一个案例：产品经理小明，被公司要求上线一个AI客服问答的功能。这是他第一次接触AI类的产品开发，小明根据以往产品开发的经验，设计功能、与开发团队对接、验收通过之后，成功为公司上线了能回答客户常见问题的AI客服。

但是上线没多久，出乎小明意料的情况发生了：越来越多的用户开始抱怨这个AI客服的回答不准确，甚至有时完全答非所问。小明非常惊讶：明明模型和产品设计都没有发生变化，为什么上线前非常“聪明”、对答如流的大语言模型，上了线之后就变得“迟钝”了呢？

这涉及到我们今天要讨论的主题：数据漂移（Data Drift）。

一、数据漂移：AI产品“独一份”

什么是数据漂移（Data Drift）？

从机器学习开始，数据漂移的现象就为研究者发现。它指的是在AI模型训练时，（随着时间的变化）训练时的数据和实际应用场景中的新数据之间产生了显著变化，而且这种变化会导致模型性能下降，表现为输出的准确性下降、相关性下降或预测效果的减弱。

数据漂移通常会表现为两种形式：特征漂移和目标漂移。

• 特征漂移（Feature Drift）指的是模型输入数据的统计特性发生变化。比如，某个字段的数值分布变了，或者输入数据的结构发生了变化。比如零售行业中某AI推荐系统在假期期间表现下降，原因是用户在假日中的行为习惯（新数据）和他们的日常购物习惯（训练数据）发生了明显变化。又比如，企业内部RAG模型使用的知识库没有随着业务更新而更新，导致生成的答案失去时效性和准确性，等等，这种都属于数据的特征漂移。
• 目标漂移（Label Drift）指的是模型预测目标本身的定义或含义发生变化。比如某保险公司AI客服在新政策推出后无法准确回答相关问题，因为用户的问题和政策的重点发生了变化。又比如，情感分析模型在社会热点事件期间表现不佳，因为“积极”或“消极”评论的语言风格发生了变化。

数据漂移在不同的行业中表现不同，但它们的共同点都会影响产品的准确性和用户体验。

回到上面产品经理小明的案例，由于小明上线前所采用的用户提问训练集（训练数据）比较老旧，并没有覆盖真实用户的所有问题类型，所以才导致训练集和上线后真实用户提问（新数据）之间存在明显的差异。这就是一个典型的由特征漂移引发的问题。

数据漂移还有以下三种特点，让人不得不防：

1. 不确定：AI模型依赖数据“学习”，而数据的变化会直接改变模型的有效性。传统互联网产品中，逻辑和功能是固定的，而AI产品却需要应对变化。
2. 隐蔽：通常需要通过一段时间监测或用户反馈才能间接发现。
3. 普遍：几乎所有涉及AI的应用——从客服机器人到预测分析——都可能受到数据漂移的影响。

二、产品经理能做什么？

既然数据漂移普遍又隐蔽地存在于各类AI产品之中。那么，产品经理在面对数据漂移时，能够做什么呢？

1. 建立高效的用户反馈机制：前面提到“数据漂移”的一个重要特点就是“隐蔽”。如果我们在产品上线后没有有效的手段对用户的使用情况进行跟进和反馈，就很有可能错失调整的最佳时机。所以，想办法及时获取真实用户的使用信息很重要。比如设计反馈按钮，收集“无关”或“不准确”的问题；或者设定并持续跟进体验指标（如回答准确率、用户满意度等），都是不错的方式。
2. 建立知识更新的规则：和技术/业务团队规定知识库的更新频率和方式，确保知识库的时效性。比如，让技术团队通过一定的技术手段自动同步企业知识库，确保RAG模型能实时检索最新信息；或者与支持内容的团队约定好更新知识库的周期。
3. 周期性重新训练模型：当然，最直接改善数据漂移的方法自然是定期更新数据集并优化模型。不过这通常需要公司有足够的算法支持的资源。如果没有的话，做到第1、2点也能很大程度改善数据漂移的问题。

三、反思

我们团队在刚刚接触AI产品之初，也倍受“数据漂移”的困扰。不过研究和处理这个技术现象的过程，也让我们对如何做好AI产品有了更多的反思，总结并分享如下：

1. 接受AI产品的不确定性

和传统互联网产品相比，AI产品的动态变化和不确定性都要高得多，往往在上线需要持续优化并适应动态数据环境。产品经理需要学会面对和管理这种不确定性。

2. 破除“上线即完成”的行为惰性

其实，无论是互联网产品还是AI产品，“上线”都应该只是起点，而非终点。尤其是AI产品中，运营迭代的重要性不言而喻。持续地做好用户数据的监测、反馈机制以及优化要贯穿于整个产品的生命周期之中。

3. 产品经理是一个跨职能、高延展的岗位

数据漂移的解决并不只是有技术改造一个方式，业务理解、知识团队的协作都可以解决这个问题。但这也要求产品经理自身对业务需求、用户反馈和技术实现都有充分的理解。在AI产品中，对产品经理跨界的学习和协作能力提出了更高的要求。