新功能上线后，如何从数据的角度去评估该功能的效果如何？作者提出了产品功能分析的“三板斧”，分别是明确功能、梳理指标、对比效果，并以快手购物车功能为例进行案例说明，感兴趣的伙伴一起来看看吧。
如果你是一名BP在产品业务线的数据分析师，那么你会经常遇到产品更新迭代后加入一些新的模块或功能。当一个新的功能上线后，我们需要从数据的角度去评估该功能的效果如何。本篇将给大家分享作为一名产品数据分析师或者产品经理，如何从专业角度利用数据分析评估产品新功能的效果。
首先先给大家分享两组数据，一个来自微软，一个来自亚马逊。
在微软团队内部公认比较OK的想法，真正实施以后：大约有三分之一起到了预期效果，三分之一的想法没有产生明显影响，还有三分之一反而会起到了负作用。
亚马逊大约有60%到90%的想法，是无法改善他们的产品的。
所以，关于产品验证环节上，大家不要过于盲目自信，应该从扭曲力场中回到现实了。
所以，作为一名合格的产品分析师或者产品经理，必须学会在产品迭代的环节中，适时地对改版效果进行衡量并确认进展，这样才能更好地了解迭代对产品本身起到的作用。
那么，在一次产品改版之后，我们应从哪几个角度去入手，才能更好地评估一个功能的具体效果呢？
整体来说，我们可以分三个层次去度量评估。
接下来，我们针对每个层次展开来说。
黎巴嫩诗人纪伯伦曾经说过一句非常有哲理的话，“我们已经走得太远，以至忘记了为什么出发”。
同样，对于任意一款新产品，不管是大版本迭代升级，亦或是只增加一个小功能的升级，我们首先需要回归初心去思考，为什么要增加这个新功能？也就是增加这个新功能的目的是什么？
比如在一款APP中增加评论功能，可以丰富用户互动行为，从而增加用户粘性带动大盘活跃；再比如电商类APP中上线秒杀功能，挑选某些商品参与特价秒杀，从而在短时间内促进用户转化，提升大盘GMV。
弄清楚上线新功能的目的之后，接下来有同学迫不及待地会问，怎么样才能知道该功能有没有达到目的呢？这个问题我们翻译过来就是：通过哪些指标能够衡量新功能的目标。
正所谓无法定义就无法度量，在实际业务中，对于所有的功能，我们都需要有一些明确的指标来进行衡量。举个例子，我们想要上线一个新功能来提升用户满意度，这个时候我们就需要首先明确什么是用户满意度，使用频次增加？停留时长增加？还是留存率提升？
对于这些功能指标，我们可以分为三大类：结果指标、基础指标和护栏指标。
1. 结果指标
结果指标很好理解，就是看新功能对大盘的贡献情况。比如上线新功能的带来的DAU在大盘DAU中的占比是多少，或者新功能带来的GMV在大盘GMV中贡献占比是多少等等。
2. 基础指标
基础指标，就是监测该功能的日常表现，具体又可以分为横向指标和纵向指标。那么如何区分横向指标和纵向指标呢？当一个产品增加某个新功能，一定会在用户使用路径中（UJM模型）体现出来。比如下面这张图，展示的是简化版的用户使用路径，以及增加了某个新功能D之后的使用路径。
所谓纵向指标，就是指当前功能的 UV、PV等指标，对比上一层的漏斗（渗透率）以及留存率相关的指标。纵向指标的目的是度量该功能本身流量的大小以及相较于上一层级的留存情况。
那什么是横向指标呢？从图中我们可以非常清晰的看到，对于某个特定的功能（比如功能D），用户从开始使用到使用完成，经过的过程依次是“进入该功能”→“在功能中停留、点击、消费、跳转等一系列行为”→“退出该功能”。
相应地，该功能横向指标包含用户使用路径中的常用行为指标，比如页面的CTR、页面停留时长、页面跳出率等。横向指标的目的是度量用户在产品中的操作步骤或使用路径，分析用户的消费情况。
横向和纵向分析相结合，就能比较清楚地了解当前功能的效果。
3. 护栏指标
可能你看到“护栏指标”这几个字会比较懵，会疑惑什么是护栏指标。通俗来说，是一种对功能效果评估补充的服务层指标。
举个例子，某APP上线了某个新功能，但是该功能占用的服务器内存特别大，虽然功能效果很好，但是经常会导致APP白屏或者闪崩。这时候，我们就需要从服务器层面，去监控比如“新功能失败率”这样的指标。而这些指标就是护栏指标。
护栏指标的意义在于，我们不仅能从大盘贡献和基础功能层面去评估某个新功能的价值，还可以从服务层面保证用户体验没有下降（比如打开某页面等待时长没有从1s上涨至5s）。因为往往很多时候，功能有没有效果还不是那么重要，如果我们从最直接的交互上损害了用户的体验而导致用户流失，反而是最得不偿失的。
但我们也不需要过于紧张，并不是所有页面和功能都需要护栏指标。比如常见视频的播放、页面的加载、活动的下发等，这几种往往需要监控一些失败率及大盘上的加载效率。而一些小功能的添加，只需要监控最基础的页面白屏率就可以了。
明确功能目标以及衡量目标的数据指标之后，最后我们需要判断该功能的效果如何。数据分析中有一句名言：没有对比就没有结论。想要明确功能效果，必须进行对比。
那么跟谁进行对比呢？
两种思路，第一种，向外看，我们可以和竞品（如果能够拿到数据）进行对比；第二种，向内看，用一段周期内使用该功能的用户对比未使用该功能的用户之间的数据进行对比，也就是大家经常听到的A/B Test。
快手是一款短视频APP，相信大多数人应该都不陌生。当我们浏览短视频时，视频左下角会有一个“购物车”的小按钮，接下来我们就以“购物车”功能为例，来看一下如何分析该功能。
为了帮助大家更好的熟悉该功能，我们先来了解一下它整体的操作路径：
需要注意的是，并不是所有视频都会有购物车按钮，只有部分视频中会有该功能。这个应该是由号主自主选择设定。当我们点击“购物车”按钮后，会自动跳转到商品列表页，点击“抢购”按钮后跳转到商品详情页，在商品详情页右下角可以选择付费购买。
了解了该功能的使用路径之后，接下来我们按照刚才给大家介绍的分析“三板斧”，分层级进行实操。
大家都知道，“购物车”功能多存在于电商类购物APP中，对于一个短视频APP加入“购物车”功能，很明显是为了支持其电商业务的发展。
因此，我们可以很明确地知道，快手加入这个功能主要就是为了增加其收入，其次附带功能是提升用户的活跃和留存。
因为“购物车”带有种草功能，用户通过观看视频种草后可以将商品加入购物车，而后决定是否购买。久而久之会不断扩展用户的使用需求，从而提高用户的活跃度和留存率。
功能指标又可以分为三个层级：大盘指标，基础指标，护栏指标。
首先我们要拆解大盘贡献。通过上一步，我们可以确定该功能主要目标是提高平台GMV，次要目标是提升用户活跃和留存，因此和大盘指标有联系的对应三个指标：收入（GMV）、使用该该功能的UV、PV等、该功能的大盘留存率。
GMV 可以度量该功能能够为快手平台整体商业化带来的收入；
使用该功能的UV可以度量大盘中有多人会使用该功能，从而度量该功能对于拉升大盘活跃的贡献；
大盘留存率可以通过对比未使用该功能的用户的大盘留存率，度量该功能对大盘留存率的提升。
其次我们要度量该功能的基础指标。纵向上，我们需要明确地知道各个页面的 PV、UV，以及整体的功能留存率；横向上，我们需要知道各个页面中商品的点击数、各子模块的点击数、页面的停留时长、页面的跳出率等。
纵向上度量流量的大小，横向上度量用户消费的情况，建立一个当前功能的页面漏斗，为后期迭代做好数据准备。
最后我们还需要分析护栏指标，对于一个短视频平台来说，视频是核心，因此宁愿没有“购物车”功能也必须保证视频正常播放。“购物车”功能应该是嵌入在一个播放容器中，所以我们可以分析以下几个护栏指标：播放器加载成功率、视频播放成功率以及该功能的打开成功率。
播放器和视频播放成功率是为了保证视频的播放不受该功能影响，而“购物车”打开率则是为了监控该功能的稳定性。
首先可以向外看做竞品对比，比如可以对比抖音和视频号的“购物车”功能，或者其他直播中类似的带货数据的对比。
其次我们重点来说一下内部对比，内部对比也可以分为几种对比角度。
页面及功能之间的对比。比如页面的哪些功能数据相比其他页面更好，我们可以以实际产生的收入来作为衡量标准。因为有的漏斗虽然量少，但是转化很高，有的则相反。
商品之间的对比。比如同类型的产品，我们在哪些视频中卖的更好，哪些视频中卖的效果不好，这就是商品和视频的匹配度问题。在上架商品时，我们可以推荐或者引导号主上架的商品类型。
受众之间的对比。同一个视频，同一个商品，对于不同用户的购买率如何，一定会有差异，那我们如果为了提高 GMV，视频推荐策略中是否需要考虑到这个特征。
对于页面和功能之间的对比，通过漏斗和转化率，我们可以知道每个页面的哪些环节需要优化；对于商品之间的对比，我们知道不同人群对商品的喜好，从而在不同渠道投放商品时更精准；对于受众之间的对比，我们可以知道不同人群对商品的价格敏感情况以及商品的偏好情况，从而制定千人千面的营销策略。
做完这三步，针对该功能初步的分析也基本完成了。
既明确了分析目标，又建立了度量标准，从而得到了效果结论。后期随着业务的发展，我们还需要继续在此基础上不断迭代优化。
本文由 @知了数据分析 原创发布于人人都是产品经理。未经许可，禁止转载。
题图来自Unsplash，基于CC0协议。
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。