想提高AB实验的质量吗？本文将揭示如何通过深入的数据分析与用户洞察，产出高质量实验假设，停止无效的实验尝试。
很多人在做实验时，往往从自己的想法出发，觉得设计难看想做更好看的，觉得按钮应该是红色不是蓝色，或者觉得竞品的某个功能不错也想测试一下。
但正确的做法应该是从用户和业务问题出发，比如用户反馈某个流程太复杂，或者数据显示某个关键指标下降、转化率很低等。找对实验的出发点是极其重要的第一步。
1）用户和业务问题出发
实验想法应该从解决用户和业务的实际问题出发，而不是主观臆测。
比如用户反馈称订单提交流程太长影响体验，数据也显示这一步骤的流失率很高，这就是一个明确的优化方向。再比如数据显示搜索准确率较低导致用户满意度下降，这也是一个亟待解决的问题。
2）关键指标分析
另一个实验想法的重要来源是关键指标的变化。
如果一直以来比较稳定的指标如激活率、留存率、转化率等突然出现了明显下滑，或者长期低于竞品水平，这很可能意味着产品设计存在问题，值得深入分析原因并设计实验进行优化。
相反，如果关键指标表现一直很好，可以考虑做一些更长期的实验，尝试引入新功能、新体验。
3）参考最佳实践
除了通过定量定性数据分析寻找洞察，参考相关领域的最佳实践也是一个重要的思路来源。
比如做注册流程优化，不妨先去看看业内卓越的产品是如何设计的，总结他们的特点，再结合自身产品特点，形成优化方案。
又比如想做品类页面重构，可以先研究其他产品的同类页面，分析哪些模块提升了用户的购买意愿，哪些模块可能分散了用户注意力，再对标找寻差距和机会点。
高质量的实验想法，往往能带来显著的结果提升，实验成功率高。
比如测10个实验有4-5个是成功的，而不是大多数都是失败的。
判断实验想法质量的另一个标准是，实验假设是否有充分的数据支持。
一个好的实验假设，往往建立在大量的数据分析基础之上，能够用数据解释为什么会出现当前的问题，以及为什么认为这个实验能够解决问题。
1）单点转化率提升
对于提升单个页面或元素转化率的实验，主要使用定量分析计算转化率、热力图、用户分群等，定性分析包括可用性测试、问卷反馈等，最佳实践有文案、设计、用户心理学等方面的参考。
如”在行”app通过用户调研发现，较长的课时数会降低用户了解课程的欲望。于是他们尝试去掉总课时显示，最终使点击率提升了500%。这一假设的形成正是源于用户反馈的洞察。
2）全路径转化率优化
而漏斗或路径转化率的优化实验，使用的分析方法与前者类似，只是多了漏斗分析、路径设计等数据部分。
例如电商平台斗牛想提高销售额，在下单页面加了一句”平台鉴定通过再发货”，结果下单率提升46%，支付率提升70%。
他们先明确了提升下单率的目标，然后通过用户访谈发现担心假货是一大障碍，由此得出了添加品质保证有助提升下单的假设。
后来斗牛还把多步的结算流程合并，改为支付弹窗，使得支付转化率比原来提高26%。这个想法是通过定量分析发现结账漏斗流失率高，结合”漏斗步骤越少转化率越高”的最佳实践而形成的。
3）新功能或版本的测试
当要测试一个全新的功能或版本时，由于缺乏历史数据参考，需要先尽可能收集潜在用户的反馈，可以通过用户访谈、问卷调查等方式。同时可以参考同类型功能在竞品中的效果，结合自身的差异化定位，形成测试假设。
比如视频网站爱奇艺在上线弹幕功能前，可以先研究弹幕在其他视频网站的使用情况，再结合自身的清晰度、观影氛围的定位，测试弹幕的字体大小、透明度、开关等，以找到最平衡的设计。
1）Canva个人化上手实验
澳洲公司Canva的产品是在线作图软件，它做了一个新用户个人化上手的实验——给新来的用户提供了一些海报的模板，让你们去选，然后再去做你们想做的海报。
这一个非常小的实验发现这个功能本身的激活率提升了12%，同时每年给这个公司带来了上百万的美金的利润。
这样一个看上去不是很复杂的实验，为什么结果这么好？他们是如何找到这样一个高质量的实验想法？
其实就是回归刚才说的，从数据中去寻找洞察。
首先他的目标是提升新用户的激活率，他们通过很多的定量分析就发现在所有开始使用产品的用户中，使用海报功能是最多的，但是很多用户开始使用海报功能之后没有完成就流失掉了。
接下来他们又通过定性分析的方式去寻找原因，他们做了可用性测试，针对流失用户和留存用户做了问卷来进行对比。最终他们得到了一个洞察——来到 Canva使用海报功能的用户，他们做海报的类型五花八门，有的是小学老师给他们班级演唱会做海报，有的是一个教堂想要做一个海报，有的是各种各样其他的原因。如果用户没有找到一个合适的模板能够马上使用，他们马上就走掉了。
市面上很多的产品都有个人化的上手流程，根据用户的目标提供不同的服务。这样的个人化的流程最佳实践一般来说表现是很好的。
所以它结合数据和最佳实践，最终形成了它的实验假设——给用户开发个人化的这个海报模板可以提升激活率，最终实验结果证明了它的假设是正确的。
综上，Canva就通过三步骤——明确目标+定量和定性分析的方式找到问题+参考最佳实践，产生高质量的实验想法。
2）滴滴快车营销页转化率提升
滴滴想提升快车营销页的注册转化率，最终在新版本中突出了明确的价值主张”每天跑一单，油钱轻松赚”，整体设计也更加清晰，重点突出，明确引导用户下一步行动。最终使注册率提升了21%。
那滴滴是怎么产生这样一个高质量的实验想法？
滴滴去参考市面上的一些转化率优化的最佳实践——lift 模型，这是很多公司在进行转化率优化中非常用的一个模型，它强调的就是你要给用户一个清晰的价值主张，这是转化率优化最重要的一个点，之后你要想办法去提高相关性和清晰度。
相关性也就是整个用户流程，用户的针对性，整个漏斗每个步骤之间要一致，不能互相冲突。
清晰度是整个的设计文案，call to action 等等按钮，每一个元素都要非常的清晰。
这两件事儿，就是降低这个用户的焦虑和注意力分散，不要给他太多的信息，太多的选项。
1）三要素的综合利用
定量数据能帮我们发现问题所在，如某个漏斗的转化率很低；
定性数据能帮我们了解问题发生的原因，如转化率低是因为用户觉得操作太复杂；
最佳实践则提供了优化思路，如加个进度条让用户有明确预期。
所以我们要有意识的去应用定量分析、定性分析、最佳实践这样三种数据去给我们的假设提供证据。
2）多轮数据分析提升假设质量
有时我们需要发现问题，分析数据得出初步假设，然后再进行一轮分析排除一些假设，发现质量更高的假设，多轮分析有助不断提高假设的质量。
比如先从整体数据发现问题，形成初步猜想，然后深入分析具体受众、场景，修正假设。接着通过用户调研验证假设，必要时再收集新的数据佐证。层层深入、反复论证，不断提高假设的准确性。
在应用最佳实践时，要根据自身的独特情况，灵活调整，甚至做一些创新的尝试。
比如前面提到”漏斗步骤越少转化越高”是一条最佳实践，但也要考虑步骤简化后是否影响了信息的完整性。
美国房产网站 Redfin 发现，多步注册流程问了用户很多信息，转化率反而更高，因为用户觉得提供了这么多信息，就能得到更个性化的服务。
这个案例说明了过于迷信最佳实践的风险。最佳实践来源于过去的经验总结，但未来的情况可能发生变化，用户需求可能与以往不同。盲目追求最佳实践，反而可能错失机会。
所以，深入的数据分析和深刻的用户洞察，才是提出高质量假设的核心关键。
最后总结一下提升转化率的最佳实践，大概可以分为四个方向：
各种各样的最佳实践其实都是可以从这四个方向去归类思考。
提升用户的注意力，可以采取的最佳实践包括：重要信息放在显著位置、加大重点信息的字体、图片吸引眼球、利用留白突出重点等。
比如可以把按钮设计得更大更醒目，将折扣信息用更大的字体标出，或者在文案前加上表情符号吸引注意。总之要让用户第一眼就能看到最关键的内容。
增强用户的动力，常见的最佳实践有：使用社交证明、制造稀缺感、利用返利或优惠、强调产品价值等。
比如在产品评价中展示用户的好评，在锻炼App中展示其他人的锻炼成果;或者显示”限时折扣”、”仅剩3件”等字样;再或者承诺”买二赠一”、”分享立减20元”等。目的都是激发用户的购买欲和行动力。
降低用户的阻力，可以遵循的最佳实践包括：简化流程、减少填写项、提供客服支持、提供退款保证等。
比如简化注册流程，只要求用户填写最基本的信息；或者在表单旁提供填写样例，方便用户参考；再或者在结算页提供在线客服，实时解答用户疑虑；以及承诺”7天无理由退换”，让用户放心购买。这些做法都能有效降低用户的心理和操作障碍。
除了以上三点之外，还要考虑特殊场景下转化的最佳实践。
比如在移动端要考虑手机屏幕的限制，尽量减少输入，放大按钮；在逢年过节时要结合节日氛围，推出应景的活动;面对不同地域的用户，要考虑他们的文化习俗差异；面对老年用户，要使用更大的字号，更简单的语言。总之要根据实际情况，对最佳实践做出调整。
综上，只有真正从用户视角出发，充分挖掘定量和定性数据，并根据自身情况灵活借鉴最佳实践，才能形成高质量的实验假设，产出最符合用户需求、最有益于业务增长的优化方案。
这需要一个不断试错、持续迭代的过程。但长期坚持下去，必将带来转化率和各项关键指标的显著提升，给产品和运营带来长足进步。
本文由 @小黑哥 原创发布于人人都是产品经理，未经许可，禁止转载
题图来自 Unsplash，基于 CC0 协议
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。