在工作和生活中，有时说话对象的说话顺序不同，会很大程度上影响人们的判断，这就是“顺序效应”，这类“顺序效应”也出现在了问卷调查场景中。那么，“顺序效应”会影响NPS得分吗？一起来看看作者的解读。
试想一下，当你辛辛苦苦排了一个小时的队进到餐厅，坐下正准备点你最爱吃的宫保鸡丁时，服务员跟你说：
“我们的招牌菜是蒜蓉粉丝虾，今天打8折。”
“宫保鸡丁已经卖完了。”
你会不会很失落，甚至有点想换家店吃？
但如果将这两句话的顺序调换一下，你的情绪和想法会有所变化吗？这会不会让你产生“失而复得”的感觉，帮助冲淡一些“坏消息”带来的冲击？
研究告诉我们，说话顺序不同，的确会影响人们的想法和判断，也就是顺序效应（Order Effects）—— 一种事物呈现的顺序会影响人们判断的现象，它出现在我们生活当中的很多方面。
问卷调查中同样也存在顺序效应。一些研究发现，问卷中某些题目或选项的排列顺序会对受访者的答案产生影响。
那么，具体都有哪些题目会受到顺序效应的影响？在测量经典体验指标NPS（净推荐值）时，NPS题目在问卷中出现的先后顺序又是否会影响人们打分的最终结果？本篇文章让我们来共同探讨一下。
在问卷调查中出现顺序效应的原因，有以下两种可能：
认知失调（Cognitive Dissonance）阐述了人的态度变化过程，认为个体对事物的态度和行为间应该是一致的，如果不一致就会产生认知失调，并会导致心里紧张，人就会通过改变认知或行为来重新达到平衡。
也就是说，如果受访者在填答问卷时，对某一看法非常认同，即使他们本身并不那么认同另一个问题，顺序效应可能也会促使他们认同。更微妙的是，一些负面或正面的问题措辞，也会使受访者产生不同的想法，从而影响他们的答案。
美国社会学家霍华德·舒曼和斯坦利·普雷斯特在其著作 Questions and Answers in Attitude Surveys 中指出，顺序效应在问卷中的出现次数不算普遍，但已经有足够的实例表明这种现象并不罕见。
为了更深入地了解问卷中的顺序效应，我们可以先了解它的一种表现形式——总体-具体顺序效应（General-Specific Order Effect），即总体问题（如“你对你生活的总体满意度如何？”）与具体问题（如“你对你的婚姻/工作满意度如何？”）之间的先后顺序会对题目的相关性和平均得分产生影响。
相关性是指2道题目之间的关联程度；而平均得分是指该道题目分数的平均值。
2012年，在美国心理学教授塞斯·卡普兰的研究中，通过在两组调查中（分别为美国6000名军人的总体满意度分析和88位普通职工的工作满意度分析）将总体问题和具体问题的顺序进行调换，他发现，当总体问题排在具体问题的前面时，题目的平均得分较低，但相关性较高。
上述调查的总体问题为“你对你工作的总体满意度如何”；具体问题为“请给你的工作时长进行满意度打分”。
而在另一项由市场研究教授Seigyoung Auh负责的研究（针对191名客户对他们理发师的满意度调研）中，他们发现，当把询问总体满意度的题目放在问卷最前面时，题目的平均得分会更低（约6%）。
但是，如果把具体题目（如“您在多大程度上同意‘我的理发师技艺非常高超’这句话？”）放在总体题目（如“您在多大程度上同意‘总体来说我对我的理发师很满意’这句话？”）的前面时，总体题目的得分会更高，因为这样的排序可能会使题目具备更高的相关性。如果调查领域是涉及电脑或者一些昂贵的家用电器，建议先问具体题目，再问总体题目，这样的话会让答题者感到更自然流畅。
虽然上述两项研究得出的结果不尽相同，但都证明了顺序效应是确实存在的。
现在，针对“客户体验的顺序效应”的研究还不是很多，例如哲学教授詹姆斯·刘易斯早前研究了顺序效应对可用性态度的影响，但在SUS、UMUX和CSUQ这三类问卷当中并没有发现明显的顺序效应。
在NPS方面，至少有CX专家Adam Ramshaw的一份研究报告可以证明，相较于在问卷后期提出NPS的相关问题，当NPS问题出现在问卷前期时，分数会更高。但该报告并没有给出具体数据表明，会造成多大程度的影响。
同时，在包含NPS问题的SUPR-Q问卷中, UX专家赫弗南发现，如果在完成其他7道SUPR-Q题目后，再向受访者提问NPS的相关问题，最终得到的NPS分数会下降。但目前还不清楚，这种影响是一页一题的呈现模式导致，还是网络调查的高流失率引起的。
SUPR-Q问卷，即Standardized Universal Percentile Rank Questionnaire（标准化用户体验百分等级问卷），用于评估网站的感知可用性，考察维度包括可用性、可信度、外观及忠诚度。一般包括以下7道题目：
因此，关于NPS是否会受到顺序效应的影响，我们还需要进一步探究：
2018年11月，杰夫·索罗博士（以下简称博士）对2674名受访者进行了在线调查。博士先让受访者回想最近推荐过的产品或服务，接着又询问了他们向朋友或同事推荐这一产品或服务的可能性有多大。下面，我们将这类与“推荐可能性”相关的问题统称为NPS问题。
博士将NPS问题出现的位置设置为研究的自变量，出现的位置分别在问卷的前期（在40道题目之后）或后期（在72道题目之后）。为此，博士创建了多组问卷，每批受访者将交替看到在不同位置出现的NPS问题。
结果发现，调整NPS问题出现的先后位置并不会产生顺序效应：
1. 通过计算两组的NPS平均得分，得出两组的分数分别为8.8和8.9，两组之间仅有0.1分的差异，且无统计学意义（P=9）。
P值代表概率，反映某一事件发生的可能性大小。统计学根据显著性检验方法得到P值，P值越小，统计学差异越显著，一般认为P<0.05 有统计学差异。
2. 在统计受访者每个选项得分的数据时，各个选项的NPS得分的百分比也非常接近（如下图所示），这表明其他选项的得分也没有受到影响。
图：两组的NPS选项得分统计表
为了进一步探究，博士还统计并比较了亚马逊、沃尔玛、易贝、塔吉特、Spotify和Hulu这6家企业的NPS得分，而后发现，当NPS问题出现在问卷前期时，一半企业的NPS值较高；而当NPS问题出现在问卷后期时，另一半的企业得分较高。也就是说，基于NPS问题出现的时间，没有统计学差异，甚至没有可辨别的模式（如下图）。
图：各公司的NPS得分统计表
在另一研究中，博士探究了SUPR-Q问卷中NPS问题的先后位置对其分数的影响。
研究收集了501名受访者的数据（2018年10-11月），受访者被要求先在6个财经网页和6个餐饮网页中随机浏览一个，然后完成7道SUPR-Q类型的问题和1道NPS问题。
8道问题会同时出现在同一页面上（如下图），但在12个网站中，接近一半的受访者看到的题目顺序会被调换。也就是说，有一半的受访者看到NPS问题出现在问卷的前面，另一半的受访者会看到NPS问题出现在问卷的后面。
该图片由体验家XMPlus翻译
研究发现，两组NPS的平均得分几乎相同（NPS在前的得分为8.26，NPS在后的得分为8.25）。除此之外，其他7道SUPR-Q题目的平均得分也没有差异（SUPR-Q在前的得分为4.25，SUPR-Q在后的得分为4.28，P=641）。
在某些情况下，研究人员希望从SUPR-Q题目中预测用户的NPS得分（例如从网站的可用性和可信性分数来预测NPS得分），以此来观察相关性是否会因为问卷题目的不同呈现顺序而产生不同的影响。在这次研究中，博士得出了一个新发现：
当NPS问题在问卷的前面（开头的位置）时，比它跟在7道SUPR-Q题目的后面具有更高的相关性。数据显示，在5道题目中，当NPS问题在其余4道题目的前面时，调整后的R方为40.2%；而如果NPS问题跟在其余4道题目的后面，调整后的R方就下降为32.6%。
R方(R-squared)是一种衡量相关性的指标，一般用于回归模型中来评估预测值和实际值的符合程度。调整后的R方（Adjusted R-squared）同时考虑了样本量和回归中自变量的个数的影响，较R方的测算更为准确。调整后的R方越大，表示模型拟合度越好，可解释程度越高。
这个数据表明，当态度更加宽泛的总体题目首先出现在问卷时，其相关性更高。
在本期文章中，我们回顾了一些问卷中的顺序效应的相关文献，还就杰夫·索罗博士的两项针对NPS题目顺序的在线实验进行了探讨，经过总结，我们发现：
在不同的网页、产品或服务的问卷调查中，无论NPS题目是在问卷的前面还是后面，它们的NPS平均得分以及分数的分布几乎是相同的。
当NPS题目放在了SUPR-Q题目的前面时，调整后的R方可以增加约7%，即相关性更高。但博士认为，这些SUPR-Q题目并没有指明具体的属性（如定价或某项具体功能），态度更加广泛，因此可以解释结果的部分差异性。
很多研究已经表明，顺序效应是真实存在的，但尚未清楚顺序效应什么时候会出现、以及会造成多大程度的影响。
根据一些已发表的文献，问卷主题、上下文语境及题目顺序的调整都可能产生不同类型的顺序效应。
在博士的第一项研究中，第一组将40道题目放在了NPS问题的前面，第二组更是将72道题目放在了NPS问题的前面。这样一来，顺序效应有可能因为题目的数量较多而被削弱影响，又或者是被其他问题所掩盖，也可能是受访者对推荐的态度不太容易受到题目顺序的影响。
未来在开展顺序效应的研究时，需要尽量分离出这些影响，同时也需要更多的研究数据去判断是否存在这些影响。
参考资料：
作者：何嘉欣、金子淇；编辑：樊佳莹
本文由 @体验家XMPlus 原创发布于人人都是产品经理，未经许可，禁止转载
题图来自 Unsplash，基于 CC0 协议
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。