有关设计师必备的体验评估设计指南——本篇为机制篇，内容主要针对评测机制QMD存在的几个问题：问题推动落地难、评估结论信服度低的问题提出了解决方法，介绍了建立可信赖评测机制的思路与方法，希望对你有所启发。

秉承58同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对58同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是QMD。

在上一篇《设计师必备体验评估设计指南（指标篇）》中提到，目前QMD存在的两个难点，分别是：问题难推动落地、评估结论信服度低。针对目前难点，今年我们项目组对测评体系再次升级，推出了全新的QMD3.0。

我们将通过干货满满的三篇连载文章，分别从【指标模型】【评估机制】【组织实践】来全方位的分享体验评估机制的升级经验，欢迎大家的持续关注和探讨。本篇为大家介绍：围绕提高QMD主观评价的可信度，通过信度检验，管控测评流程，建立人人可信赖的测评机制。

一、信服度低的原因

想要建立人人可信赖的测评机制，需要我们解决目前“结论信服低”这一难点。

在讨论结论信服度的问题，我们需要知道QMD到底属于什么类型的测评；按照测评变量的不同，我们可以讲测评分类两大类，主观性测量和客观性测量；举个例子，主观性测量类似简答、论述题，客观性测量类似单选、判断题；而QMD是邀请专家对特定业务场景，根据特定指标进行量化评估，其评分会因为其评分专家的主观判断影响，因此我们的QMD就是属于主观性测量。

这就导致在评分过程中，因为评分者的知识结构（也就是对世界的认知、经验等）、判断水平（也就是对评分标准的认知和理解）、个人偏好（对设计风格、操作习惯偏好等）的不同，使评分者的评分存在差异。

因此亟需通过某种技术手段，去控制测量误差，提高主观变量测量的精确性，而这一技术手段就是下文将要提到的评分者信度。

二、检验信服度的手段

1. 什么是信度

在了解评分者信度之前，我们需要知道什么是信度。信度是指测量结果的一致性程度，亦称可靠性程度，它衡量的指标是：对同一对象测量得到的结果是否一致。举个例子，当你拿杆秤去测量10斤的西瓜，过一个月之后，再去测量一个10斤的西瓜，它还是10斤，说明这个秤就是可信的，这就是信度；而这个西瓜是10斤，测量出来也是10斤，说明这个秤是有效的，这就是效度。

2. 什么是评分者信度

而评分者信度就是信度的一部分，其实评分者信度是若干个评分者对同一组测试结果评分的一致性程度，他关注的是不同组间评分者之间的共同差异的分析指标，也就是说侧重处理评分者组间差异的一般趋势，主要目的是为了测量不同评分者对同一样本是否给出同一正确的分数指标，因此为检验QMD中各专家评分是否一致，选择了评分者信度作为分数的检验指标。

测量评分者信度的统计指标及方法很多，那我们需要如何选择适合QMD的统计指标呢？在根据QMD不同的测量特点、数据类型、评分人数等，我们QMD选择的测量方式是组间相关系数（ICC），也就是通过方差分析来计算总体变异多大程度上属于总体的特征。

3. 如何分析评分者信度

选定测量方法后，具体怎么执行呢？就是万能的SPSS软件，按照：Analyze—Scale— Reliability Analysis 步骤得来，根据分析结果可以得知 ，本次分析的评分者评分信度是否一致。

举个例子，在针对某个业务线进行QMD评估，对6位专家的评分进行评分者信度分析，结果表明，ICC=0.9704>0.75，p<0.05,说明评分者的一致性是可信的。可见不同评分者在评价产品，在各项指标上评分是比较一致的，其评分者信度是比较高的 。具体分析过程如下：

三、提高信服度的方法

1. 测评流程可靠

但是在整个过程项目执行过程中，我们仅仅只做信度检验就足够了吗？其实不是的，分数只是一个判断的依据，或者说是过程的抓手，我们除了关注分数本身以外，更需要关注，到底是哪些因素导致我们分数产生随机误差，进而在源头上提高我们的分数的信服度。‍

那影响评分者信度的因素有哪些呢？总结有以下三部分：

• 测评工具性能
• 评分者筛选
• 实施方案的标准化流程

在了解到这些影响因素后，在整体执行过程中，才能针对性的进行执行、管控，才能最终提高结论的信服度，具体执行过程如下图所示：

针对测评工具性能，在整个指标制定和选取过程中，项目组均进行科学严谨的推理，具体推理过程大家可回顾上期文章《设计师必备体验评估设计指南（指标篇)》，为大家展示了整体测评指标的科学合理性，此外在测评工具中不仅讲究科学合理，还要求工具使用者体验良好，对其指标进行解释说明、重点的标记等；第二大模块则是评分者筛选中，主要分为3部分：

• 专家人选筛选
• 专家认知对齐
• 内在标准稳定

也就是说通过一定的要求、人员配置等进行评分者筛选，通过提前的培训对齐评分者认知、以及选择心理和生理健康良好的评分者进行打分；在第三大模块则是保证实测方案的标准化，也就是在实测流程、会场环境的制定和布置过程中，按照标准化、模块化进行执行。

2. 感知效果可靠

当然，大家以为仅仅做了哪些流程管控就结束了吗？我们想要分数信服度高，也就是可靠性高，不仅需要流程可靠，更需要让使用者对结果感知可靠？

（1）什么是可靠性
其实可靠性是指一个人通过对一个产品的可感知效果与他期望值相比较后，所形成的可靠或不可靠的感觉状态，简单的数据表示就是用户感知效果-内心期望，图片表示更清晰，但感知效果契合且高于内心期望时，人们便产生了可靠的感觉状态，低于则相反，我们难以控制其内心期望，因此将在感知效果上下功夫。

（2）如何让可靠更易被感知

从四个环节入手，最开始明确业务预期、中间的利益相关人全程参与、结尾的结果复议，和最后的验证落地效果，采用各类方法，让大家从整体环节去感知可靠性。

1. 明确业务预期：在最开始的明确业务预期中，除了从业务视角去制定与业务契合的测评体系外，更是邀请利益相关人共同制定指标细则，从理论的基础上让大家感知更可靠。
2. 过程全员参与：在过程中，以前仅邀请设计师参评，现在不仅邀请设计师，更是邀请产品一起参评，从流程上让大家感知更可靠。
3. 结果复议防错：第三点结果复议，也是本次升级后QMD的一大亮点，我们建立的防错机制，以前结果出来便出来，业务方仅能看，没有可反馈渠道，因此本次建立的防错机制则是建立业务方对结果复议的渠道，从机制上让大家感知更可靠。
4. 验证落地效果：第四验证落地效果，不仅关注跟进问题改进进度，更是关注跟进QMD结论落地后为业务目标带来的提升，从效果上让大家感知更可靠。

四‍‍‍‍‍、小结

在这次升级过程中，其实想表达的是，分数本身不重要，如何通过分数去管控过程，才是其真正的价值所在。因此，在本次升级过程中，结合使用评分者信度、流程管理和机制升级，从而从实际效果和用户感知上全面提高可靠性。