惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
O
OpenAI News
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
Webroot Blog
Webroot Blog
GbyAI
GbyAI
S
SegmentFault 最新的问题
Cyberwarzone
Cyberwarzone
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
J
Java Code Geeks
Google DeepMind News
Google DeepMind News
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
博客园 - 【当耐特】
S
Secure Thoughts
酷 壳 – CoolShell
酷 壳 – CoolShell
AWS News Blog
AWS News Blog
Engineering at Meta
Engineering at Meta
S
Security Affairs
H
Help Net Security
Microsoft Security Blog
Microsoft Security Blog
D
DataBreaches.Net
云风的 BLOG
云风的 BLOG
Hugging Face - Blog
Hugging Face - Blog
Google DeepMind News
Google DeepMind News
Spread Privacy
Spread Privacy
T
Threatpost
Forbes - Security
Forbes - Security
C
Cisco Blogs
Scott Helme
Scott Helme
Attack and Defense Labs
Attack and Defense Labs
Simon Willison's Weblog
Simon Willison's Weblog
腾讯CDC
The Last Watchdog
The Last Watchdog
Cloudbric
Cloudbric
Last Week in AI
Last Week in AI
Recorded Future
Recorded Future
小众软件
小众软件
V
Vulnerabilities – Threatpost
美团技术团队
人人都是产品经理
人人都是产品经理
有赞技术团队
有赞技术团队
Apple Machine Learning Research
Apple Machine Learning Research
Hacker News - Newest:
Hacker News - Newest: "LLM"
I
Intezer
月光博客
月光博客
C
Cyber Attacks, Cyber Crime and Cyber Security
博客园 - 司徒正美
C
Cybersecurity and Infrastructure Security Agency CISA
Martin Fowler
Martin Fowler
博客园 - 聂微东

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
可用性测试溯源:5个人就够了?
白话说交互 · 2022-06-24 · via 人人都是产品经理

编辑导语:做可用性测试时,要注意什么?大厂在做可用性测试时有什么不一样?找多少个用户做可用性测试才合适?本文就此问题做了分析和解答,希望对你有所帮助。

你是否常常觉得看不懂“可用性测试”这个东西,感觉它做法复杂、又不知道具体哪些环节必须做、哪些环节不用做?“大厂”做可用性测试是否会更严谨、写更多文档?究竟找多少个用户做可用性测试才合适?

假如你有以上疑问,这篇文章适合你继续阅读。本文部分观点来自《人因学手册》handbook of human factors and ergonomics的“可用性测试”一章。

一、你也是半个心理学家

我之前反复提过,我们体验设计现在的主流研究方法大部分从社会学或者心理学里移植而来,而可用性测试就直接脱胎于认知心理学的看家研究方法“实验法”

假如有读者小时候上幼儿园的职业理想曾经是“做实验、当科学家”,那么恭喜你,当设计师会做可用性测试,某种程度上也算是部分实现了你当年的心愿。先给自己一点鼓励。

认知心理学的基本思路是把人的心理活动理解成一套像精密机械一样的信息加工系统,里面的各个零件可以拆开来各自研究的:比如人的注意力、记忆,或者某种感受。它有许多的研究内容都是很微观的概念和现象,这些(短期)现象发生得非常快、并且在自然环境下受各种因素影响干扰,很难测量。

因此为了在现象或概念间建立有力的因果关系,认知心理学作为横跨社科和自然科学两个领域的一门学科,向自然科学取经从而发展出了很成熟的控制实验技术(包括咱们比较常见的眼动仪实验)。

这个方法后来辐射到了各个其他社会学科中,又诞生了“实地实验”(field experiments,自然实验/社会实验)的说法,其思路很像我们今天经常做的AB test。

还是拿我们上篇文章的“可爱小猫论”作案例,假设你是一个很有才华的心理学家,发现小猫可爱程度会影响人的身心健康,养越可爱的猫越有利于身心健康。你要如何证明这一点?

可用性测试溯源:5个人就够了?

  1. 我们需要确定这个现象普遍广泛存在,而不是仅仅存在在你这个猫奴身上的个例,因此一定需要通过定量的方法做验证。
  2. 在现实生活中能对人的身心健康产生影响的东西太多了,比如这个月老板老给你穿小鞋,导致你身心受到了巨大打击;下个月你苦练搏击,身心健康又增长不少,那么如何从这么多因素中抽离出猫咪对你的影响,而过滤职场/锻炼/饮食等其他因素的影响?
  3. 也许养猫和身心健康是有关系,但其实是身心健康较弱的人更不愿意养猫,而非反过来——如何能准确探究这两个因素的关系?

答案是在实验室环境下严格地控制变量,通过对实验环境和环节的科学设置、对被试者情况的筛选和抽样来确保得到精准的结果。

比如你可以假设被试对猫的喜爱程度、猫的可爱度都可能影响实验结果,所以你可以被试分成4个单元小组:不可爱的猫配不喜欢猫的人、可爱的猫配不喜欢猫的人、不可爱的猫配喜欢猫的人、可爱的猫配喜欢猫的人。

在测量了人的初始身心健康程度后,让他们与猫呆3小时,然后再次测量人的身心健康程度。此外还需要配备一个对照组,这个组的人只能看3小时动画片——这就是一个很简单的小实验。

可用性测试溯源:5个人就够了?

由此可以看出控制实验法和其他的研究方法相比,完全脱离了情境,所以实验室内的结果是否可以推广到实际生活中去,是需要打一个大大的问号的,但正因为如此,实验法也为验证因果关系创造了可能性。这一点也就是我之前在不要从“交互设计定理”入门交互设计中强调的。

说回到咱们的可用性测试,根据《人因学手册》的说法,可用性测试在80年代初被提出后马上在80~90年代风行于业界,影响了施乐(Xerox)、苹果、IBM等一代明星公司的产品评估流程。

在可用性测试引进之初从业者仍然比较严格地遵守控制实验的方法,对测试的环节设计、环境设置要求十分严格,是一种主要用于评估/对比设计方案的、定量的、脱离情景的手段

举个例子,为了得到比较严谨的结果,可用性测试应该:

  • 做预测试:在设计完实验流程后需要先找一些被试,看看控制变量的手段是否有效
  • 考虑组内实验还是组间实验:比如是找同一个用户测试3组设计图,还是3个不同的用户每人测试1组设计图
  • 考虑实验顺序:假如找同一个用户测试3组设计图,那么先看哪个、后看哪个
  • ……

此外,各个公司会为了可用性测试搭建专门的、昂贵的可用性实验室。在实验室环境下对用户发布任务、进行测试,主要是为了规避噪音、灯光、外来人员打断等干扰因素对实验结果的影响。比如下图就是一个典型的可用性测试实验室。

可用性测试溯源:5个人就够了?

二、发展与“5个就够了”

90年代后随着可用性测试相关的应用和研究快速发展,可用性测试的概念也从验证性研究逐渐扩展到形成性的、探索性研究

对可用性测试的要求也远远没80年代那么高了,到今天据我所知很多厂的用户研究部门把可用性测试理解地很宽泛,只要和用户有接触、只要设置了任务,都可以勉强讲是“可用性测试”。

这样做测试不再需要严格的实验室环境与变量控制技术,反而更加偏向实地调研,让用户在自己熟悉的环境中完成任务。

造成这个发展的原因其实有很多:

(1)软件开发模式变了

70~80年代盛行的瀑布流式开发,要求软件的设计开发者一次性完全完成一个环节后,再迈入下一个环节。比如你做设计时,需要提前想好未来需要应对的所有场景,一次把几千张设计图全部交付开发,开发开始写所有的页面,写完了这几千张图再上市。

这种开发模式在90年代被敏捷开发或迭代开发逐渐替代,这要求设计者出一版能用的先做出来,根据用户反馈再迭代之前的想法。因此,设计师对于快速定位设计问题的诉求大大提升,而可用性测试作为一种有用户参与的评估方式(可能是唯一一种),可以满足这种诉求。

(2)从调研目的的角度上来讲,我们作为设计者说到底和科学家做的事儿是不同的

对于科学家来讲研究概念之间的相互关系是有意义的,其最终的目的是形成一个具有解释力的学说。但对于设计师来说我们需要选出更优的设计,但并不关心究竟是哪个变量导致了设计最优、变量之间相互的关系是啥。

比如你可能做了两个稿子,A稿红色按钮放右边、B稿橙色按钮放左边,最终用户觉得B稿好,你的研究就结束了;而心理学家需要去思考到底是位置、颜色,还是别的什么因素影响了用户的什么体验,最终导致用户的决策?

对控制变量的严格要求,最终导致做一场严格的控制实验成本超高,除去复杂的控制变量带来的成本以外,为了让整个实验可以使用统计学分析,一般会要求每个单元小组的样本量大于30——做学术也许可以不那么考虑成本,但企业总是会思考投入产出比。

可用性测试溯源:5个人就够了?

比如90年代软件业界就曾经把当时出现的专家启发式评估、认知走查这些无需用户参与、专家进行即可的方法当成可用性测试的廉价替代品。虽然后来被证实没有方法可以替代用户评估——专家走查出来的问题往往不是真实用户遇到的问题,而往往是一无伤大雅的小细节。

(3)90年代尼尔森写了一篇关于可用性测试样本量的文章,极大地鼓舞了用可用性测试做探索性研究、寻找可用性问题的做法

这篇文章我最开从《用户体验度量》里读到,我把这个理论叫“5个就够了”论。

可用性测试溯源:5个人就够了?

尼尔森将此前为一些产品做的可用性测试与专家评估结果整理了一下,用一个泊松模型来预测参与可用性测试的用户数或参与评估的专家数与最后找到的可用性问题的比例之间的关系,最终“发现5个用户就能发现83%的问题”。

下面这张图能看出来假如拆分了可用性测试和专家评估,那么可用性测试需要的人数稍微多一些,5个用户大约能发现70%的问题。

可用性测试溯源:5个人就够了?

现在看来尼尔森这个模建得说不上多么精细。注意这个图里的因变量是百分比,“1”代表“所有被发现的问题”,而不代表“本系统所有可能存在的问题”,所以尼尔森这个结论正确的解读方式是,假设他们测试了20个用户最终发现了10个问题,那么5个用户就能发现其中8个问题。

这种问题的重叠很有可能是因为对用户的不当抽样带来的。比如我们现在很多系统存在不同的用户角色与用户场景,用户个体的技能水平也有差异,因此不同用户组的关注点、问题点可能都是不一样的,很可能这一组用户找不到另外一组的问题,这一点在《用户体验度量》也有所说明。

后来尼尔森在他公司的网站上对“5个就够了”论做出了补充,当前版本的可用性测试结合了设计迭代的动作,更偏向定性的、个案研究的思路。按他现在的话来讲,可用性测试这个事情应该多次多轮的进行:首先选取5个人可用性测试-然后马上对设计进行修改和迭代-再找另外5个人重复进行可用性测试,看看他们有没有新的观点,如此多轮往复,最终打磨出一版好设计。

三、怎么做更好

我们总结一下:假如你不太熟悉可用性测试的发展脉络,那可能会对这个东西有点犯迷糊:一会要设置任务,一会要发问卷,一会又要观察用户的动作;一会5个就够了,一会又要多找几个人。简单来讲:

  • 假如你做可用性测试是为了发现问题,5个人够了。虽然要设置任务但不需要太严谨,以快取胜
  • 假如你做可用性测试是为了对比方案/评估方案的优劣程度,5个人不够。严格来说每个组至少30人,但我们毕竟不做学术,少一点也勉强可接受。虽然今天已经基本不做严格的实验设计,但应该尽量减少对用户的言语干扰、指导,让用户自由体验产品

最后关于样本量的事情我再多说两句。虽然调研的用户数量是一个困扰大部分设计师的问题,但根据我个人的经验来看,可用性测试是“多做比少做好,但做了一定比不做好”的一件事。对上线前的飞机稿来说,即使你只找1个用户看了你的设计,甚至你只找同事看了一眼你的设计,都会比你闭门造车要更好。不要惧怕做体验调研,也不要认为非要花多大代价才算在做体验调研。

作者:白话说交互;微信公众号:白话说交互(ID:gh_96e304585325)

本文由 @白话说交互 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于CC0协议。