在数字化时代，产品的多模态交互设计正变得越来越重要。本文从多模态交互的基础知识开始讲起，给大家分享了如何构建一个跨越感官的多模态体验，供大家参考。

“感知，理解、决策和行动是多模态体验的基石”

我们的个人世界是我们的大脑利用感官原材料构建而成的，而原材料在构建过程中也会发生各种变化。—— Faith Hickman Brynie

🌲 本篇知识点概括：

1. 构建多模态体验

2. 现实中的切片：环境与感知

3. 多模式体验：模式和模型（Schemas and Models）

4. PARITY（奇偶校验）: 从感应到感知

01 构建多模态体验

与其说体验设计师在构建体验，不如说人们在为自己构建体验。俗话说，“美只存在于旁观者的眼中。“ 不仅美观，还有功能性、清晰度和可靠性。它们也存在于我们的皮肤中，分布在我们的骨骼表面、我们的脊柱内，更重要的是在我们的脑海中。

当我们体验物理世界时，需要清楚明白当前发生了什么以及下一步该做什么。我们是高度灵活和适应性强的生物，我们解决问题的方式也是如此。

我们将许多不同的感知、认知和身体能力汇集在一起，从一刻到下一刻作出适当的反应。在这些过程中，我们的思想和身体会逐渐发展出一些快捷方式，让我们和物理世界的交互变得更简单。

产品体验也是如此，弄清楚人们会如何使用设备，以类似的方式设计使用方式可以帮助用户快速习得交互路径。这种过程也被称为同化的过程，即心智模型在新型信息中的使用，比如，我们本身就了解实体办公桌的工作环境，这种现有的心智模型有助于我们理解如何更轻松地使用计算机的操作系统。

许多图形用户界面 （GUI） 使用「桌面」的比喻作为组织信息的一种方式。

Mac 操作系统使用的视觉隐喻

另一种感知现象，称为「模态未完成」 （Amodal completion），这是一种视觉现象，指的是当物体的部分被遮挡时，观察者仍能感知到完整的物体。这种感知现象可以用于在基于屏幕的导航（如滑动窗格和视差）中创建视觉效果。

02 现实中的切片：环境与感知

海豚的听觉处理能力是人类的两倍，它们用这个能力来定位水下的物体，这是大多数陆地动物无法做到的。狗的嗅觉比我们自己的好 100,000 倍，它们用它来读懂情绪，而人类做不到。鳗鱼可以检测到大多数动物无法检测到的电磁波谱范围。它们使用这种能力来检测其他生物的接近。这些感官能力中的每一种都允许拥有它们的物种访问独特的物理信息片段，这些信息塑造了他们与环境互动的方式。

来自Jakob von Uexküll的理论：物种如何感知世界并与之互动的物学基础的理论被称为 「umwelt」，umwelt 这个词的字面意思是“环境”，Uexküll 的基本思想是，一个生物生活在一个感官世界中，对这个世界的感知，可以帮助它多姿多彩的生活。

心理学家 James J. Gibson 将我们对环境的理解能力定义为可供性「Affordance」，可用性专家和设计基础教科书《The Design of Everyday Things – 日常事物的设计》的作者 Donald Norman 也很擅长将我们对环境的感知能力应用于设计。

基于感知的互动也与我们理解它们的方式密切相关。我们不能像海豚那样使用听觉进行导航，也不能像狗那样在社交互动中使用气味来识别彼此。我们的环境定义了我们感知的交互范围，以及我们使用不同感官的目的，这不仅适用于人类，也适用于所有生物。

人类、海豚、狗、鳗鱼和 iPhone 的 「umwelts」切片，他们都有特定的感官，可以影响他们的“世界观”

03 构建多模态体验：模式和模型（Schemas and Models）

Donald Norman 提出了设计的心智模型。它是人们构建认知的心理模型，人们了解一个物体是什么，以及它是如何工作的。许多人类能力是通过重复经历中出现的模式发展起来的。

在心理学中，「模式」（Schemas）的概念用于描述思想或行为模式。「模型」（Models）用于描述外部对象和事件的内部，这些模型是通过重复体验构建的。这两个概念及其应用方式之间存在一些重合。模式和模型有很多种类型，它们用于人类行为的各个方面。身体模式是我们对空间的感知，它让我们能够四处走动而不会撞到东西，也是手眼协调不可或缺的一部分。模态和多模态都认为是「模式」的类型，我们会同时使用感知、认知和身体模式。如果没有字母数字键的布局和行为的心智模型，我们就不会使用键盘，但如果没有身体模式的参与，我们就无法自如的用手在键盘上打字。如果我们无法将语言、输入和阅读能力集成到一个模式里，那我们就无法和基于文字的应用程序交互，这就是多模态的能力。

设计模式反映了人类的行为模式，这个理论的出现使交互体验易于管理。当我们的感官处于最佳状态，可以不假思索地执行技能，并形成习惯形式，甚至形成自动反射，这就是一个成功多模态体验。好的设计就是用户可以不假思索的运用多种感官进行交互。

模式会影响我们感知、识别和记住相关事物的方式，设计模式必须遵循心智模型，使交互保持一致且可管理。如果所有电源开关的工作方式彼此完全不同，那么我们每次使用一个电源开关时就必须重新学习新的交互方式了。

感知、理解、决定和行动可以被认为是我们所有多模态能力的基石。它们通过模式组织成有凝聚力的知识和行为体系。举个非常简单的例子，将语言理解与视觉相结合，你就有了阅读能力。将语言与听觉相结合，你就有了倾听能力。再次将语言与手部动作结合在一起，你就有了书写或打字能力。将语言与声带和嘴巴运动相结合，你就有了语言能力。这也适用于无障碍功能。以不同的方式再次将触摸与语言相结合，可以进行盲文阅读和键盘输入。将视觉与语言再次结合，手语就诞生了。随着时间的推移和实践，我们会发展出如何结合使用这些不同模态的模式，也可以越来越轻松地使用它们。用户同时使用多种感官，就叫做用户的多模态输入，而机器同时使用多种模态进行反馈，就叫做机器的多模态输出。

人类的交流可以跨越多种多模态组合，许多不同的方式可以传达同一个想法；

我们的感官界定了我们可以体验到的物理信息种类，易读性和可听性开始发挥作用。我们的眼睛只能区分一定大小和距离的形状。我们的耳朵只能在一定的音量和音调范围内听到。作为产品设计的一部分，我们的认知能力越来越受到关注。认知演进（Cognitive walkthroughs）是一种研究实践，它解释了记忆、语言理解的作用以及人们用来评估决策中不同因素的能力和方法。它们在产品设计中得到了广泛的应用。决策是一个特别值得关注的领域。有许多不同的决策模型，因为我们做出的决策有很多种 – 从接受好友请求到如何绕过水坑。当然，我们的身体能力总是影响着设计。汽车仪表板上的所有重要控件都必须在驾驶员伸手可及的范围内，并且只能用一只手使用。现在，电脑桌的高度通常是可调节的，以使我们的肘部和手腕处于舒适的角度，以防止重复性的压力损伤。

感知、理解、决定和行动 — 多模态体验的基石。

04 PARITY（奇偶校验）: 从感应到感知

虽然设备的模式和人类模式在某些方面相似，但在其他方面却大不相同。这种比较称为奇偶校验，它展示了人与设备能力之间感知能力的重合。例如扩光谱望远镜如何帮助我们了解太阳和恒星发出的不同种类的能量，而这些能量是我们仅靠眼睛无法看到的。但是在许多情况下，人类的感知能力也是超过技术的——人类的精细运动就是其中之一。

人体耳蜗和加速度计、人眼和相机的光电阵列：每个都有优点、缺点和有趣的特性。

内耳中的耳蜗在检测方向和平衡方面的工作方式类似于加速度计：与地面保持水平的液体可以在 x、y 和 z 轴上移动。然而，与我们不同的是，快速旋转加速度计不会让人头晕。然而，视觉是不同的。我们可以轻松检测到比典型相机更宽的色彩范围或色域。亲眼看到的美丽风景比相机或屏幕所能显示的要生动和丰富多彩得多，更不用说吹拂我们头发的风和刚落下雪的气味了。话虽如此，我们绝对不能像高速相机那样看到每秒 100,000 帧。某些相机可以检测紫外线和红外光 – 超出我们自己的可见光谱。然而，在我们的频谱中，我们有更好的动态范围;我们可以同时看到非常亮的光和非常深的阴影。

除了面相学与硬件之外，我们处理感官信息的方式也不同。首先，我们处理的感官检测到的信息出奇地少。虽然我们可以一次看到一整页文本，但我们实际上一次只能阅读一个单词。过了几天以后我们能记住的单词就很少了，尽管我们可以很容易地推断出更高层次的总结和含义。相比之下，计算机的 RAM 可以轻松地一次容纳一页的所有单词，甚至一整本书的所有页面。计算机存储内存可以无限期地保存副本。然而，得出高层次结论的能力尚未完全实现。（也许未来LLM的推理能力可以做到）

我们有许多用于感官分析的自动流程，我们也无法关闭它们。每种模态都提供了从感官数据中提取知识的不同方法。例如，对话和视觉图像的很多信息是触觉振动无法传达的。

早期的 iPhone 带有触觉引擎的按钮，用于模拟物理触感，就是利用了我们的触觉不确定感来创造机械和人类接触的错觉。

Taptic Engine 是 Apple iPhone 和 Apple Watch 中的触觉系统，不同类型的振动很容易刺激我们的触觉，让我们感觉像是真正点击一个物理按钮。

人类不太擅长区分触觉中的变化，我们更擅长检测视觉中表面纹理的变化。我们的思想和感官不断地协同工作，以便我们能够丝滑地体验世界。心理学一直在研究我们如何感知正在发生的事情，了解它与我们的关系。我们又是如何适应环境中的各类变量，这些人类感知能力的原理都是设计多模态体验时的依据。

感知，理解、决策和行动是多模态体验的基石。

下一篇预告：

人体五感的感知能力范围（人机交互参数参考）