近期，Apple 发布了关于 AI 手机端应用的论文，其中一篇是讲 Ferret-UI 的研发成果。苹果为什么要做 Ferret-UI，它会颠覆交互设计么？

最近，Apple 在一周内发布了两篇 AI 手机端应用的论文，其中一篇是讲 Ferret-UI 的研发成果。

作为交互设计师，我们有必要将该技术可以看作是 AI 在交互设计领域的全新尝试，会对未来的界面交互体验产生颠覆性的影响。‍

一、为什么苹果要做 Ferret-UI

一直以来，ChatGPT 等大型语言模型都主要依赖于文本和图象数据进行训练，而这些数据大多来源于已存在的网络信息和页面。但是，移动应用的界面和交互方式与直观的网页信息不同，最主要的两个区别如下：

一是移动界面的宽高比、图标和按钮的尺寸有各种规范和设计原则；

二是移动应用的功能语意需要理解，每个元素都存在不同的交互方式。

正是这两点导致传统的大语言模型在处理和设计移动应用界面信息时往往会力不从心。而苹果开发 Ferret-UI 想要解决的就是AI 在理解移动应用界面方面的问题。苹果的研究人员在论文中提到，Ferret-UI 采用多模态大型语言模型的技术路线，并对其进行了三点针对性的优化：

1. Ferret-UI 能够识别和处理不同宽高比的屏幕，可以理解同一个页面不同尺寸的适配方案：‍‍‍

2. Ferret-UI 增强了识别小尺寸图像的能力，比如 icon、按钮、文本等等，能够更准确地识别和定位屏幕上的各个元素及其功能：

3. Ferret-UI 在识别图像后更进一步，能够理解对话和推断任务，也即理解屏幕内容变化与用户操作结果之间的关系，更好地响应用户的指令：

二、Ferret-UI 的应用场景

我们可以从苹果对于 Ferret-UI 的核心技术描述推断出其能够应用的几类场景：

1. 建立更标准、通用的底层规范

Ferret-UI 通过学习大量优秀的 UI 界面以及交互设计规则，可以建立起更为标准、更为理性的界面设计通用准则和基础规范。而 AI 对于规则的记忆和掌握也一定比人类开发者和设计师更加轻松，能够最大程度上保证界面设计的规范性。‍‍‍

2. 快速绘制 UI demo 稿或设计稿

通过对大量 UI 界面的理解学习， Ferret-UI 可以相对准确地生产出交互设计界面，以满足产品的基础版本，提升产品的产研和设计效率。

3. 评估检验 UI 设计的问题和质量

Ferret-UI 可以帮助产品的开发者让和设计师评估 UI 的有效性和界面设计的易用性。你可以将交互界面给 Ferret-UI 进行测试，更快地找出 UI 设计中存在的问题；也可以将设计稿和开发上线后的版本放到 Ferret-UI 进行对比检测，更加快速地完成设计走查。

4. 改变界面的交互方式和使用体验

Ferret-UI 在页面的交互方式上也有着无限的可提升空间：比如对整个 UI 界面进行语音朗读或语音操作指引；对于复杂功能进行讲解等等，这也会为视觉障碍或是认知障碍的用户提供便利。

5. 推动 AI 新智能手机的发展

Ferret-UI 还可以为 Siri 赋能，未来的 Siri 不仅仅能够提供给你想要的信息，还能够理解你的语音指令，并与你手机上的应用程序进行交互，代替你完成相关的操作。未来你可以告诉 Siri：“帮我预订一晚位于上海静安区的酒店，一间双床房加两份早餐，价格不超过 600 元。” Siri 便可以通过 Ferret-UI 的能力与酒店应用或是旅行应用进行交互，自动完成酒店的预订。

这样的交互方式让真正的 AI 新智能手机的概念成为可能，而不再是停留在现阶段装了 AI 应用的智能手机。

三、设计师该如何应对？

看到这里，很多交互设计师朋友大概又要开始焦虑了。然而比起担心失业或被替代，更重要的是认清我们自己的优势所在。

Ferret-UI 会带来的智能设备的交互变革，是我认为它对交互设计影响最核心的方面，但具体如何让新的 AI 智能设备更加人性化、拥有更好的使用体验，还得是由人类设计师来定义和判断。我相信苹果的设计师会借助 Ferret-UI 让下一代 iPhone 再次惊艳四方。

一方面，我们可以利用 AI 的技术优势，为产研过程降本增效，将更多的精力用于对产品和用户的深入洞察和思考上。

另一方面，我们要不断发挥人类特有的主观能动性，时刻关注这些技术和行业的发展与变革，将技术作为我们自身能力的延伸，拓宽自身能力的边界。

不论 AI 如何强大，人类的未来都需要由人类自己定义。