在人工智能的快速发展中，a16z的华裔合伙人Jennifer Li带来了她对生成式AI的最新洞察。她预测，小型模型结合边缘AI将在2025年成为定义技术发展的关键趋势。

a16z 合伙人 Jennifer Li 最近分享了她对生成式 AI 的最新见解，特别提到了设备端运行的小型模型在未来的重要性。

去年 4 月，Jennifer 升任为 a16z 第 27 位普通合伙人，并在 a16z 新成立的 12.5 亿美元 AI 基础设施基金扮演关键角色。

Jennifer 表示，生成图像、语音和视频的生成式模型将在基础设施和设备计算能力方面变得更加普及，这为小型模型的崛起提供了绝佳条件，而在设备端运行的小型生成式 AI 模型将在 2025 年更加流行。

许多日常使用的应用程序，比如Uber、Instacart、Lyft或Airbnb，已经在设备端运行了大量机器学习模型。然而，她特别想强调的是生成式模型，它们正在逐渐实现类似传统机器学习模型的设备端运行。

Jennifer 表示，如今的智能手机计算能力相当于 10～20 年前的电脑，加上摩尔定律的作用，像 20 亿或 80 亿参数的小型模型，已经足够在设备端高效运行，并提供强大的功能，这一变化得益于设备计算能力的提升和模型优化技术的进步 。

此外，她还提到蒸馏技术发展也是一大关键。这项技术可以将一个功能强大的大型模型压缩成较小的模型，同时保留大部分能力，这种技术结合设备计算能力的提升，为小型模型的广泛应用奠定了基础。

相比云端运行，设备端运行生成式模型有许多显著优势。首先是实时性。用户希望与聊天机器人互动时能够立即收到响应，或者在社交媒体中添加滤镜时无需等待几秒钟加载。设备端运行能够显著减少延迟，为用户提供更加流畅和直观的体验。

然后是隐私保护。如果数据处理可以完全在本地完成，比如会议记录功能，大多数用户会更加愿意使用这些应用，而不用担心隐私数据被上传到服务器进行处理。

经济性和效率也是重要因素。虽然云端推理的成本正在下降，但设备端运行可以进一步优化开发者的效率，加快迭代速度，并降低一部分基础设施的依赖。

某些计算密集型任务可能仍需要云端支持，但许多日常应用场景完全可以通过本地模型实现，从而减少对网络和服务器的依赖。

她还提到，设备端模型的潜力正在释放，在未来我们可能会看到以下应用场景的广泛普及：

• 实时语音助手与对话 AI：这些助手能够流畅地处理与用户的互动，例如个性化的AI教练或客户服务支持。
• 增强现实（AR）体验：通过摄像头和生成式AI的结合，用户可以实时重新设计空间，例如更改墙纸、家具摆放等。
• 混合现实与创意表达：生成3D模型和视频的新技术将改变我们与现实世界的互动方式，使得虚拟体验更加生动有趣。
• 可穿戴设备创新：智能手表和其他可穿戴设备将通过小型化生成模型解锁更多个性化功能。

虽然设备端模型带来了诸多可能性，但仍面临一些挑战。例如，设备端模型需要随着硬件和应用的更新而同步迭代，开发和部署成本也可能有所增加。

另外，云端和设备端结合的经济模式需要重新设计，这将对整个供应链产生深远影响。

Jennifer 认为生成式 AI 在设备端的普及正在重塑用户体验、隐私保护和开发生态。

随着技术和基础设施的进一步发展，混合现实和生成式 AI 的结合将为我们创造前所未有的沉浸式体验，并开创全新的消费领域。