人工智能领域，大语言模型（LLMs）一直是研究和应用的热点。然而，2024年图灵奖得主、强化学习之父理查德·萨顿（Richard Sutton）却提出了一个惊人的观点：“大语言模型是死路一条”。这一观点在技术界引发了广泛的讨论和反思。

“大语言模型是死路一条”

这是2024年图灵奖得主，“强化学习之父”理查德·萨顿（Richard Sutton）不久前表达的观点，源自知名技术博客Dwarkesh Podcast对萨顿的采访视频。

《强化学习之父Richard Sutton最新采访：LLM是死胡同》

01

目前AI界的主流共识是：LLMs是通往AGI的主要路径。当这股思想洪流滚滚向前时，一个老人在岸边喊了一嗓子：“LLMs are a dead end（大语言模型是死路一条）”。

别人喊这一嗓子，可视为哗众取宠，但出自萨顿之口，则当正冠肃听。萨顿何许人也？如果把AI比作江湖的话，那么能开宗立派的宗师级人物，不过寥寥数人，萨顿为其一，开辟“强化学习“门派，众多门徒活跃在学界和业界，例如DeepMind的几位创始核心成员。

采访内容很丰富：LLM是死胡同，处处闪耀人文思考和哲学思辨光芒。个人粗浅理解如下：

1. LLMS基于人类知识及语言，而人类知识语言，仅是世界表面的“一层薄薄的装饰”。
2. “大语言模型的梦想，在我看来，是你可以教智能体一切。它会知道一切，在生活中不需要学习任何东西。”但现实是：”世界太大了，你无法（提前知道一切）。”
3. “我们必须理解我们是如何作为动物的。如果我们理解了松鼠，我认为我们就几乎完全理解了人类智能。语言部分只是表面的一层薄薄的装饰。”

基于此，萨顿认为LLMs无法真正理解世界。

02

这一点，中国道家思想早有阐述。关于人类知识和语言的局限性，老子《道德经》开篇即说：“道可道，非常道；名可名，非常名”；庄子在《养生主》中写道：“吾生也有涯，而知也无涯，以有涯逐无涯，殆已！”

LLMs以人类知识和语言为基础，采用“预训练-微调-对齐”的求知方式，无疑踏上的是“以有涯逐无涯“的不归路。

这种局限性必然导致这样一个结果——大模型给你的，是它计算给你，而不是世界的本质；你需要的是大模型听你的，为你所用，而不是世界的真相。

“强化学习是关于理解你的世界，而大语言模型是关于模仿人类，做人们说你应该做的事。它们不是在搞清楚该做什么。”

这样的结果，必然导致这样一个结局：

萨顿指出了当前深度学习系统的一个根本性问题——泛化能力差：”我们没有任何方法擅长这一点。”他解释说，虽然关键的性能指标是能够从一个状态很好地泛化到另一个状态，但”我们没有任何自动化技术来促进迁移，它们都没有被用于现代深度学习。”

虽然LLMs能解决越来越复杂的数学问题，从简单的加法到需要使用不同数学技术和定理的奥数问题，但萨顿认为这不是真正的泛化：”如果只有一个答案，而你找到了它，那不叫泛化。那只是唯一的解决方法，所以他们找到了唯一的解决方法。”真正的泛化是”当可能是这种方式，也可能是那种方式，而他们选择了好的方式。”

一个没有泛化能力的AI，自然不可能从中诞生超级智能，也就是说，在通往AGI的终点上，LLMs是死路一条。

03

萨顿这一观点对当下AI应用有何影响呢？从宏观角度看，有影响，也没有影响。

1. 没有影响，是因为LLMs是对人类现有所有知识和语言的重新淬炼，是对已知世界的一次生产力大提升，它是当下以及可预见未来的科技发展核心，将在千行百业发挥巨大作用。对此，萨顿并不讳言大语言模型近年来取得的巨大成功。
2. 有影响，是当LLMs耗尽人类现有所有知识和语言后，就可能进入停滞状态，而无法引领人类走向不可预见的、更深邃的未来。今年初，马斯克就在CCS的采访中说，现实世界用于AI模型训练的资料，已经消耗得差不多了。

从微观的、具体应用的角度看，则有着积极的影响——LLMs目前已经被神化，似乎无所不能。然而，在实际应用中，却遇到了许多问题，很多花了大钱做了大模型落地的企业，反馈并没有取得预期效果。传媒影视业同样如此。在上一篇文章《AI视频生成不需要创造力，需要的是组织力》中，我提及目前AI视频创作的困扰，根本原因就在于LLMs的泛化能力太差，而萨顿认为LLMs泛化能力差是无解的，这将修正我对AI视频创作的观点和做法，将LLMs从神坛拉下来，而转向如何结合过往经验，更细致、更有效、更理性地理解和应用LLMs。

相信这一心得，不仅适用于传媒业，也适用于千行百业。