1997 年，哈佛商学院 Clayton Christensen 教授的著作《创新者的困境》(The Innovator's Dilemma)在风险投资家和企业家中引起轰动。大多数人学到的教训是，经营良好的企业无法负担得起转向新方法的代价——一种最终将取代其现有商业模式的方法——直至为时已晚。这种说法也适用于研究。1980 年代和 1990 年代的第二波神经网络是新方法表现欠佳的一个好例子，

。

自 1950 年初以来，作为机器学习机制，各种神经网络都得到了研究，但是它们并不擅长学习有趣的东西。1979 年，Kunihiko Fukushima 首次公开了他所谓的移位不变神经网络的研究，该技术让他的自组织网络能学会对图像中任何位置出现的手写数字进行分类。在 1980 年代，一种名为反向传播的技术被重新发现；它允许一种形式的监督学习，在这种模式中，网络会被告知正确答案应该是什么。在 1989 年，Yann LeCun 将反向传播与 Fuksuhima 的想法结合成被称为卷积神经网络（CNN）的东西。LeCun 也专注于手写数字图像的识别。

在接下来的 10 年中，美国国家标准与技术研究所（NIST）提出了一个由 LeCun 修改的数据库，其中包含了 6 万个训练数字和 1 万个测试数字。名为 MNIST 的标准测试数据库让研究人员能精确测量并比较 CNN 不同改进的效果。这是一项巨大的进步，但在被应用于早期自动驾驶汽车和工业机器人生成的任意图像时，CNN 无法与计算机视觉中根深蒂固的 AI 方法相匹敌。

但是在 2000 年代，越来越多的学习技术和算法改进被添加到 CNN 中，形成了现在所谓的深度学习。2012 年，深度学习如同横空出世一般，突然在一组被称为 ImageNet 的对象图片测试中胜过了标准计算机视觉算法。计算机视觉的这位可怜的表兄胜利了，它彻底地改变了人工智能领域。少数人辛苦了几十年，让所有人大吃一惊。祝贺他们中的所有人，无论是出名的还是不那么出名的。

但是要小心。Christensen 的书传达的信息是，这种破坏永远不会停止。今天还高高在上的人将会为他们还没有开始考虑的新方法感到惊讶。一小群叛徒尝试各种新事物，其中有一些人也愿意默默工作几十年，不计成败。总有一天，这些人中的一部分人会让我们所有人都大吃一惊。