AI发展史（三）：反叛者——连接主义的三十年蛰伏

一

1986年，匹兹堡。

杰弗里·辛顿坐在卡内基梅隆大学的办公室里，面前是一份来自DARPA的经费通知。通知很简短：他关于神经网络的研究申请被拒绝了。理由是：“该方向已被证明没有前途。”

这不是辛顿第一次被拒绝。从1970年代开始，他就一直在学术界的边缘徘徊。他在剑桥大学读本科时，导师告诉他“神经网络不是严肃的研究方向”。他在爱丁堡大学读博士时，导师也试图劝他放弃。他后来回忆说：“在那些年里，如果你说你在研究神经网络，别人会用一种奇怪的眼神看你，好像你在研究炼金术。”

但辛顿没有放弃。他相信神经网络是理解智能的正确路径。他相信大脑不是通过符号规则来思考的，而是通过神经元之间的连接权重来学习的。他相信反向传播算法能让多层神经网络从数据中自动学习。

在1980年代和1990年代的AI寒冬中，辛顿不是唯一坚持的人。杨立昆在贝尔实验室开发了卷积神经网络，成功识别手写数字。约书亚·本吉奥在蒙特利尔大学研究语言模型和注意力机制。尤尔根·施密德胡伯在瑞士的研究所里开发了长短期记忆网络。

这几个人，后来被称为“深度学习三巨头”。他们在符号主义主导的年代里，坚持了一条被主流忽视的路径。他们的工作在2000年代之前几乎没有产生商业影响，但为后来的深度学习革命埋下了种子。

二

辛顿的坚持，源于一种哲学信念。

他相信，智能的本质是从数据中学习规律，而不是被人类教导规则。符号主义的专家系统需要人类把知识写成规则，但人类的知识是有限的、显性的、易于言说的。连接主义的神经网络从数据中自己发现规律，能捕捉人类无法言说的隐性知识。

这个信念在当时很难被接受。1980年代的AI研究被符号主义主导，主流观点认为神经网络只是“曲线拟合”，不具备真正的推理能力。明斯基在1969年出版的《感知机》一书，用数学证明了单层感知机的局限性，被广泛解读为“神经网络不可行”的证据。

但辛顿和他的同事们知道，明斯基的证明只适用于单层网络。多层网络可以通过反向传播学习非线性函数，理论上能逼近任意连续函数。问题在于，多层网络的训练在1980年代太慢了。

1986年，辛顿和鲁梅尔哈特在《自然》杂志上发表了反向传播的论文。这篇论文展示了多层神经网络可以学习复杂的非线性关系。但训练一个多层网络需要大量的计算资源和时间，当时的计算机性能远远不够。

在1980年代，训练一个简单的三层神经网络可能需要数天时间。训练一个能识别ImageNet级别数据集的深度网络，需要数千倍的计算能力。而这个计算能力，要等到二十年之后才能实现。

三

1990年代，连接主义者在学术界的边缘继续工作。

杨立昆在贝尔实验室开发了LeNet-5，一个用于识别手写数字的卷积神经网络。这个网络在美国邮政系统中被用于自动分拣邮件，每天处理数百万张支票。这是神经网络第一次大规模商业应用。

但LeNet的成功没有引起广泛关注。在学术界，支持向量机成为机器学习的主流方法，被认为在理论上更完备、在实践中更可靠。神经网络被降级为“众多机器学习方法之一”，甚至被排除在一些顶级会议之外。

辛顿在1990年代离开美国，去了加拿大多伦多大学。他说离开的原因是“不想再向DARPA申请经费了”。在加拿大，他继续研究神经网络，但经费来源更加有限。他的学生中，有些人选择了更“安全”的研究方向，有些人离开了学术界。

但辛顿坚持了下来。他在2006年发表了一篇论文，提出了“深度信念网络”的概念，展示了如何用无监督学习方法预训练深度网络。这篇论文重新点燃了学术界对深度学习的兴趣。

2012年，辛顿和他的学生亚历克斯·克里泽夫斯基、伊利亚·苏茨克维参加了ImageNet图像识别大赛。他们用深度卷积神经网络训练了一个模型，以超过第二名10个百分点的成绩夺冠。这个比赛的结果震惊了整个计算机视觉界。

那一年，辛顿65岁。他在神经网络领域坚持了四十年，终于等到了属于他的时刻。

四

杨立昆的故事，是另一种坚持。

1980年代，杨立昆在巴黎读博士时，就开始研究卷积神经网络。他相信，图像识别的关键在于局部连接和权重共享——这符合大脑视觉皮层的结构。他在1989年加入贝尔实验室，开发了LeNet。

LeNet在邮政编码识别和支票数字识别上取得了成功，但杨立昆没有止步于此。他继续研究更深的网络、更复杂的任务。1990年代，他把卷积神经网络应用于人脸检测、文本识别和医学图像分析。

2000年代，杨立昆在纽约大学继续研究。他的团队开发了多个重要的技术：2007年，他们提出了“深度卷积网络”的概念；2010年，他们开发了卷积网络的可视化工具；2011年，他们展示了卷积网络在ImageNet上的潜力。

2013年，杨立昆加入Facebook，担任AI研究院院长。在他的领导下，Facebook的AI研究团队成为全球最大的AI研究机构之一。他继续推动卷积神经网络的发展，并积极参与AI伦理和安全的公共讨论。

五

约书亚·本吉奥的故事，是第三条路径。

本吉奥在MIT读博士后时，研究的是语言模型和注意力机制。1990年代，他在蒙特利尔大学建立了自己的实验室，专注于神经网络在自然语言处理中的应用。

2000年代，本吉奥团队开发了多个重要的技术：2003年，他们提出了“神经概率语言模型”，用神经网络学习词向量；2014年，他们提出了“注意力机制”，让神经网络能关注输入序列中的关键部分；2015年，他们提出了“神经机器翻译”，用端到端的神经网络替代传统的统计机器翻译。

这些技术后来被证明是Transformer架构的前身。2017年，谷歌的Transformer论文发表，其核心思想——自注意力机制——正是本吉奥团队在2014年提出的注意力机制的延伸。

2018年，本吉奥因在深度学习领域的贡献获得图灵奖。他在获奖演说中呼吁研究者关注AI的社会影响和伦理问题。

六

三巨头的坚持，最终改变了整个AI领域。

2012年的ImageNet突破之后，深度学习迅速成为AI研究的主流。2015年，谷歌的AlphaGo击败人类围棋冠军。2017年，Transformer架构发表。2020年，GPT-3发布。2022年，ChatGPT发布。

这些突破的背后，是三十年的蛰伏和积累。如果辛顿、杨立昆和本吉奥在1980年代或1990年代放弃了，深度学习的革命可能永远不会发生。

但他们坚持了下来。他们的坚持不是盲目的。他们相信神经网络的数学基础——反向传播能学习非线性函数、卷积能捕捉局部模式、注意力能处理长距离依赖。他们相信计算能力的增长会最终让这些数学基础变成实际能力。

他们是对的。

七

三巨头的故事，有一个共同的结构。

他们都是“逆流者”。在符号主义主导的年代，他们坚持连接主义。在专家系统繁荣的年代，他们研究神经网络。在AI寒冬中，他们继续工作。

他们的坚持，不是“相信直觉”，是“相信数学”。辛顿在1980年代就证明了反向传播的数学正确性。杨立昆在1990年代就证明了卷积网络的数学优越性。本吉奥在2000年代就证明了注意力机制的数学有效性。他们知道，这些方法在理论上是成立的，只是计算能力暂时不够。

他们等到了计算能力足够的那一天。

辛顿在2018年图灵奖获奖演说中说了一句话：“我们花了三十年才让这个领域被接受。但真正的突破，才刚刚开始。”这句话，是对三十年蛰伏最准确的总结。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～