“神经网络”的逆袭：80年AI斗争史

有人的地方，就有斗争。

华山派有“剑宗”和“气宗”，相互斗了几十年。人工智能界也有“山头”，AI两大派系的斗争早在第一台电子计算机问世前就已经开始了。

这两大派系就是：

• “符号主义”（Symbolicism），又称逻辑主义、计算机学派，主张用公理和逻辑体系搭建一套人工智能系统。

• “连接主义”（Connectionism），又叫仿生学派，主张模仿人类的神经元，用神经网络的连接机制实现人工智能。

在符号主义者的眼里，人工智能应该模仿人类的逻辑方式获取知识，而连接主义者奉行大数据和训练学习知识。

派系斗争与两次AI危机

早在达特茅斯会议之前，图灵就提出过“图灵机”这样的人工智能前沿概念。斗争之初的几十年间，连接主义派的论文引用率一直领先对手。

别看奉行“连接主义”的机器学习如何风光，早年间他们长期受到另一个派别——“符号主义”者的鄙视。

60年代初，美国国防高级研究计划署（DARPA）对AI领域进行了数百万美元的投资，人工智能也迎来的第一黄金发展期。

第一次AI危机

情况在1969年起了变化，“符号主义”代表人物 马文·明斯基 （Marvin Minsky）写了一本名为《感知器》（Perceptron）的书，结果直接把神经网络给写死了。

感知器是那个年代的神经网络。明斯基在书中向“连接主义”发难，你们的感知器连最基本的异或（XOR）都做不到，做出来还有什么用？

也是在那一年，闵斯基获得了图灵奖。

“符号主义”派胜利后不久，AI就迎来了第一次寒冬。或者说，计算力的匮乏导致了第一次AI寒冬，帮助“符号主义”实现逆袭。

符号主义的 高峰

到了70年代中期， 专家系统 （expert system）的出现带来了AI的黄金时代。它其实就是一套计算机软件，能够模拟人类专家回答问题，不过它的智能仅局限在一个很窄的领域，说它是“活字典”可能更准确。

与此同时，“连接主义”也在悄悄发展，约翰·霍普菲尔德（John Hopfield）在1982年发现了具有学习能力的神经网络算法。

就在“符号主义”志得意满的时候， Lisp machine 的失败让两派力量再次发生了逆转。Lisp是当时研究AI领域常用的编程语言，Lisp machine是专门被优化用来运行Lisp 程序 的计算机。

80年代，研究AI的学校都买入了这种机器，最后却发现用它们做不出来AI。之后就出现了IBM PC和苹果机，比Lisp machine便宜，运算力更强。

Lisp machine顺理成章“狗带”，AI进入第二次寒冬。

连接主义的逆袭

“连接主义”者在这时候也找到了更简单的统计方法： 支持 向量 机 （SVM），它消耗的计算资源更少。之后， 长短期记忆 （LSTM）算法也被提出。

后来的事情，你们也知道了，深度学习终于又重新霸占了学术和工业界。

时间再回到当下，从2010年开始，机器学习成为AI行业主导。人工智能在机器学习的帮助下，取得了巨大的成就，标志着AI的彻底复苏。如今最热的AI概念均出自“连接主义”派。

近年来，计算机硬件的发展更是让“连接主义”如鱼得水，连手机的计算力都能完成识图的任务，深度学习能实现“反杀”也就不奇怪了。

双方代表人物

说到两派的斗争，就不得不提一下双方的“将领”了：

符号主义派： 马文·明斯基 （Marvin Minsky） ，麻省理工人工智能实验室创始人之一，他奠定了人工神经网络的研究基础，早在1951年，他设计构建了第一个能自我学习的人工神经网络机器。

连接主义派： 约翰·霍普菲尔德 （John Hopfield），美国科学家，在物理学和计算机学方面均有很高的成就，1982年发明了联想神经网络，也就是知名的霍普菲尔德网络。

除了这两位名人外，符号主义这边的大牛还有Herbert A. Simon、Allen Newell。如今连接主义当道，这一派的大佬更为我们所熟知：比如Yann LeCun、 李飞 飞、Geoffrey Hinton等人。

关于两派更详细的内容，有兴趣的同学可以看原文（法文）：

https://neurovenge.antonomase.fr