图灵71年前就已提出神经网络！《智能机器》再掀热议

来源：Reddit、alanturing.net

编辑：小芹、张佳

【新智元导读】早在 1948 年，图灵就写了一篇题为《智能机器》的论文，描绘了现在成为人工智能核心的许多概念，包括遗传算法、神经网络、强化学习等。在没有电子计算机的年代，图灵用纸和铅笔做出了这项开创性的研究，在今天引发热议。

很少人知道，早在 1948 年，艾伦 · 图灵就写了一篇题为 《智能机器》(Intelligent Machinery) 的论文，描绘了人工智能中联结主义的大部分内容。

这篇论文是图灵在伦敦国家物理实验室工作时写的，但没有得到他的老板的认可。当时的实验室主任查尔斯 · 达尔文爵士称这是一篇 “学生论文”，并写信给图灵，抱怨论文“满是脏痕” 外观。

事实上，这篇具有远见卓识的论文是关于人工智能的第一个宣言，但遗憾的是图灵从未发表它。

在这篇论文中，图灵不仅阐述了联结主义的基本原理，而且出色地引入了许多 后来成为人工智能核心的概念 ，包括具有学习能力的 遗传算法和神经网络 （他称之为 “ 无组织机器 ”）、甚至 强化学习 的思想。当然，这些概念是在其他人重新发明之后才成为核心的。

图灵在论文摘要中写道：

这篇文章讨论了使机器显示出智能行为的可能方法。指导原则是与人脑的类比。本文指出只有提供适当的教育，机器才能实现人的智慧潜能。研究主要围绕一个应用于机器的类似教学过程展开。定义了无组织机器 (unorganized machine) 的概念，并提出婴儿期的人脑皮层具有这种性质。本文给出了这类机器的简单例子，并讨论了它们的奖惩教育。在一种情况下，教育过程一直进行到它的组织性与 ACE 类似为止。

(注：ACE 是指 Automatic Computing Engine, 图灵设计的一种早期的电子计算机。)

艾伦·图灵

图灵说：我提议研究这样一个问题：机器是否有可能表现出智能行为。人们通常想当然地认为这是不可能的。常见的说法如像机器一样做事”、“纯粹的机械行为” 等揭示了这种常见的态度。

图灵 1948 年论文引热议：一个对深入了解大脑痴迷的家伙

这篇论文在 Reddit 上引发了热烈讨论。

有人评论：像这样的论文 今天几乎会被所有 “顶级” 人工智能会议和期刊拒绝 ，但我不得不说，我很欣赏它的简洁性和直接性（和诚实）。这在图灵的那个时代是很受重视的。那时编辑想到的第一件事不是：“这篇会得到多少引用？”

有人评论：从长远来看，我认为跨学科是一种方法，但考虑到可用的计算和数据量以及仍未触及的领域或问题，你可以通过试验和使用蛮力获得一些结果。对于有哲学背景的人来说，这是一篇非常好的读物。

也有人 一语中的： 这个家伙(图灵)实际上是对深入了解大脑过程痴迷 。

谷歌大脑研究科学家 Divid Ha 推荐了这篇论文：图灵在 1948 年提出利用进化来 “训练” 一种特殊类型的神经网络，他称之为 “B 型无组织机器”。他发展了二进制网络来执行当时的各种任务。

图灵是一个有远见的人。他理解这种机制所需的复杂性。我们的 “深度网络” 在信息处理的复杂性方面非常浅：它们甚至无法推断任意长度的分支多米诺骨牌链的结果。

那么，图灵这篇独创性的论文讲了什么？新智元带来解读：

图灵提出“无组织机器”：类比婴儿的大脑皮层

图灵在这篇论文中提出了 “无组织机器”(unorganized machine) 的概念，他认为 人类婴儿的大脑皮层就是一种 “无组织机器”，可以通过适当的干扰训练来有组织化。

图灵将无组织机器定义为 在初始时大部分结构随机，但是能够被训练去执行特定的任务的机器 。

实际上，图灵的无组织机就是一种早期的 随机连接神经网络模型 ，是对真实神经网络系统最简单的猜想之一。

图灵定义了两个类型的无组织机器。第一种是 A 型机器 —— 这些机器本质上是由 NAND 逻辑门随机连接的网络。

第二种被称为 B 型机器 ，它采用 A 型机器的结构，并使用一个称为 connection modifier 的结构来替换每个节点间的连接。connection modifier 的目的是让 B 型机接受  “适当的干扰，模仿教育” ，以便将网络的行为有组织化，以执行有用的工作。

B 型无组织机可以说是一种神经网络，由人工神经元组成，如下图的圆圈所示；connection-modifiers 如下图的方框所示。

B 型网络中的两个神经元

在 “遗传算法” 这个术语被创造出来之前，图灵甚至提出使用他称为 “genetical search”的机制来配置他的无组织机。

图灵认为，当网络中的节点数量较大时，B 型机器的行为可能非常复杂，并指出 “从进化和遗传学的角度来看，大脑皮层作为一个无组织机器的观点是非常有道理的”。

图灵的神经网络是如何工作的

如上图所示，每个神经元有两个输入，神经元的输出是两个输入的简单逻辑函数。网络中的每个神经元都执行相同的逻辑操作，称为 “ Nand ”。

Nand 的定义如下表所示:

中断模式 (interrupt mode) 下 ,connection-modifier 的输出总是 1。因此，如果神经元的一个输入连接在中断模式下通过 connection-modifier 传递，那么神经元的输出与第二个输入的任何内容完全相反 (或称 “布尔否定”)。

例如，表格的前两行显示了当 INPUT-1 在中断模式下连接到 modifier 时会发生什么。在这种情况下，神经元的输出与 INPUT-2 相反。

图灵选择 nand 作为他的模型神经元的基本操作，因为其他逻辑 (或布尔) 操作都可以由一组 nand 神经元执行。图灵表明，甚至连 connection-modifier 本身也可以由 nand-neuron 构成。因此，每个 B 型网络都可以由 nand-neuron 及其连接组成。 这是大脑皮层的最简单模型 。

下面是一个 B 型无组织机的例子，图灵将这个例子描述为 “随机选择”

你能弄清楚这个网络的行为吗？

下面是一个更大的 B 型网络的例子，其中神经元自由互联：

大型初始随机 B 型网络的一部分

在没有电子计算机的时代，用纸和铅笔模拟大脑

大脑中一个神经元的大量输出可以直接或通过一些中间的神经元链与神经元自身的输入相连。

神经科学家长期以来强调大脑反馈的重要性和普遍性。例如，大脑利用反馈来帮助我们把注意力集中在某些感知上，而不是排斥其他感知。Stefan Treue 和 John Maunsel 最近发现，当一只猴子的注意力集中在电脑屏幕上几个独立移动的点中的一个点上时，反馈会从较高皮层的神经元返回到识别运动的下部皮质区域的神经元。

这种反馈作用是抑制神经元的活动，这些神经元对无参与点的运动作出反应。然而，尽管反馈在大脑中很重要，但在现代的连接主义网络中很少使用。相反，B 型网络中的神经元相互连接非常自由，像大脑一样，一个大的网络通常会充满反馈。

图灵希望研究更复杂的大脑皮层模型。他渴望做现代连接学家能够做的事情：用一台普通的数字计算机模拟神经网络及其训练方案。

他说，他将 “允许整个系统运行一段相当长的时间，然后作为一种’学校督察员’介入，看看能取得什么进展”。但他自己对神经网络的研究是在第一台通用电子计算机投入使用前进行的，当时他只能用纸和铅笔。

后来，他将注意力转向现在所谓的人工生命的相关研究。直到 1954 年，也就是图灵去世的那一年， B.G. Farley 和 W.A. Clark 才在 MIT 成功地运行了第一个小型神经网络的计算机模拟。

图灵的原始论文：

https://weightagnostic.github.io/papers/turing1948.pdf

解读：

http://www.alanturing.net/turing_archive/pages/Reference%20Articles/connectionism/Turing’s%20neural%20networks.html