神经网络之父Hinton再审视34年前的奠基性成果，欲在大脑中搜寻AI方法的“存在”

栏目: IT技术 · 发布时间: 4年前

直到现在，几乎你听说过的每一个关于人工智能的进步，仍基于 30 年前的一篇阐述多层神经网络训练方法的论文演变而来。

那就是 Geoffrey Hinton 在 1986 年写下的《Learning representations by back-propagation errors》。

这篇论文具有重要的意义，可以说是代表着反向传播算法（Backpropagation algorithm）首次被引入到多层神经网络训练，为后来该算法的推广埋下伏笔，尤其是为人工智能在最近 10 年的发展奠定了基础，但要保持这种进步，还得清醒地面对人工智能的局限性。

神经网络之父Hinton再审视34年前的奠基性成果，欲在大脑中搜寻AI方法的“存在”

而作为反向传播的提出者，现已 72 岁的 Geoffrey Hinton ，仍然站在反思（甚至质疑）反向传播的第一线。在 2017 年时，他还曾明确表示，“我们需要放弃掉反向传播算法，重新开辟一条新的路径。”

从 Hinton 本人的实践看来，解谜人的大脑将被包含在这种路径之中，近年来，这位 “人工神经网络之父” 频频表现出了其对脑科学研究的浓厚兴趣，并发表了一定数量的有关脑神经科学的论文。

最近，Geoffrey Hinton 撰写了一篇名为 Backpropagation and the brain 的文章，论文发表在 Nature Reviews Neuroscience ，陈述了他对于反向传播的最新思考。从研究思路来看，他希望探讨人脑中存在反向传播机制的可能，而这一方向曾在神经科学领域广受质疑。

反向传播支配下的人工神经网络

反向传播在 AI 领域的地位是主导性的，尤其是它在人工神经网络（Neural Networks，NNs）中发挥的作用。

要理解这一概念，你可以首先把人工神经网络想象成一块有很多层的三明治。每层都有人工神经元，也就是微小的计算单元。这些神经元在兴奋时会把信号传递给相连的另一个神经元（和真正的神经元传导兴奋的方式一样）。每个神经元的兴奋程度用一个数字代表，例如 0.13 或 32.39。两个神经元的连接处也有一个重要的数字，代表多少兴奋从一个神经元传导至另一个神经元。这个数字是用来模拟人脑神经元之间的连接强度。数值越大，连接越强，从一个神经元传导至另一个神经元的兴奋度就越高。

以深度神经网络最成功的应用图像识别为例，正如 HBO 的电视剧《硅谷》中就有这样一个场景：创业团队开发了一款程序，能够辨认图片中有没有热狗。

要让它们发挥作用，首先需要一张图片。举一个简单的例子，让神经网络读取一张宽 100 像素、高 100 像素的黑白照片，输入层每一个模拟神经元的兴奋值就是每一个像素的明亮度。那么，在这块三明治的底层，一万个神经元（100x100）代表图片中每个像素的明亮度。

然后，将这一层神经元与另一层神经元相连，假如一层上有几千个神经元，它们与另一层上的几千个神经元相连，然后一层一层以此类推。最后，这块三明治的最顶层，即输出层，只有两个神经元，一个代表“热狗”，另一个代表“不是热狗”。这个过程是为了训练神经网络在图片中有热狗时将兴奋仅传导至第一个神经元，而在图片中没有热狗时将兴奋仅传导至第二个神经元。这种训练方法就是 Hinton 开发的反向传播技术。

当你刚刚创建一个神经网络时，神经元之间连接的强度是随机的。换句话说，每个连接传导的兴奋值也是随机的，就像人脑中的突触还没有完全成形。

反向传播发挥的作用就是通过改变数值，在输入不变的情况下提高输出的敏感度（类似于通过负反馈校准），从而让神经网络实现特定的目标。它是实现人工神经网络中非常重要的技术，作为训练神经网络的基本算法之一，它让神经网络变得更加“智能”。

现在来看，反向传播的原理其实并不复杂，但它需要大量的数据才能达到最佳效果。这也是为什么这项技术于 30 年前提出，但直至近年来数据作为最基本 “粮食” 到位之后，才在现实生活中产生巨大价值。

问题在于，反向传播是 Hinton 作为计算机科学家设想出来的一种工程方法，它让机器更加智能，但这种机制真实存在于人的大脑中吗？如果要让机器朝着仿生人脑的路径实现更高层次的类人的智能，这个问题或将难以回避，也正是 Hinton 最新论文讨论的核心。

最新论文：反向传播在人脑中存在的“蛛丝马迹”

人工神经网络中，反向传播试图通过使用对突触权值的微小改变来减少误差。

在这篇最新研究中，Hinton 团队认为，尽管大脑可能不存在完全依照反向传播的概念运作，但是反向传播为理解大脑皮层如何学习提供了新的线索。

已知的是，人脑通过调整神经元之间的突触连接来进行学习，不过由于皮层中的突触被嵌入到多层网络中，这使得很难确定单个突触修饰对系统行为的影响。

虽然反馈连接在大脑皮层中无处不在，但很难看到它们如何传递严格的反向传播算法所需的错误信号。在这里，我们在过去和最近的发展基础上，论证了反馈连接可能会诱导神经活动，而这些神经活动的差异可以用来局部近似这些信号，从而驱动大脑中的深度网络的有效学习。

最近的工作表明，与灵长目动物视觉皮层腹侧流中表征的其他模型相比，反向传播训练模型与所观察到的神经反应匹配程度更高，而且未使用反向传播训练的模型（如使用 Gabor filter 的生物启发模型，或使用非反向传播优化的网络）的性能不如使用反向传播进行优化的网络。

神经网络之父Hinton再审视34年前的奠基性成果，欲在大脑中搜寻AI方法的“存在”

因此团队认为，反向传播对比之下体现的实用性和效率，至少暗示了大脑存在利用误差驱动的反馈进行学习，而这正是反向传播的核心思想。

Hinton 团队将这种基于活动状态误差驱动突触变化的学习机制称为 NGRAD（neural gradient representation by activity differences）。

“反向传播这一概念的引入在神经科学领域引起了轰动，它可能成为深入了解大脑皮层学习的一个开端。但反向传播与大脑皮层的相关性很快遭到质疑——部分原因是它在人工系统中未能产生优秀的表现，且具有明显的生物学不可靠性。随着更强大的计算能力、更大的数据集和一些技术改进的出现，反向传播现在可以训练多层神经网络来与人类的能力竞争。NGRAD 以一种与我们认为的生物回路运作方式一致的方式解决了反向传播的重大不可靠性”，文中写道。

团队也指出，局限性在于，虽然越来越多证据表明使用反向传播训练的多层网络有助解释神经数据，但关于如何在皮层中实现类反向传播的学习仍有很多疑问，例如在反向传播中，传递的误差信号不影响前向传播产生的神经元的活动状态，但是在大脑皮层，这些连接会对前馈传播产生的神经活动产生影响，大脑皮层的反馈连接不仅可以调节、激活还可以驱动活动，这比反向传播要复杂得多。

仍有疑问：AI 与大脑会越走越远，还是越走越近？

针对这篇探讨大脑中是否存在反向传播机制的研究，北京大学信息科学技术学院教授、北京智源人工智能研究院院长黄铁军教授解读道：“我在 GATIC 2017 就曾提出一个观点，即人脑的神经网络结构是进化大数据训练的结果。大脑的结构是亿万年‘优胜劣汰’的进化过程造就的，我认为，这个过程很可能存在广义的反向传播机制。

“这就像深度学习中，反向传播把一个无结构的多层人工神经网络训练成为一个具有特定结构的专用网络，大脑进化也是把不断增生的没有特定结构的皮层，逐渐训练成分工明确、结构基本确定的神经网络。后天学习只是微调，而不能改变大脑的基本结构。

“ 我认为，反向传播如果发挥作用的话，也主要是在大脑先天结构的形成过程中，而不是在后天学习过程中。包括这篇文章在内，许多学者正在从个体大脑的后天学习中寻找反向传播机制，但这可能没有瞄准方向”，他说。

他以视觉系统为例解释道：“人类视觉系统的神经网络结构在出生时是基本确定的，例如初级视皮层 V1 到 V4 的分区和区间连接关系都是确定的，婴儿期接受真实的视觉刺激，进行突触修改，V1 以及大部分视觉皮层的突触就此固定下来，形成我们的视觉功能，注意，婴儿期只是突触修改，并没有改变 V1 到 V4 的这种基本结构，相比之下，深度学习的起点并不是这样一个先天形成的有基本结构的神经系统，只是一个多层的神经网络，可以被训练成视觉网络，也可以被训练成语言网络，因此，深度学习的训练过程，实际上是在重复大脑亿万年进化要完成的结构生成任务”。

黄铁军认为，从自然环境对人脑的 “训练” 来看，反向传播是可能的训练手段。

“亿万年生物进化过程的大数据就是地球环境，训练机制也丰富多样，反向传播可能是其中之一。深度学习算力再强，大数据再大，也都难以望其项背。“因此，我们说，模仿生物大脑已经训练好的神经网络结构，而不是从零开始寻找结构，才是实现更强智能的更快捷的道路”，他说。

当然，这些诸多可能性仍待计算机科学家、神经科学家们共同推动探索。

需要指出，尽管深度学习这一概念在诞生初期仍有神经科学的影子，但近年随着深度学习本身的快速发展，它也愈发自成一派，几乎与神经科学无关联：研究深度学习的专家们专注于提升算法，而神经科学家们探讨的问题也基本上和人工深度神经网络无关。

如 Hinton 团队这样，采用深度学习中发展出的思想来研究大脑并非主流，却是希望在神经科学与现有的人工智能（尤其以深度学习技术为代表）建立更多连接。

正如 Hinton 团队在文章结尾所言：“30 年前人们认为神经科学可能没什么可学的，因为从生物学角度看反向传播算法有些方面是不现实的。随着梯度学习算法在深度神经网络表现出强大的学习能力，我们开始思考大脑的高效学习非常有可能近似计算梯度”。

AI 算法与人类大脑会越走越远，还是越走越近？相信未来还会有更多人加入到探寻该问题答案的队伍中。

-End-

神经网络之父Hinton再审视34年前的奠基性成果，欲在大脑中搜寻AI方法的“存在”