LeCun：赋予机器 “常识” ，重新设计神经网络将是AI 研究重点

【编者按】在认识到需要大大加快计算速度以实现人工智能的下一个突破之后，Facebook紧跟亚马逊和谷歌的脚步，正在加紧开发自己的人工智能芯片。这表明，芯片对人工智能研究至关重要。

人工智能研究的进展将与 硬件创新 密切相关。

今天，在2019国际固态电路研讨会(ISSCC)的主旨演讲中，Facebook首席AI科学家Yann LeCun阐述了 深度学习研究的进展将如何影响未来的硬件架构 。他的论文题为《深度学习硬件：过去、现在和未来》(Deep Learning Hardware: Past, Present, and Future)。

并且，LeCun 公开确认Facebook正在自研AI芯片 ，这是Facebook首次发表官方评论，证实了其在芯片领域的雄心。

LeCun表示，对DL专用硬件的需求会不断增加。动态网络、关联存储器结构以及稀疏激活等新的体系结构概念将影响未来需求的硬件体系结构类型。

“这可能要求我们重新发明电路中运算的方式，”LeCun说。今天的计算机芯片通常没有针对深度学习进行优化，即使使用不太精确的计算，深度学习也可以有效。“因此，研究人员正在尝试设计一种新的方式来更有效地表示数字。”

推进AI领域的一个关键因素，尤其是在深度学习方面，将是确保有能够支持它的硬件。

这是LeCun演讲中的一个重要议题，他在会上讨论了一份新的研究报告，概述了未来5到10年芯片厂商和研究人员需要关注的关键趋势。

他说：“无论他们建造的是什么，都将影响未来十年AI的发展。”

在会议开始之前，LeCun与Business Insider就AI领域的发展方向、它对我们日常生活中使用的设备的意义、人工智能的现状以及未来面临的最大挑战进行了讨论。以下是采访的要点。

为了改善AI性能，机器必须在能耗方面做得更好

想象有这样一个真空吸尘器，它不仅聪明到可以为你的起居室绘制地图，以便不会重复清洁同一个地方，它还能在撞到障碍物之前检测到它们。

或者想象有这样一台智能割草机，它可以在修剪草坪时智能地避开花坛和树枝。

LeCun说，这样的小设备要想实现、并流行起来，除了Facebook、Alphabet等正在投资的技术，如增强现实和自动驾驶技术，还需要有更节能的硬件。

更节能的硬件不仅对这类技术的蓬勃发展是必要的，而且对改善Facebook等公司实时识别照片和视频内容的方式也是必要的。LeCun说，要理解视频中发生的事情，将活动转录成文本，然后将文本翻译成另一种语言，以便世界各地的人们能够实时地理解，需要“巨大”的计算能力。

短期内AI将继续在智能手机中得到改进

LeCun认为，未来3年内，大多数智能手机将通过专用处理器将AI直接内置到硬件中，这将使实时语音翻译等功能在手机上更为普遍。

对于那些近年来一直密切关注智能手机行业的人来说，这可能并不意外，因为苹果、谷歌、华为等公司已经将AI更紧密地整合到自己的移动设备中， LeCun 表示，这将使“各种新应用”成为可能。

赋予机器“常识”将是未来10年AI研究的一大重点

虽然人类通常通过一般观察(general observations)来了解世界，但计算机通常被训练来执行特定的任务。举例来说，如果你想设计一种能够检测照片中的猫的算法，你必须帮助它了解猫的样子，方法是提供给它一个巨大的数据集，其中可能包括数千张标记有猫的照片。

但LeCun认为，未来十年，推动AI前进的圣杯在于完善一种称为 自监督学习 (self-supervised learning)的技术。换句话说， 使机器能够通过数据了解世界是如何运转的，而不仅仅是学习如何解决一个特定的问题 ——比如识别猫。

LeCun表示：“如果我们真的训练(算法)做到这一点，那么机器捕捉上下文并做出更复杂决策的能力将会取得重大进展。”他补充说，这样的技术目前只对文本有效，对视频和图像仍然无效。

这样的突破可能是Facebook等公司需要的，用以改进其平台上的内容审核，尽管现在还不知道这样的解决方案何时会出现。LeCun说：“这不是一蹴而就的事情。”

Facebook加入AI芯片竞赛，自研ASIC

Facebook认识到，要想在AI领域实现下一个突破，它需要大大提高计算速度。目前，Facebook已经加入与亚马逊和谷歌的竞争，开发自己的AI芯片。

LeCun 在接受英国 《金融时报》 采访时表示，Facebook 希望与多家芯片公司合作开发新的芯片设计——最近宣布了与英特尔合作开展项目——但他也表示， Facebook正在开发自己的定制 “ASIC” 芯片 ，以支持其AI程序。

LeCun说：“众所周知，Facebook会在需要时构建自己的硬件——例如，构建自己的ASIC。遇到任何障碍，我们都将全力以赴。”这是Facebook首次发表官方评论，证实了其在芯片领域的雄心。

谈到公司在芯片方面取得突破的机会时，LeCun补充说：“ 底层肯定有很大的空间 。”

Facebook自研芯片的决定，对英伟达也构成了又一个长期挑战。英伟达是目前用于数据中心AI的图形处理器的主要生产商。由于大型数据中心客户离开，英伟达正面临短期困境。

现在，更大的需求是更专业的AI芯片，其设计旨在以闪电般的速度、更低的功耗执行单一任务，而不是过去的通用处理器。这种需求不仅吸引了谷歌、亚马逊、苹果等公司的投资浪潮，也吸引了几十家初创企业。

对新的芯片设计和硬件架构的关注表明，需要在基础计算方面取得根本性突破，以防止今天的AI成为一个死胡同。

LeCun 表示，纵观AI的历史，在研究人员提出让该领域得到突破的洞见之前，它往往已经在硬件方面取得了很大的进步。

“在相当长的一段时间里，人们没有想到相当明显的想法，”他说，这阻碍了人工智能的发展。其中就包括反向传播，这是当今深度学习系统的一项核心技术，算法可以通过反向传播来减少错误。 LeCun 表示，这显然是对早期研究的延伸，但直到上世纪90年代计算机硬件发展后，这一技术才得到广泛应用。

Facebook过去也曾设计过其他类型的硬件，例如，在将数据中心设备开源供他人使用之前，为这些设备提出一些新想法。 LeCun 表示，同样的方法也将适用于芯片设计。他补充说：“我们的目标是将其送走。”

重新设计神经网络，模仿更多人类智能

Facebook还将研究重点放在神经网络的新设计上。神经网络是深度学习系统的核心，是图像和语言识别等领域最近进展的基础。

30年前，LeCun在 AT＆T 贝尔实验室研究AI芯片时，构建了第一个“卷积”神经网络，这是目前深度学习系统常用的神经网络。

LeCun 表示，Facebook正致力于“一切可以降低功耗(并)改善延迟的事情”，以加快处理速度。但他补充说，实时监控视频带来的巨大需求，将需要新的神经网络设计。

Facebook也在寻找新的神经网络架构，以模仿人类智能的更多方面，并使系统更自然地进行交互。

LeCun说，Facebook正大力投入于“自我监督”系统，这种系统能够对周围的世界做出更广泛的预测，而不仅仅是得出直接与它们所接受的数据相关的结论。这可以使它们对世界产生同样广泛的理解，从而使人类能够应对新的情况。

“就新用途而言，Facebook感兴趣的一件事是开发智能数字助理——具有一定程度的常识的智能助理，”他说。“它们拥有背景知识，你可以和它们就任何话题进行讨论。”

向计算机灌输常识的想法还处于非常早期的阶段，LeCun表示，这种更深层次的智能“不会很快发生”。

他说：“能够在不确定性下进行预测是当今的主要挑战之一。”

Facebook正在参与一项更广泛的研究努力，旨在增强当今的神经网络。在ISSCC研讨会上，LeCun概述了这项工作。

其中，包括根据通过它们的数据调整其设计的网络，使其在面对现实世界的变化时更加灵活。另一种研究方法是研究只“激活”解决特定问题所需神经元的网络，这种方法与人类大脑的运作方式类似，可以大大降低功耗。

研究工作还包括将计算机存储添加到神经网络中，这样当与人“交谈”时，神经网络就能记住更多的信息，并形成更强的语境感。

神经网络的进步可能会对驱动它们的芯片的设计产生连锁反应，这可能会为制造当今领先AI芯片的公司带来更多竞争。

LeCun 表示，谷歌的TPU——最强大的机器学习数据中心芯片——“仍相当通用”。但“它们做出的假设不一定适用于未来的神经网络架构。”

另一方面，芯片设计的灵活性也有其他缺点。例如，微软计划在其所有数据中心服务器上安装一种不同类型的芯片，即FPGA(现场可编程门阵列)。这些芯片在使用方式上更加灵活，但在处理大量数据方面效率较低，这使它们与专为特定任务而优化的芯片相比处于劣势。