深度学习已经触底？这篇文章的观点令人信服吗？

AI 迎来另一寒冬？这是 2018 年下半年至今我们一直能听到的一种声音。这类唱衰的文章一经发布，总是能博人眼球。这篇发表在 Medium 上的文章探讨了 AI 的历史和现在，泛谈了深度学习的局限性，思考 AI 寒冬的到来。你认同这篇文章的观点吗？

许多人认为，算法可以利用认知意识来超越人类。机器可以在没有人类干预的情况下识别和学习任务。他们完全可以「思考」。许多人甚至提出了我们是否可以打造机器人配偶的问题。

但以上的讨论并非今天才出现的话题。如果我告诉你早在上世纪 60 年代，AI 领域先驱 Jerome Wiesner、Oliver Selfridge 和 Claude Shannon 就坚信这些将发生在不远的将来，你会作何感想？

让我们回到 1973 年，彼时 AI 炒作遇冷。英国议会指定 James Lighthill 爵士起草英国人工智能研究现状报告，该报告批评人工智能研究没有达到其所宣称的效果。有趣的是，Lighthill 还指出了专门的程序（或编程人员）比 AI 表现要好得多，AI 在现实世界环境中没有前景。因此，英国政府取消了所有 AI 研究经费。

在大洋彼岸，美国国防部也曾斥巨资开展 AI 研究，但在遇到同样的挫折后也取消了几乎所有经费，这些挫折包括：对 AI 能力的夸大、高成本无回报，以及在现实世界中看不到期望的价值。

到了 20 世纪 80 年代，日本在人工智能领域大胆尝试，提出了「第五代计算机」项目。然而，在耗费了 8.5 亿美元之后，这一项目不幸流产。

首个 AI 寒冬

20 世纪 80 年代末，AI 进入寒冬，这是计算机科学的一段黑暗时期，组织和政府所支持的人工智能研究都交付失败，造成了沉没成本。这样的失败使 AI 研究消沉数十年。

到了 20 世纪 90 年代，「AI」成了一个骂人的词，这种状况一直持续到 21 世纪初。那时人们普遍相信「AI 没什么用」。编写智能程序的软件公司使用的词是「搜索算法」、「业务规则引擎」、「约束求解器」、「 运筹学 」。值得一提的是，这些珍贵的 工具 的确来自 AI 研究，但由于没有完成更伟大的使命，它们不得不换了个名字。

2010 年左右，情况发生了转变。人们对 AI 的热情重新燃烧起来，图像分类竞赛吸引了媒体的眼球。硅谷坐拥海量数据，首次达到可以让神经网络发挥作用的程度。

到了 2015 年，AI 研究已经占据了财富 500 强公司的大笔预算。通常，这些公司是由于 FOMO（害怕错过）而不是实际用例驱动的，他们害怕被自己的竞争对手甩在后面。毕竟，拥有一个能够识别图像中物体的神经网络是一件酷炫的事情！外行认为天网（SkyNet）具备的强大能力一定会出现。

但这真的是在向真正的人工智能迈进吗？或许只是重演历史，只不过这一次有很多成功用例。

AI 到底是什么？

我曾经很不喜欢「人工智能」这个词。它的概念模糊又深远，且更多的是被营销人员而不是科学家来定义。当然，市场营销和流行语可以说是刺激积极变化和拥抱新思想的必要条件。然而，流行语又不可避免地会导致混乱、模糊。我的新智能手机有「AI 铃声」功能，在嘈杂的环境下会自动加大铃声。我想大概那些可以用一系列「if」条件句或简单线性函数编程的东西都能叫「AI」吧。

如此，人们对「AI」的定义存在广泛争议也就不足为奇了。我喜欢 Geoffrey De Smet 的定义，他认为「AI 解决方案」针对的是那些答案不明和/或存在不可避免误差的问题。这样就包括了从机器学习到概率和研究算法的很多工具。

也可以说，AI 的定义在不断发展，并只包括突破性进展，而昨日的成功（如光学字符识别和语言翻译）则不再被视为「AI」。因此「AI」是一个相对的术语，并不绝对。

近年来，「AI」常与「神经网络」绑在一起，这也将是本文的重点。当然，还有其它的「AI」解决方案，如机器学习模型（朴素贝叶斯、支持向量机、XGBoost）和研究算法。但神经网络无疑是当前最热门、最受追捧的技术。

AI 的「文艺复兴」？

2010 后，AI 宣传再次变得火热的原因仅仅是因为掌握了一项新任务：分类。具体来说，利用神经网络，科学家开发了一些有效的方法来对大多数类型的数据（包括图像和自然语言）进行分类。甚至自动驾驶汽车也属于分类任务，汽车周围道路的每张图像被转化为一组离散动作（汽车、刹车、左转、右转等）。

在我看来，自然语言处理比单纯的分类要更令人印象深刻。人们很容易认为这些算法是有感知的，但如果你仔细研究它们，你会发现它们依赖的是语言模式而不是有意识构建的思想。这会带来一些有趣的结果，比如这些机器人会为你操控骗子：

自然语言处理 最令人印象深刻的壮举可能是 Google Duplex，它能让你的手机代你打电话，特别是预约。但是，你要知道 Google 可能只是为这个特定任务训练、构建甚至硬编码了该「AI」。当然，Google Duplex 的声音听起来很自然，有停顿，如「啊…嗯」，不过，这些仍是通过对语音模式进行操作来完成的，而不是通过实际推理和思考。

所有这些都令人印象深刻，并且肯定有一些有用的应用。但我们的确需要降低期望并停止宣传「深度学习」的能力了。否则，我们可能会发现自己陷入另一个 AI 寒冬。

历史总是相似的

康奈尔大学的 Gary Marcus 写了一篇关于深度学习天花板的文章，并提出了几个发人深省的观点（这篇文章传播开来后，他又写了一份有趣的续篇）。Rodney Brooks 则整理时间表，并通过引用的研究来追踪其人工智能炒作周期预测。

持怀疑观点的人有几个共同点。神经网络需要大量数据，而即使在今天，数据也是有限的。这也是为什么你在 YouTube 上看到的「游戏」AI 示例需要连续几天不断地输掉游戏，直到神经网络找到获胜模式。

神经网络的「深度」在于它们有多层节点，而不是因为它对问题有深度理解。这些层还使神经网络难以理解，甚至其开发者都无法理解。最重要的是，神经网络触及其他问题空间（如旅行推销员问题，TSP）时会出现回报减少的情况。为什么在搜索算法更有效、更可扩展、更经济的情况下，我还要用神经网络解决 TSP 问题？当然了，很多人想使用神经网络解决该问题，但有趣的是，神经网络似乎很少超过任何专门算法。

Luke Hewitt 在《The Unreasonable Reputation of Neural Networks》一文中给出了最好的解释：

仅仅基于单个任务就凭直觉判断智能机器能够用得多广或有多大能力并不是什么好主意。20 世纪 50 年代的下棋机器惊艳了研究人员，许多人将其作为迈向人类水平推理的一大步，但我们现在意识到，在该游戏中达到或超越人类水平比达到人类水平通用智能容易得多。实际上，即使是最优秀的人类也会轻易被简单的启发式搜索算法打败。人类或超人类的表现不一定是在大多数任务中接近人类表现的垫脚石。

我认为应该指出的是，神经网络的训练需要利用许多软件，消耗大量能量。我感觉这是不可持续的。当然，神经网络预测的效率比它训练出来的要高得多。然而，我认为，为了实现人们在神经网络上的野心，神经网络需要更多训练，消耗的能量、成本将指数级增长。当然，计算机越来越快，但芯片制造商能否继续维持摩尔定律？

出于这些原因，我认为又一个 AI 寒冬即将到来。越来越多的专家和博主指出这些局限。企业仍然斥巨资招募最好的「深度学习」和「AI」人才，但我认为企业意识到深度学习并非它们所需只是时间问题。更糟的是，如果你的公司没有谷歌那样的研究预算、博士人才或海量用户数据，那么你很快就会发现你所实践的「深度学习」前景有限。

每个 AI 寒冬之前总会出现很多科学家夸张、炒作其研究的潜力。他们并不满足于称自己的算法能做好一项任务，而是想让算法适应任意任务，或者至少给人这样的印象。例如，AlphaZero擅长棋类游戏，于是媒体的反应是「天啊，通用人工智能到来了！机器人来了！」然后科学家没有纠正他们，而是鼓励他们使用此类词汇。毕竟，降低期待不利于 VC 融资。尽管有一些局限，但 AI 研究者仍然人格化其算法，他们可能出于其他原因，这更像是一个哲学问题，而非科学问题。本文最后将讨论这个问题。

那么，接下来呢？

当然并非所有使用「机器学习」或「AI」的企业实际上使用的是「深度学习」。一个好的数据科学家可能会受雇去构建神经网络，但是在她真正研究这个问题时，构建朴素贝叶斯分类器似乎更合适。对于成功使用图像识别和语言处理技术的公司而言，它们将乐此不疲。但是我认为神经网络并没有走出这些问题空间。

之前的 AI 寒冬对拓宽计算机科学的边界具有很大的破坏性。必须指出有用的工具出自此类研究，如可以在国际象棋比赛中夺冠或在交通问题中最小化成本的搜索算法。简而言之，这些出现的创新性算法通常只擅长一项特定任务。

我想表达的是，很多问题已经有许多被证实有效的解决方案。要想顺利度过寒冬，你最好专注于你想解决的问题并理解其本质，然后为该问题提供一个直观的解决方案路径。如果想对文本信息进行分类，你或许想使用朴素贝叶斯分类器。如果尝试优化交通网络，你或许应该使用离散优化。不用管同辈压力，你可以对卷积模型抱着适当的怀疑态度，并质疑它的正确性。

如果你不买毕达哥拉斯学派的帐，那你最大的努力也就是让 AI「模拟」行为，创造出它有情感与思想的错觉。

关于深度学习不是解决其中大部分问题的正确方法，这篇文章解释的非常明了。不要尝试为自己的问题寻求一种通用的 AI 解决方案，因为你找不到的。

我们的想法真的是点积吗？哲学 vs 科学

本文最后，我想说比起科学问题，这更像是一个哲学问题。我们的每一个想法和感觉只是一些以线性形式相乘、相加的数字吗？我们的大脑只是一个整天做点积运算的神经网络吗？将人类意识简化为数字矩阵，这听起来像毕达哥拉斯学派。或许这正是很多科学家认为可能出现通用人工智能的原因。

如果你不相信毕达哥拉斯学派，那么你所能做的就是让 AI「模拟」一种幻象，即它拥有情绪和想法。一个完全不理解中文的翻译程序可以通过寻找概率模式来模拟出自己理解中文的假象。那么，当你的手机「识别」出狗狗的照片时，它真的认识狗吗，还是它只是看到了它曾见过的数字模式？

在这篇文章的评论区，有读者提出了质疑：

@Toby Walsh：

本文开头有一个经典错误，作者表示「因此，英国政府取消了所有 AI 研究经费。」这种说法是不对的。Lighthill 的报告的确导致 AI 经费减少，但有些地方的 AI 研究仍旧受到政府资助，比如爱丁堡大学（我的 AI 方向博士学位就是 20 世纪 80 年代受英国政府资助在爱丁堡大学取得的）、艾塞克斯大学和萨塞克斯大学。实际上，在 Lighthill 的报告出来十年之后，阿尔维计划（Alvey programme）甚至还大幅增加了 AI 的研究经费。

@Owen Liu：

我认为深度学习架构确实快到极限，但其「应用」并不是这样。

• 第一种类型： 深度强化学习 成功结合了深度学习函数逼近器和传统强化学习（如动态规划），并作出了巨大贡献，开创了学术研究的多种可能性。未来可能会有更多此类例子。

• 第二种类型：几乎没有自动驾驶汽车直接使用神经网络控制汽车。深度学习通常作为感知任务中的一个模块。决策、轨迹追踪和控制都是通过其它算法实现的（如优化技术）。深度学习可用作改变行业的大系统中的一部分（没有深度学习，自动驾驶汽车几乎无法在真实的复杂环境中获得任何合理的结果）。

是的，工具本身正在走向极限，炒作也将慢慢熄火，但深度学习仍然是非常有用的工程技术。

@Kristian：

文章第一部分很不错，但我对后面的内容有些失望。这篇文章并没有真正讨论目前机器学习方法的技术局限，比如它们离模拟真正神经系统还非常遥远，也因此可能缺乏实现通用智能系统所需的灵活性和效率。

原文链接：https://towardsdatascience.com/is-deep-learning-already-hitting-its-limitations-c81826082ac3