从语音到金融：邓力的人工智能30年

从早期的神经网络研究到创造性解决语音识别任务，再到投身金融领域，机器学习大牛邓力已经在人工智能领域叱咤三十余年。他首次将深度神经网络技术应用于语音识别领域，性能超越之前的方法。在语音识别技术日趋成熟之际，他果断「转行」投身金融，加盟对冲基金巨头 Citadel。本文简单介绍了邓力的 AI 之旅。11 月 10 日，邓力将在 AI Frontiers 大会做主题演讲，介绍如何使用 AI 前沿技术抓住机遇，解决挑战。

邓力的人工智能之旅已跨越 30 余年。在担任过公司研究员、大学教授并在语音研究领域占有一席之地之后，邓力一头扎进了金融界：2017 年 5 月，他辞去了微软首席人工智能科学家的职位（尽管他曾在那领导微软的人工智能学校并创立了深度学习技术中心），加入了市值 300 亿美元的对冲基金 Citadel 并担任首席人工智能官（Chief AI Officer）。同时辞去的还有任教超过 17 年的华盛顿大学附属教授职位。

和邓力一样，AI 领域的其他知名教授也经历过职场变动。卡内基梅隆大学机器学习系主任 Manuela Veloso 今年 5 月加入摩根大通，领导该公司的人工智能研究实验室。《The Master Algorithm》作者、华盛顿大学计算机科学教授 Pedro Domingos 最近加入了对冲基金巨头 DE Shaw，领导其新的机器学习研究小组。

自从资本市场有大量数据可用之后，金融领域的 AI 应用程度就越来越高。金融领域需要复杂的机器学习方法来自动处理数据和预测。邓力表示，「我觉得现在金融领域已经非常成熟了，可以让人工智能来大显神威。」

作为一名成就斐然的科学家，邓力已经发表了 300 多篇学术论文，并写了一些 AI 相关的书籍。他特别擅长深度学习。邓力认为，深度学习将很快掌握预测价格走势或做出明智交易决策的能力。

在神经网络领域的早期工作

20 世纪 80 年代中期，邓力进入威斯康星大学麦迪逊分校攻读博士学位，主攻电气工程方向。这段时期，邓力试图创建人类听觉模拟和语音识别神经模型，然而进展并不顺利，因为当时的计算机无法为大型神经网络提供足够的计算能力，这也是导致邓的神经网络研究停滞不前的原因之一。

然而，邓力并没有放弃。在以助理教授的身份加入加拿大滑铁卢大学之后，他和他的一名学生于 1993 年提出了一种增强神经网络记忆的新模型。该模型虽然是一个完整的系统，但性能仍无法超越隐马尔可夫模型。

他博士论文的外审是深度学习知名大牛 Geoffrey Hinton。在读过论文后，Hinton 告诉邓力，在这个阶段，想要在神经网络方面有所突破太难了。这一令人失望的结果使得邓力远离神经网络研究，在之后的许多年转向贝叶斯统计方法和生成模型研究。

将深度神经网络应用于语音识别

在深度学习兴起之前，浅层的机器学习方法（如隐马尔可夫模型和高丝混合模型）已经主导了该领域将近 30 年。

邓力离开滑铁卢大学后，于 2000 年加入微软，专注于使用贝叶斯方法进行语音识别研究。但是结果不尽如人意，因为多层贝叶斯网络的计算机复杂度呈指数级增长。

2006 年，Hinton 发表了论文《A fast learning algorithm for deep belief nets》。论文表明，即使使用三个隐藏层，网络仍然能够对手写数字图像及其标签的联合分布生成表现良好的生成模型。邓力对此很感兴趣，他意识到或许可以尝试将深度神经网络应用于语音识别。

在 NIPS 2009 会议上，邓力和 Hinton 联合组织了「Deep Learning forSpeech Recognitionand Related Applications workshop」。他们首次证明，使用新方法训练的深度神经网络在大量语音识别基准上优于之前的方法。研究结果发表在论文《DeepNeural Networks for Acoustic Modeling inSpeech Recognition》中，该论文由 Hinton 和邓力合著，于 2012 年发表。

「深度学习可以实现语音信号的时间和空间表示，从而改变语音识别的原有机制，从这个层面上讲机器学习是变革性的。」邓力说道。

接下来的时间里，邓力及其团队将多种不同的深度学习方法应用于语音，包括LSTM循环神经网络、深度卷积神经网络、序列学习和集成学习。这些创新极大提升了语音识别的准确率，且被成功整合进语音理解和语音翻译中。

2015 年，凭借在深度学习与自动语音识别方向做出的杰出贡献，邓力获 IEEE 技术成就奖。

金融领域新征程

近年来，语音识别技术已经成熟。邓力也准备迎接新的挑战。目前他领导对冲基金公司 Citadel 的人工智能团队，Citadel 是世界最大的另类资产管理基金之一，管理超过 300 亿美元的资产。

Citadel

从语音识别领域转到金融领域并不容易。尽管这两个领域有很多相似之处，比如市场数据和语音数据本质上都是序列性的，但金融数据面临一些重要挑战：

1. 尽管市场和资本数据体量呈指数级增长，但有用信息的增长并非如此。金融数据的信噪比更低，这意味着大部分信息只是噪声。投资者必须区分信号和噪声。

2. 非平稳性是另一项挑战。金融市场中的很多参与者互相竞争，因此需要清除大量伪数据。

3. 金融数据的多样性比语音数据的更复杂，数据类型包括文本、图像、语音、市场数据等。「要解决数据问题，经济和金融知识和模型会有用武之地。」邓力说道。

今天，邓力的研究重点在于利用机器翻译系统解释文本数据，以提升量化投资。如何将前沿 AI 研究应用到当前的机会和挑战呢？我们期待邓力的演讲。

2018 年 11 月 10 日，邓力将在于加州圣荷西举办的 AI Frontiers 大会上发表演讲。AI Frontiers 大会汇集了 AI 领域的思想领导者，展示前沿研究和产品。除了邓力以外，其他演讲者还包括：Ilya Sutskever（OpenAI 创始人）、Jay Yagnik（Google AI 副总裁）、李开复（创新工场 CEO）、Mario Munich（iRobot 高级副总裁）、Quoc Le（谷歌大脑团队成员）、Pieter Abbeel（加州大学伯克利分校教授）等。

点击「 阅读原文 」，查看大会官网信息。