趋势分析之深度学习

AMiner全新功能技术趋势分析Trend analysis（http://trend.aminer.cn）基于AMiner 2亿篇论文数据进行深入挖掘，包括对技术来源、热度、发展趋势进行研究，进而预测未来的技术前景。技术趋势分析描述了技术的出现、变迁和消亡的全过程，可以帮助研究人员理解领域的研究历史和现状，快速识别研究的前沿热点问题。

我们目前已发布了6期分析内容，具体如下：

• 趋势分析之人工智能

• 趋势分析之自动驾驶技术

• 趋势分析之大数据

• 趋势分析系列之区块链

• 趋势分析之计算机视觉

• 趋势分析之数据挖掘

深度学习（deep learning）的概念源于人工神经网络的研究，2006年Hinton等人提出了深度学习这一概念，深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像、声音、文本等。

下面我们将用Trend analysis分析深度学习技术领域内的研究热点。

下图是当前该领域的热点技术趋势分析，通过Trend analysis分析挖掘可以发现当前该领域的热点研究话题Top10如下：

• deep learning

• neural network

• speech recognition

• feature extraction

• hidden markov models

• unsupervised learning

• face recognition

• restricted boltzmannmachines

• boltzmann machine

• deep neural network

根据Trend analysis的分析我们可以发现，该领域当前最热门的话题是deep learning，2009年开始deep learning的话题热度迅速上升，论文发表数量也在不断增加，尽管13年热度开始有所下降但论文发表数量仍然较大；hidden markov models和speech recognition的研究热度从2009年开始迅速上升成为领域内最热门的研究话题Top 2；变化幅度波动较大的face recognition则是在2005年-2009年近十年的期间内一度占据当时热门话题榜首，09年之后热度开始逐渐下降。

“深度学习三巨头”之一的Yoshua Bengio教授是机器学习大神之一，尤其是在深度学习领域，业内戏称他与同样活跃于加拿大的“神经网络之父”Geoffrey Hinton和“卷积网络之父”Yann LeCun为“加拿大黑手党”（Canadian Mafia）。Bengio的主要研究领域是深度学习（Deep Learning）和自然语言处理（Natural Language Processing）。在30余年的深度学习研究生涯里，他发表了300多篇学术论文，累计被引用次数超13.8万次。

Yoshua Bengio出生于巴黎，成长于加拿大，现居加拿大蒙特利尔，在蒙特利尔大学（University of Montreal）计算机科学与运算系任教授。他于1991年获得加拿大麦吉尔大学（McGill University）的计算机科学博士学位。

20世纪80年代，大学时期的Bengio对深度学习产生兴趣并正式进入人工智能研究领域。那时，深度学习还是一个非常冷门的领域。从1997年深蓝击败卡斯帕罗夫到2011年沃森赢得《危险边缘》，这中间经历了漫长的人工智能寒冬，Bengio曾感慨，很长一段时间里，几乎从来没有人深入挖掘它。但Bengio似乎沉浸其中，他建立了蒙特利尔学习算法研究所（Montreal Institute For Learning Algorithms, MILA）并担任科学主任，还构建起蒙特利尔的人工智能生态系统。他是加拿大统计学习算法研究主席，也在2009年担任了机器学习顶级会议NIPS的主席（General Chair）。

去年11月7日，Bengio教授曾受邀到清华作《深度学习AI迈向人类水平的挑战》主题讲座。在讲座中，Bengio教授表示目前的人工智能距离人类水平仍然十分遥远，当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战，即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容，如何实现对抽象特征的多层次学习，如何更好地进行表示学习，使用判别器优化信息间的独立性、相关性和熵，BabyAI框架等话题。

演讲视频如下（由于上传限制原因，视频分成2部分，愿大家谅解。）

第1部分

第2部分

深度学习目前已经成功应用于计算机视觉、语音识别、自然语言处理等领域，正潜移默化地改变着我们的生活方式。