内容简介：说五个关键词，你会想到谁？花书作者，2018年图灵获奖者，银灰卷发，theano，MILA，关于他的故事，且听我细细道来。
说五个关键词，你会想到谁？
花书作者，2018年图灵获奖者，银灰卷发，theano，MILA， 你心中的答案会是Yoshua Bengio么？
关于他的故事，且听我细细道来。
作者&编辑 | 小满&言有三
一头银灰相间的卷发，一对漫画式的粗眉，思考时频频上扬，微笑时又极具表现力，他就是今天的主人公——Yoshua Bengio。
1 30秒了解Yoshua Bengio
Yoshua Bengio（约书亚·本吉奥）因深度学习工作与Geoffrey Hinton和Yann LeCun共同分享了2018年图灵奖，被公认为世界领先的AI专家和深度学习先驱。1964年，出生在法国巴黎，和Lecun童年生活在同一个城市的不同角落，现与Hinton一样选择生活在加拿大，拥有加拿大CIFAR AI主席一职。
Bengio大学就读于麦吉尔大学“计算机工程学”专业，1986-1991年继续修“计算机科学“ 到博士毕业，随后一段时间在麻省理工学院做博士后研究员，1992年到美国AT&T贝尔实验室LeCun小组做学习和视觉算法研究工作。
1993年起，他一直在蒙特利尔大学教书育人，负责计算机科学与运筹学方向。他也是蒙特利尔学习算法研究所（MILA）创始人和科学主任。 MILA，一家独立的非营利组织，世界上最大的深度学习研究小组，拥有来自地球上很多公司和AI创业公司的研究实验室。
2 代表性研究论文
1、LeNet5卷积神经网络提出： LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
2、NLP模型：Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. Journal of machine learning research, 2003, 3(Feb): 1137-1155.
3、逐层训练方法：Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]//Advances in neural information processing systems. 2007: 153-160.
4、AI架构：Bengio Y. Learning deep architectures for AI[J]. Foundations and trends® in Machine Learning, 2009, 2(1): 1-127.
5、Stacked denoising autoencoders提出：Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.
6、Xavier初始化：Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
7、ReLU激活函数使用：Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
8、Theano框架：Bastien F, Lamblin P, Pascanu R, et al. Theano: new features and speed improvements[J]. arXiv preprint arXiv:1211.5590, 2012.
9、RNN训练问题：Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]//International conference on machine learning. 2013: 1310-1318.
10、Maxout激活函数：Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
11、生成对抗网络GAN： Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
12、机器翻译：Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
13、二值神经网络：Courbariaux M, Bengio Y, David J P. Binaryconnect: Training deep neural networks with binary weights during propagations[C]//Advances in neural information processing systems. 2015: 3123-3131.
14、三巨头深度学习综述：LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
15、image caption与attention： Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]//International conference on machine learning. 2015: 2048-2057.
16、深度学习教材：Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
17、语音生成：Sotelo J, Mehri S, Kumar K, et al. Char2wav: End-to-end speech synthesis[J]. 2017.
Yoshua Bengio总的论文引用量为 170000+ ，学术研究一直都很活跃，随着深度学习持续火热，引用量近几年大幅度增加。
所有的论文，在以下GitHub项目中可以获取，或者给公众号发送关键词消息“Bengio”，即可获得下载链接。
https://github.com/longpeng2008/Awesome_DNN_Researchers
3 代表性个人成就
2009年ACFAS Urgel-Archambault奖
2017年加拿大勋章官员
2017加拿大皇家学会会员
2018加拿大AI协会终身成就奖
2018年图灵奖
2019年Killam计算机科学奖
2019IEEE CIS神经网络先锋奖，IEEE计算智能学会
4 AI修行，兄弟伴我左右
4.1、如有巧合，那一定是兄弟
上图两位AI大咖相似度99%，有没有？
没错，一个普通家庭诞生了两位成功的AI计算机科学家，Samy Bengio（Google Brain的机器学习科学家）与Yoshua Bengio。
Bengio兄弟俩出生在法国巴黎，没有类似Hinton的学阀家族背景，父母是嬉皮士，从小就随父母到处搬家。曾因父亲服兵役的原因，1977年时搬家到了父母的出生地北非摩洛哥生活了一段时间，又因战争举家搬回了法国生活了几年，不久后移民到加拿大，开启了新生活。辗转几次搬家，走过了世界的很多角落，父母为兄弟俩种下了人文主义的种子。Yoshua Bengio说： 他有责任照顾生活在发展中国家的人 。
4.2、兴趣是最好的导师
Yoshua Bengio回忆在青少年时期，兄弟俩曾努力攒钱买下了，生命中第一台共同小型计算机Atari 800，从此打开了计算机兴趣的大门。他们用Basic语言编程，还将程序保存在磁带上，那时软盘还没有出世。兄弟俩在大学期间都选择了与计算机相关的专业，Yoshua在麦吉尔大学选择了计算机工程，Samy在蒙特利尔大学修计算机科学。
短暂的分别后兄弟俩因“神经网络”又重新粘合到一起。研究生期间，接触了AI教父Hinton有关深度学习理论的论文加上《平行分布处理》一书的上市，让Yoshua疯狂的爱上了AI和神经网络，激动地为Samy介绍，并开始了深度学习的博士研究。
兄弟二人在很少学者研究的领域中一起执着着自己的眼光，“ 我当时觉得其他人都是错的，只有我是对的 ”，当在AI低潮期时，两人在相同的领域坚持着了各自的研究。幸运的是，加拿大政府几十年一直投入基于好奇心的研究基金，即使在AI寒冬，也可以保证研究的"温饱"，加上加拿大CIFAR最终确定下来的支持网络，从心理上帮助Bengio兄弟二人专注选择的方向。与Hinton一样， 选择加拿大，因为CIFAR与自由 。蒙特利尔大学和麦吉尔大学官宣有1500名AI研究员，人才集中度高于世界上任何其他地方。
4.3、短暂的分别，是为AI更好的发展
1999年到2007年，Samy选择到瑞士做神经网络研究科学家，那里满足他对深度学习的继续探索，收获了资助和博士生，身在异国，接触着不同的学者，兄弟俩一直研究着共同的领域。有趣的是，他们有一位共同的博士生，先是在Samy下面做研究生，后转到了Yoshua那里，后又跟着Samy一同做博士生。
2007年后，Samy加入了Google，也是兄弟俩研究生涯最重要的时刻，在Google，Samy获取了更多数据和更高的计算机水平，辅助解决更大的机器学习模型。另一边Yoshua一直在加拿大发展，并直言不加入工业界，他认为AI人才流入大科技公司会阻碍这一领域的学术研究。一次采访时，Yoshua说：“科技公司挖走了很多人才，造成了学术界人才短缺。对那些公司来说有好处，但对学术研究来说不是件好事。 我能为全人类作贡献，而不是为某一个公司赚钱 。”
Google有Hinton，Lecun在Facebook，虽然Yoshua也担任了几家类似三星的企业学术顾问，但他更多的精力还是耕耘在学术界。你很少看到他为商业事件公开露面。很多学生都听过Yoshua的课程，看过不少他的文章，众所周知，牛人讲课认认真真、实实在在、深入浅出，不灌水，不trick，简直就是AI界的一股清流！
Yoshua想保留绝大多数精力去发展他创建的MILA和蒙特利尔的AI生态系统，想通过他的研究和对学生的辅导更直接地为公共利益做出贡献。
5 年龄虽小，但贡献不少
5.1、Bengio与AI界人物关系
论资排辈，自然是Hinton>Lecun>Bengio，还记得 之前提到的AI鼻祖Hinton门下徒子徒孙遍地，AI界许多大神都和他有着千丝万缕的关系，以下有个简单的人物关系网。
Lecun是Hinton的博士后，当年与美国飞人乔丹同名的学者Micheal Jordan一心想去Hinton门下读博士后却被婉拒，在麻省理工学院时Bengio又是Jordan的得意门生，随后Bengio在贝尔实验室与LeCun成为同事。Hugo Larochelle在Bengio下面读的博士，后成为Hinton的博士后；LeCun的一位博士生MarcAurelio Ranzato，后也成为的Hinton的博士后。不禁感叹，贵圈不大，牛人总是带着牛人走。
5.2、打响NLP第一枪
世界上数学最好的国家是美国么？不，法国人相对美国人的人口总数少很多很多，但历史上出名的数学家与美国出名的数学家数量相当。法国囊括52枚数学界最高奖项菲尔茨奖中的11枚，美国获得了12枚。从小生活在法国的Bengio，有着高度抽象思维能力，为以后的发展埋下了很深的种子。
Bengio的一篇“A neural probabilistic language model”论文开创了神经网络语言模型的先河。其整体思路影响、启发了之后的很多基于神经网络做NLP的paper，在工业界也得到了广泛使用，还有梯度消失（gradient vanishing）的细致分析，word2vec的雏形，以及现很火的计算机翻译（machine translation）都有Bengio的贡献。
5.3、Theano的开发
Theano发于MILA，由Yoshua Bengio带领了一大批高水平学生开发了这个优化编译器，用于操作和评估数学表达式，尤其是矩阵值表达式，符号计算图的思想同样来自于Theano。尽管它已停止发布，但这个库启发了之后多个库的开发，直接基于它的库有Keras，MXnet，Google的TensorFlow以及Berkeley的CGT等，可以说在同类型库中是当之不愧的鼻祖。
5.4、ICLR的创办
ICLR是一种崭新的会议形式，号称“深度学习的顶级会议”。由Bengio与LeCun牵头创办创建，出发点就是希望能为深度学习提供一个专业化的交流平台。之所以成为炙手可热的无冕之王，并不只是因为创办者的能量光环，最重要的原因它是Open Review的评审机制，任何论文都会公开姓名等信息，任何学者都可或匿名或实名地评价论文，开启了公开透明的先河。自2013成立以来，已发出很多高质量文章，可以说代表了深度学习最前沿的研究。这个会议，很Bengio！
Bengio在AI领域一直坚持不懈地做着自己坚信的东西，熬过了神经网络的凄风冷雨，与Hinton、Lecun等人一同打造出了深度学习的今天。
总结
AI江湖上称Hinton是AI教主，始作俑者，开创先河；
Lecun是独行侠，负责东搞西搞，工业学术两不耽误；
Bengio是金牌打手，坚守学术界阵地，做理论实验支持。
三位大佬各具魅力，下一次还想我来扒哪位?
直播预告
有三AI纪念版扑克牌
今日网络结构
今日看图猜技术
有三AI生态
转载文章请后台联系
侵权必究
更多请关注知乎专栏《有三AI学院》
以上所述就是小编给大家介绍的《【AI大咖】扒一下低调的Yoshua Bengio大神》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 官宣！vue.ant.design 低调上线
- 案例：隐秘而低调的内存泄露（OOM）
- 性能超过人类炼丹师，AutoGluon 低调开源
- 推荐一位低调而有实力的大佬
- Python爬虫一步步抓取房产信息 | 岂安低调分享
- 苹果WWDC印象：凶残的节奏、低调亮剑AI
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Introduction to Computation and Programming Using Python
John V. Guttag / The MIT Press / 2013-7 / USD 25.00
This book introduces students with little or no prior programming experience to the art of computational problem solving using Python and various Python libraries, including PyLab. It provides student......一起来看看 《Introduction to Computation and Programming Using Python》 这本书的介绍吧!
