内容简介：说五个关键词，你会想到谁？花书作者，2018年图灵获奖者，银灰卷发，theano，MILA，关于他的故事，且听我细细道来。
说五个关键词，你会想到谁？
花书作者，2018年图灵获奖者，银灰卷发，theano，MILA， 你心中的答案会是Yoshua Bengio么？
关于他的故事，且听我细细道来。
作者&编辑 | 小满&言有三
一头银灰相间的卷发，一对漫画式的粗眉，思考时频频上扬，微笑时又极具表现力，他就是今天的主人公——Yoshua Bengio。
1 30秒了解Yoshua Bengio
Yoshua Bengio（约书亚·本吉奥）因深度学习工作与Geoffrey Hinton和Yann LeCun共同分享了2018年图灵奖，被公认为世界领先的AI专家和深度学习先驱。1964年，出生在法国巴黎，和Lecun童年生活在同一个城市的不同角落，现与Hinton一样选择生活在加拿大，拥有加拿大CIFAR AI主席一职。
Bengio大学就读于麦吉尔大学“计算机工程学”专业，1986-1991年继续修“计算机科学“ 到博士毕业，随后一段时间在麻省理工学院做博士后研究员，1992年到美国AT&T贝尔实验室LeCun小组做学习和视觉算法研究工作。
1993年起，他一直在蒙特利尔大学教书育人，负责计算机科学与运筹学方向。他也是蒙特利尔学习算法研究所（MILA）创始人和科学主任。 MILA，一家独立的非营利组织，世界上最大的深度学习研究小组，拥有来自地球上很多公司和AI创业公司的研究实验室。
2 代表性研究论文
1、LeNet5卷积神经网络提出： LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
2、NLP模型：Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. Journal of machine learning research, 2003, 3(Feb): 1137-1155.
3、逐层训练方法：Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]//Advances in neural information processing systems. 2007: 153-160.
4、AI架构：Bengio Y. Learning deep architectures for AI[J]. Foundations and trends® in Machine Learning, 2009, 2(1): 1-127.
5、Stacked denoising autoencoders提出：Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.
6、Xavier初始化：Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
7、ReLU激活函数使用：Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
8、Theano框架：Bastien F, Lamblin P, Pascanu R, et al. Theano: new features and speed improvements[J]. arXiv preprint arXiv:1211.5590, 2012.
9、RNN训练问题：Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]//International conference on machine learning. 2013: 1310-1318.
10、Maxout激活函数：Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
11、生成对抗网络GAN： Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
12、机器翻译：Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
13、二值神经网络：Courbariaux M, Bengio Y, David J P. Binaryconnect: Training deep neural networks with binary weights during propagations[C]//Advances in neural information processing systems. 2015: 3123-3131.
14、三巨头深度学习综述：LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
15、image caption与attention： Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]//International conference on machine learning. 2015: 2048-2057.
16、深度学习教材：Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
17、语音生成：Sotelo J, Mehri S, Kumar K, et al. Char2wav: End-to-end speech synthesis[J]. 2017.
Yoshua Bengio总的论文引用量为 170000+ ，学术研究一直都很活跃，随着深度学习持续火热，引用量近几年大幅度增加。
所有的论文，在以下GitHub项目中可以获取，或者给公众号发送关键词消息“Bengio”，即可获得下载链接。
https://github.com/longpeng2008/Awesome_DNN_Researchers
3 代表性个人成就
2009年ACFAS Urgel-Archambault奖
2017年加拿大勋章官员
2017加拿大皇家学会会员
2018加拿大AI协会终身成就奖
2018年图灵奖
2019年Killam计算机科学奖
2019IEEE CIS神经网络先锋奖，IEEE计算智能学会
4 AI修行，兄弟伴我左右
4.1、如有巧合，那一定是兄弟
上图两位AI大咖相似度99%，有没有？
没错，一个普通家庭诞生了两位成功的AI计算机科学家，Samy Bengio（Google Brain的机器学习科学家）与Yoshua Bengio。
Bengio兄弟俩出生在法国巴黎，没有类似Hinton的学阀家族背景，父母是嬉皮士，从小就随父母到处搬家。曾因父亲服兵役的原因，1977年时搬家到了父母的出生地北非摩洛哥生活了一段时间，又因战争举家搬回了法国生活了几年，不久后移民到加拿大，开启了新生活。辗转几次搬家，走过了世界的很多角落，父母为兄弟俩种下了人文主义的种子。Yoshua Bengio说： 他有责任照顾生活在发展中国家的人 。
4.2、兴趣是最好的导师
Yoshua Bengio回忆在青少年时期，兄弟俩曾努力攒钱买下了，生命中第一台共同小型计算机Atari 800，从此打开了计算机兴趣的大门。他们用Basic语言编程，还将程序保存在磁带上，那时软盘还没有出世。兄弟俩在大学期间都选择了与计算机相关的专业，Yoshua在麦吉尔大学选择了计算机工程，Samy在蒙特利尔大学修计算机科学。
短暂的分别后兄弟俩因“神经网络”又重新粘合到一起。研究生期间，接触了AI教父Hinton有关深度学习理论的论文加上《平行分布处理》一书的上市，让Yoshua疯狂的爱上了AI和神经网络，激动地为Samy介绍，并开始了深度学习的博士研究。
兄弟二人在很少学者研究的领域中一起执着着自己的眼光，“ 我当时觉得其他人都是错的，只有我是对的 ”，当在AI低潮期时，两人在相同的领域坚持着了各自的研究。幸运的是，加拿大政府几十年一直投入基于好奇心的研究基金，即使在AI寒冬，也可以保证研究的"温饱"，加上加拿大CIFAR最终确定下来的支持网络，从心理上帮助Bengio兄弟二人专注选择的方向。与Hinton一样， 选择加拿大，因为CIFAR与自由 。蒙特利尔大学和麦吉尔大学官宣有1500名AI研究员，人才集中度高于世界上任何其他地方。
4.3、短暂的分别，是为AI更好的发展
1999年到2007年，Samy选择到瑞士做神经网络研究科学家，那里满足他对深度学习的继续探索，收获了资助和博士生，身在异国，接触着不同的学者，兄弟俩一直研究着共同的领域。有趣的是，他们有一位共同的博士生，先是在Samy下面做研究生，后转到了Yoshua那里，后又跟着Samy一同做博士生。
2007年后，Samy加入了Google，也是兄弟俩研究生涯最重要的时刻，在Google，Samy获取了更多数据和更高的计算机水平，辅助解决更大的机器学习模型。另一边Yoshua一直在加拿大发展，并直言不加入工业界，他认为AI人才流入大科技公司会阻碍这一领域的学术研究。一次采访时，Yoshua说：“科技公司挖走了很多人才，造成了学术界人才短缺。对那些公司来说有好处，但对学术研究来说不是件好事。 我能为全人类作贡献，而不是为某一个公司赚钱 。”
Google有Hinton，Lecun在Facebook，虽然Yoshua也担任了几家类似三星的企业学术顾问，但他更多的精力还是耕耘在学术界。你很少看到他为商业事件公开露面。很多学生都听过Yoshua的课程，看过不少他的文章，众所周知，牛人讲课认认真真、实实在在、深入浅出，不灌水，不trick，简直就是AI界的一股清流！
Yoshua想保留绝大多数精力去发展他创建的MILA和蒙特利尔的AI生态系统，想通过他的研究和对学生的辅导更直接地为公共利益做出贡献。
5 年龄虽小，但贡献不少
5.1、Bengio与AI界人物关系
论资排辈，自然是Hinton>Lecun>Bengio，还记得 之前提到的AI鼻祖Hinton门下徒子徒孙遍地，AI界许多大神都和他有着千丝万缕的关系，以下有个简单的人物关系网。
Lecun是Hinton的博士后，当年与美国飞人乔丹同名的学者Micheal Jordan一心想去Hinton门下读博士后却被婉拒，在麻省理工学院时Bengio又是Jordan的得意门生，随后Bengio在贝尔实验室与LeCun成为同事。Hugo Larochelle在Bengio下面读的博士，后成为Hinton的博士后；LeCun的一位博士生MarcAurelio Ranzato，后也成为的Hinton的博士后。不禁感叹，贵圈不大，牛人总是带着牛人走。
5.2、打响NLP第一枪
世界上数学最好的国家是美国么？不，法国人相对美国人的人口总数少很多很多，但历史上出名的数学家与美国出名的数学家数量相当。法国囊括52枚数学界最高奖项菲尔茨奖中的11枚，美国获得了12枚。从小生活在法国的Bengio，有着高度抽象思维能力，为以后的发展埋下了很深的种子。
Bengio的一篇“A neural probabilistic language model”论文开创了神经网络语言模型的先河。其整体思路影响、启发了之后的很多基于神经网络做NLP的paper，在工业界也得到了广泛使用，还有梯度消失（gradient vanishing）的细致分析，word2vec的雏形，以及现很火的计算机翻译（machine translation）都有Bengio的贡献。
5.3、Theano的开发
Theano发于MILA，由Yoshua Bengio带领了一大批高水平学生开发了这个优化编译器，用于操作和评估数学表达式，尤其是矩阵值表达式，符号计算图的思想同样来自于Theano。尽管它已停止发布，但这个库启发了之后多个库的开发，直接基于它的库有Keras，MXnet，Google的TensorFlow以及Berkeley的CGT等，可以说在同类型库中是当之不愧的鼻祖。
5.4、ICLR的创办
ICLR是一种崭新的会议形式，号称“深度学习的顶级会议”。由Bengio与LeCun牵头创办创建，出发点就是希望能为深度学习提供一个专业化的交流平台。之所以成为炙手可热的无冕之王，并不只是因为创办者的能量光环，最重要的原因它是Open Review的评审机制，任何论文都会公开姓名等信息，任何学者都可或匿名或实名地评价论文，开启了公开透明的先河。自2013成立以来，已发出很多高质量文章，可以说代表了深度学习最前沿的研究。这个会议，很Bengio！
Bengio在AI领域一直坚持不懈地做着自己坚信的东西，熬过了神经网络的凄风冷雨，与Hinton、Lecun等人一同打造出了深度学习的今天。
总结
AI江湖上称Hinton是AI教主，始作俑者，开创先河；
Lecun是独行侠，负责东搞西搞，工业学术两不耽误；
Bengio是金牌打手，坚守学术界阵地，做理论实验支持。
三位大佬各具魅力，下一次还想我来扒哪位?
直播预告
有三AI纪念版扑克牌
今日网络结构
今日看图猜技术
有三AI生态
转载文章请后台联系
侵权必究
更多请关注知乎专栏《有三AI学院》
以上所述就是小编给大家介绍的《【AI大咖】扒一下低调的Yoshua Bengio大神》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 官宣！vue.ant.design 低调上线
- 案例：隐秘而低调的内存泄露（OOM）
- 性能超过人类炼丹师，AutoGluon 低调开源
- 推荐一位低调而有实力的大佬
- Python爬虫一步步抓取房产信息 | 岂安低调分享
- 苹果WWDC印象：凶残的节奏、低调亮剑AI
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Refactoring
Martin Fowler、Kent Beck、John Brant、William Opdyke、Don Roberts / Addison-Wesley Professional / 1999-7-8 / USD 64.99
Refactoring is about improving the design of existing code. It is the process of changing a software system in such a way that it does not alter the external behavior of the code, yet improves its int......一起来看看 《Refactoring》 这本书的介绍吧!
