直播 | UC Berkeley在读博士生尤洋：快速神经网络的训练算法

:satellite: 

由于嘉宾时差关系，本周Talk时间调整为

北京时间 本周四13:00

不是晚上，是 中午 哦！

本周为 将门技术社群第 155 期 线上分享。

北京时间5月30日下午1点， 在将门技术社群， 我们很开心邀请到 UC Berkeley 在读博士生 尤洋 ， 他将与大家分享的主题是“ 快速神经网络的训练算法 ”。

届时将主要介绍当前大规模分布式深度学习训练算法的收敛性问题，以及LARS算法和LAMB算法 。其中， LAMB算法 可以让BERT的预训练速度，足足提高了64倍——从4860分钟（三天三夜），变成了76分钟11秒（一个小时多一点点）。

活动信息

▼

主题： 快速神经网络训练算法

嘉宾： UC Berkeley 在读博士生  尤洋

时间：北京时间 5月30日（周四） 13:00

地点：将门创投斗鱼直播间

分享提纲

▼

加速神经网络意义重大。最直接的方法就是利用集群或分布式系统强大的计算能力去加速。当前人们普遍采用数据并行的方式。在数据并行方法中，批量数(batch size)对并行与分布式算法的效率起着决定性作用。例如对于ImageNet数据集而言，批量数为32时，算法只能充分利用一块GPU卡。而批量数为8192时，算法却可以充分利用256块GPU卡。

然而，当批量数过大时，优化算法的收敛性和稳定性都大大降低，导致最终算法收敛的精度无法达到预期。

本次分享提纲如下：

• 当前大规模分布式深度学习训练算法的收敛性问题

• LARS算法：当今训练ImageNet最快的算法
  

• LAMB算法：一个快速的通用深度学习优化算法

• 与常用算法Adam/AdaGrad/momentum的比较
  

• 在常规训练，小batch情况下，一台机器上的性能
  

• 将BERT的训练时间从3天减少到76分钟

嘉宾介绍

尤洋

UC Berkeley 在读博士

尤洋是一位西贝尔学者。他目前是加州大学伯克利分校计算机系的博士生，他的导师是美国科学院与工程院院士、ACM/IEEE fellow、伯克利计算机系主任以及首批中关村海外顾问 James Demmel教授 。

尤洋的研究兴趣包括 高性能计算，并行算法，以及机器学习 。他当前的研究重点是 大规模深度学习训练算法的分布式优化 。他曾创造ImageNet训练速度的世界纪录，并被ScienceDaily，The Next Web，i-programmer等几十家媒体广泛报道。

尤洋近三年以第一作者身份在NeurIPS，Supercomputing，IPDPS，ICS等国际重要会议或期刊上发表论文十余篇。他曾以第一作者身份获得了国际并行于分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)。

尤洋曾获清华大学优秀毕业生，北京市优秀毕业生，国家奖学金，以及清华大学计算机系数额最高的西贝尔奖学金。他还在2017年获得美国计算机协会(ACM)官网上唯一颁给在读博士生的George Michael Memorial HPC Fellowships。

尤洋曾在IBM沃森研究中心、英伟达总部、微软总部以及谷歌总部实习。

更多信息请查看他的个人主页：

https://www.cs.berkeley.edu/~youyang

观看直播或加群

▼

长按或扫描下方二维码，关注 “将门创投” 微信公众号(thejiangmen)，后台回复“ 入群 ”，获取入群通道及直播地址。

-The End-

将门 是一家 以专注于 发掘、加速及投资技术驱动型创业公司 的新型 创投机构 ，旗下涵盖 将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务 专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群 专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金 专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括 机器智能、物联网、自然人机交互、企业计算。 在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、 宽拓科技、 杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务， 欢迎发送或者推荐项目给我“门”:  bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

 

将门创投

让创新获得认可！

微信：thejiangmen

bp@thejiangmen.com

点击“ ❀在看 ”，让更多朋友们看到吧~