第 37 届国际机器学习大会（ICML）即将在下周召开。作为全球最具影响力的机器学习学术会议之一，其收录的论文也代表了该领域前沿的最新进展。由于近年来机器学习领域竞争激烈，投稿数量逐年攀升。据统计，ICML 2020 共收到 4990 份投稿，但最终仅收录 1088 篇，接受率为 21.8%，近三年接受率也是呈逐年走低趋势。
而今年刚刚从
清华大学计算机系本科毕业的杨宗瀚 ，就有一篇论文发表在 ICML 2020 上，其标题为《残差和非残差网络的插值》（Interpolation between Residual and Non-Residual Networks）[1]。杨宗瀚今年秋季将在清华大学计算机科学与技术系直博， 进入自然语言处理与社会人文计算实验室，师从刘洋教授 。
图 杨宗瀚（图片来源：杨宗瀚）
“我们尝试提出了一种新的常微分方程模型，这种模型可以同时建模残差和非残差网络，离散化处理得到的插值网络可以在准确率和鲁棒性间取得更好的平衡。” 杨宗瀚说。他是这篇论文的第一作者。
神经常微分方程是近年来深度学习领域中的热点方向，相关论文曾在2018年获得神经信息处理系统大会（NeurIPS）最佳论文奖 [2]。这项研究富有创新性地将残差网络与微分方程数值格式对应起来，进而将有限的离散层神经网络和无限的连续常微分方程联系起来。
但与前人工作不同的是，在杨宗瀚等人的工作中，他们的神经常微分方程模型由于阻尼项的存在，因而不依赖于残差连接，进而实现了同时对残差和非残差网络的建模。
从机器作诗到神经常微分方程
在提及“九歌”的工作原理时，杨宗瀚是这样解释的：机器作诗最主要的原理是序列到序列学习（sequence-to-sequence learning）。比如，给定诗的第一句，想要生成第二句，便是使用编码器-解码器（encoder-decoder）的架构，将第一句“翻译”成第二句。这种架构最主要的应用场景是机器翻译，相关论文所做的实验也大多和机器翻译相关。
参与这个项目之后，杨宗瀚开始关注自然语言处理，尤其是机器翻译领域，并希望能找到更为普适的方法。他曾参与其导师课题组创立的机器翻译阅读清单项目 [4]，这一清单主要对近年来机器翻译领域发表在顶会上的论文进行整理分类。这一清单目前主要由杨宗瀚负责维护，
其星标数已达 1700+，复用数达 360+ 。
图 杨宗瀚负责维护的机器翻译阅读清单
“如果你仔细观察这个清单，你会发现很多有趣的地方。” 杨宗瀚解释说。由于能够发表于顶级会议的论文通常代表着该领域最具价值或前瞻性的工作，通过这则清单，我们可以了解该领域的发展动态。这在无形中也使杨宗瀚对机器翻译领域有了为全局性的了解。
当然，想要成为更成功的学者，除了要对领域整体进展的把握，还要有对兴趣点更深入的钻研。除了对已相对完备的机器翻译技术的总结，他开始思考机器翻译的方法本身，这些方法是否还有需要提高的地方。也正是因为这些思考，让杨宗瀚参与到更为深入的课题中。
杨宗瀚说：“我们发现，目前的机器翻译总会出现一些漏词错误。”而如果能够修正这些错误，就可以提高机器翻译系统的翻译质量。基于这一思路，杨宗瀚接下来参与了关于改善机器翻译效果的相关研究，其中一项基于对比学习减少机器翻译漏词错误的工作，在 2019 年被国际计算语言学协会会议（ACL）收录 [5]，杨宗瀚是这篇论文的第一作者。
图 杨宗瀚在ACL 2019会议上对学者讲解自己的工作（图片来源：杨宗瀚）
在做这些研究的同时，杨宗瀚也在不断思考如何在模型架构和方法论方面做出进一步创新。
“我对数值计算也很感兴趣。”杨宗瀚说。
杨宗瀚曾在“VLSI 设计导论”这门专业选修课上，编写数值计算的程序对电路进行仿真，这是杨宗瀚第一次将数值计算相关的知识进行实际应用。受到老师的支持和鼓励，杨宗瀚进一步学习了数值计算方面的相关课程。正是这一兴趣激发了杨宗瀚后续在神经常微分方程的研究方向上的探索。另外我们可以看到，今年发表在 ICML 上的这篇论文的作者中，包承龙和史作强两位教授来自数学系，杨宗瀚表示，他很享受这种跨学科式的，理论和实践兼顾的研究。
杨宗瀚认为，神经常微分方程无论在理论还是应用方面都有着许多值得研究的地方，希望在未来能够展开更为深入的探索。
没有 “ 高瞻远瞩一帆风顺 ” ，只有 “ 脚踏实地无问西东 ”
回顾杨宗瀚的科研经历，从机器作诗到机器翻译再到神经常微分方程，循序渐进由浅入深，或许你会觉得，他应该是从一开始就很明确自己的研究兴趣，按照计划一步一步走到现在的。
当然，一开始便明白自己的兴趣并对未来有着清晰的规划固然很好。但实际上，大部分人并不能做到这一点，杨宗瀚的经历也并非一帆风顺。
“
我曾经也很迷茫，不知道自己应该选什么课题，做哪个方向。若是做一些比较有挑战的课题，可能会对背景知识要求高，担心自己无法完成。而若是做比较保守一些的课题，又觉得或许没有挑战性的工作那么有趣。”杨宗瀚说。
相信这种迷茫的状态，很多人都有体会。刚接触一个领域，即使是有一些基础知识的积累，但在真正做选择的时候，我们仿佛永远都觉得“还没准备好”。但实际上，觉得没准备好主要还是来自于对未知的恐惧，而我们应该做的，不是被恐惧绊住了前进的脚步，而是勇敢去尝试。
图 杨宗瀚在大三暑研期间与卡耐基梅隆指导老师Yulia Tsvetkov教授合影（图片来源：杨宗瀚）
幸运的是，许多老师的建议都给杨宗瀚带来了启发。他的导师刘洋教授经常与他讨论选题相关的事宜；刘洋教授在选题方面有着深刻的见解，他还曾做过《浅谈研究生学位论文选题方法》的报告，鼓励大家从事具有重要性、创新性、前沿性的探索。同组的孙茂松教授鼓励他做重要的研究，解决困难的问题；刘知远教授告诉他，在科研上的一切探索和钻研都有其价值，没有浪费一说。马昱春教授以自己的亲身经历为例，鼓励他不畏困难，不怕挑战，在科研初期不用过于挑剔，担心领域是否有前途或是能不能胜任。
无问西东。
事实上，在科研的起步阶段，具体从什么课题入手并不是最重要的，重要的是在这些尝试中，我们能不断提升自己的能力，并对如何更好地进行下一步有了更切身的体会。而在这些不断的尝试中，我们也会对自己的兴趣点和擅长的方面有着更清晰的认识。这些尝试本身，就是从起步逐渐成长变得更成熟的过程。
按照老师们的教导，杨宗瀚遇到感兴趣的课题就勇敢去尝试，在每个阶段都脚踏实地的走好眼前的一小步，并在这个过程中不断的进步和成长。而当持续这个过程一段时间再回顾之前科研经历的时候，一些更为宏观的把握也会更加清晰。
科研是一场冒险，只有不断的尝试，才可能带来突破性的进展。 但杨宗瀚希望继续保持目前这样的状态，在科研路上坚定地前进，努力做出基础性、原创性的工作，不畏困难，无问西东。
参考文献：
[1] Zonghan Yang, Yang Liu, Chenglong Bao, and Zuoqiang Shi. 2020. Interpolation between Residual and Non-Residual Networks . In Proceedings of ICML 2020 , Vienna, Austria, July 12-18.
[2] Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, and David Duvenaud. 2018. Neural Ordinary Differential Equations. In Proceedings of NeurIPS 2018 , Montréal, Canada, December 2-8.
http://jiuge.thunlp.org/[4] https://github.com/THUNLP-MT/MT-Reading-List
[5] Zonghan Yang, Yong Cheng, Yang Liu, and Maosong Sun. 2019. Reducing Word Omission Errors in Neural Machine Translation: A Contrastive Learning Approach. In Proceedings of ACL 2019 (short paper) , pages 6191-6196, Florence, Italy, July 28-August 2.
想要了解更多学术进展、前沿科技资讯，参与学术头条每日话题讨论，可以扫描二维码或搜索AMiner308添加学术君微信，对学术君说: “我想进读者群”, 即可进入读者群，不定期发福利~
学术君微信
点击 阅读原文 ，查看更多精彩！
喜欢本篇内容，请 分享、点赞、 在看
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 周礼栋：现在是计算机系统和网络研究“最好的时代”
- NiLang：可逆计算，微分万物
- Haskell – 优化微分方程求解器
- 机器学习系统SyeML笔记三——自动微分
- 深度 | 从概念到实践，我们该如何构建自动微分库
- 算法工程师的数学基础：微积分之微分
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
