清华计算机系杨宗瀚：本科即2篇顶会一作、交叉创新从机器作诗到神经常微分方程 | 专访

第 37 届国际机器学习大会（ICML）即将在下周召开。作为全球最具影响力的机器学习学术会议之一，其收录的论文也代表了该领域前沿的最新进展。由于近年来机器学习领域竞争激烈，投稿数量逐年攀升。据统计，ICML 2020 共收到 4990 份投稿，但最终仅收录 1088 篇，接受率为 21.8%，近三年接受率也是呈逐年走低趋势。

而今年刚刚从

“我们尝试提出了一种新的常微分方程模型，这种模型可以同时建模残差和非残差网络，离散化处理得到的插值网络可以在准确率和鲁棒性间取得更好的平衡。” 杨宗瀚说。他是这篇论文的第一作者。

神经常微分方程是近年来深度学习领域中的热点方向，相关论文曾在2018年获得神经信息处理系统大会（NeurIPS）最佳论文奖 [2]。这项研究富有创新性地将残差网络与微分方程数值格式对应起来，进而将有限的离散层神经网络和无限的连续常微分方程联系起来。

在提及“九歌”的工作原理时，杨宗瀚是这样解释的：机器作诗最主要的原理是序列到序列学习（sequence-to-sequence learning）。比如，给定诗的第一句，想要生成第二句，便是使用编码器-解码器（encoder-decoder）的架构，将第一句“翻译”成第二句。这种架构最主要的应用场景是机器翻译，相关论文所做的实验也大多和机器翻译相关。

参与这个项目之后，杨宗瀚开始关注自然语言处理，尤其是机器翻译领域，并希望能找到更为普适的方法。他曾参与其导师课题组创立的机器翻译阅读清单项目 [4]，这一清单主要对近年来机器翻译领域发表在顶会上的论文进行整理分类。这一清单目前主要由杨宗瀚负责维护，

回顾杨宗瀚的科研经历，从机器作诗到机器翻译再到神经常微分方程，循序渐进由浅入深，或许你会觉得，他应该是从一开始就很明确自己的研究兴趣，按照计划一步一步走到现在的。

当然，一开始便明白自己的兴趣并对未来有着清晰的规划固然很好。但实际上，大部分人并不能做到这一点，杨宗瀚的经历也并非一帆风顺。

“

若是做一些比较有挑战的课题，可能会对背景知识要求高，担心自己无法完成。而若是做比较保守一些的课题，又觉得或许没有挑战性的工作那么有趣。”杨宗瀚说。

相信这种迷茫的状态，很多人都有体会。刚接触一个领域，即使是有一些基础知识的积累，但在真正做选择的时候，我们仿佛永远都觉得“还没准备好”。但实际上，觉得没准备好主要还是来自于对未知的恐惧，而我们应该做的，不是被恐惧绊住了前进的脚步，而是勇敢去尝试。

幸运的是，许多老师的建议都给杨宗瀚带来了启发。他的导师刘洋教授经常与他讨论选题相关的事宜；刘洋教授在选题方面有着深刻的见解，他还曾做过《浅谈研究生学位论文选题方法》的报告，鼓励大家从事具有重要性、创新性、前沿性的探索。同组的孙茂松教授鼓励他做重要的研究，解决困难的问题；刘知远教授告诉他，在科研上的一切探索和钻研都有其价值，没有浪费一说。马昱春教授以自己的亲身经历为例，鼓励他不畏困难，不怕挑战，在科研初期不用过于挑剔，担心领域是否有前途或是能不能胜任。

。

事实上，在科研的起步阶段，具体从什么课题入手并不是最重要的，重要的是在这些尝试中，我们能不断提升自己的能力，并对如何更好地进行下一步有了更切身的体会。而在这些不断的尝试中，我们也会对自己的兴趣点和擅长的方面有着更清晰的认识。这些尝试本身，就是从起步逐渐成长变得更成熟的过程。

按照老师们的教导，杨宗瀚遇到感兴趣的课题就勇敢去尝试，在每个阶段都脚踏实地的走好眼前的一小步，并在这个过程中不断的进步和成长。而当持续这个过程一段时间再回顾之前科研经历的时候，一些更为宏观的把握也会更加清晰。

不畏困难，无问西东。

参考文献：

[1] Zonghan Yang, Yang Liu, Chenglong Bao, and Zuoqiang Shi. 2020. Interpolation between Residual and Non-Residual Networks . In Proceedings of ICML 2020 , Vienna, Austria, July 12-18.

[2] Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, and David Duvenaud. 2018. Neural Ordinary Differential Equations. In Proceedings of NeurIPS 2018 , Montréal, Canada, December 2-8.