北理工研二一作获杰出论文，大陆论文量前三，ICML 2020各奖项出炉

机器学习顶级会议 ICML 2020 于本月 13 日至 18 日以线上形式举行。此次会议共收到 4990 篇论文， 接收论文 1088 篇 ，接收率达 21.8%。与往年相比，接收率逐年走低。

刚刚，ICML 2020 大会放出了杰出论文奖和杰出论文荣誉提名奖，一篇发表于 2009 年的论文获得此次大会的时间检验奖。

其中，北京理工大学和剑桥大学合作的论文《Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems》获得了此次会议的杰出论文奖。我们之前报道过的OpenAI新研究 《Generative Pretraining From Pixels》 获得了杰出论文荣誉提名奖。

杰出论文奖

论文1：On Learning Sets of Symmetric Elements

• 论文地址：https://arxiv.org/pdf/2002.08599.pdf

• 论文作者：Haggai Maron（英伟达研究院）、Or Litany（斯坦福大学）、Gal Chechik（英伟达、以色列巴伊兰大学）、Ethan Fetaya（以色列巴伊兰大学）

从无序集合中学习是一种基本的学习设置，最近这引起了越来越多的关注。这一领域的研究集中于用特征向量表示集合元素的案例，很少关注集合元素本身即遵循其自身对称性的常见情况。而后者与大量应用具备相关性，如图像去噪、多视图 3D 形状识别与重建等。

这篇论文提出了一种原则性方法来学习一般对称元素的集合。研究者首先描述了线性层的空间。线性层与元素重 排序 和元素的内在对称性具备等变性。

该研究进一步表明，由被称为 Deep Sets for Symmetric elements layers (DSS) 的层构成的网络是不变函数和等变函数的通用逼近器。此外，DSS 层很容易实现。

最后，研究者用一系列使用图像、图以及点云的实验，证明该方法比现有的集合学习架构有所改进。

论文2：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

• 论文地址：https://arxiv.org/pdf/2002.09611.pdf

• 论文作者：Kaixuan Wei（北理工）、Angelica Aviles-Rivero（剑桥大学）、Jingwei Liang（剑桥大学）、Ying Fu（北理工）、Carola-Bibiane Schnlieb（剑桥大学）、Hua Huang（北理工）

即插即用（PnP）是将 ADMM 或其他近端算法与高级去噪先验结合的非凸（non-convex）框架。近来，PnP 取得了巨大的实验成功，特别是集成了基于深度学习的去噪器。但是，基于 PnP 的方法存在一个关键的问题：这些方法需要手动调参。此类方法必须在成像条件和场景内容具备高度差异的情况下获得高质量结果。

该研究提出了一种免调参的 PnP 近端算法，支持自动设置内部参数，包括惩罚参数、去噪强度以及终止时间。 该方法的核心部分是开发一个用于自动搜索参数的策略网络，该网络能够通过混合无模型和基于模型的深度强化学习来高效地学习参数。

研究人员通过数值和视觉实验表明，该方法学到的策略能够为不同的状态定制不同的参数，并且比现有的手动调参更加高效。

此外，该研究还探讨了插入式去噪器，它和学得策略一起可达到 SOTA 结果，在线性和非线性的示例逆成像问题中皆是如此，尤其是在压缩感知 MRI 和相位恢复问题上都取得了不错的结果。

个人主页：https://kxwei.net/

另外，这篇论文的第一作者魏恺轩目前就读于北京理工大学，是一名研二学生。研究兴趣为图像处理、计算机视觉、计算摄影学、计算成像学，在 NEUCOM、CVPR、ICML 等会议上发表论文。

杰出论文荣誉提名奖

本届杰出论文荣誉提名奖授予了两篇论文，分别是帝国理工学院、圣彼得堡国立大学等研究者的《Efficiently sampling functions from Gaussian process posteriors》和OpenAI研究者的《Generative Pretraining from Pixels》。

论文 1：Efficiently sampling functions from Gaussian process posteriors

• 论文地址：https://arxiv.org/abs/2002.09309

• 论文作者：James T. Wilson（帝国理工学院） 、Viacheslav Borovitskiy（圣彼得堡国立大学）、Alexander Terenin（帝国理工学院）、Peter Mostowsky（圣彼得堡国立大学）、Marc Peter Deisenroth（伦敦大学学院）

该研究发现了一种高斯过程（Gaussian process）分解形式，该分解通过从数据中分离出先验，从而自然地进行可扩展采样。在这种因式分解的基础上，研究者提出了一种易用且通用的快速后验采样方法，该方法可以无缝匹配稀疏近似，从而在训练和测试阶段保证可扩展性。

该研究进行了一系列实验，表明只需要通常成本的一部分即可利用解耦采样路径准确地表示高斯过程后验。

论文 2：Generative Pretraining From Pixels

• 论文地址：https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf

• 论文作者：Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever（均来自 OpenAI）

受自然语言无监督表示学习进展的启发，OpenAI的研究者探究了类似模型是否可以学习图像的有用表示。具体来说，OpenAI推出了用于图像分类的模型 iGPT，并发现该模型似乎能够理解物体外观和类别等 2D 图像特征。那么，iGPT 缘何能够成功呢？这是因为，在下一像素预测（next pixel prediction）上训练的足够大的 transformer 模型最终可能学会生成具有清晰可识别物体的样本。一旦学会了生成此类样本，那么通过「合成分析」，iGPT 将知道目标类别。

实验表明，iGPT 模型的特征在大量的分类数据集上实现了当前 SOTA 性能，以及在 ImageNet 数据集上实现了接近 SOTA 的无监督准确率。

时间检验奖

ICML 大会时间检验奖旨在奖励对机器学习研究和实践有着巨大影响的论文。今年获得此奖项的是发表于 2009 年的论文《Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design》，目前这篇论文的被引用次数超过 1000。

论文地址：https://icml.cc/Conferences/2010/papers/422.pdf

这篇论文通过分析高斯过程赌博机优化（Gaussian process bandit optimization），将贝叶斯优化、赌博机和实验设计进行融合，进而提出了一种通过互信息增量推导有限样本 regret bound 的方法。

过去十年中，这篇论文对学界产生了深刻的影响，包括该方法本身、所使用的证明方法和实际结果。这些点燃了其后大量研究和实践工作的创造性，从而丰富了社区。

该奖项委员会对这篇论文的评价很高：

这篇论文的结果影响了现代深度学习系统中的超参数搜索方法，其算法经过十年风霜仍然是流行的捕获算法。该论文的定理和引理得到大量引用，其证明方法也被其后的论文广泛借鉴。不管是技术深度，还是影响力，这篇论文都出类拔萃。

过去十年，贝叶斯优化成为很多机器学习问题中的强大工具…… 该论文证明中所用的数学方法极大地影响了其后的研究。

BLM 运动带来影响

「Black Lives Matter」运动持续了很长时间，对学术界带来了很大影响。ICML 2020 会议在首页上表达了对 George Floyd 以及其他受警察暴力和种族暴力伤害的人们的悼念。

ICML 2020 会议表示将深化与 AI 领域黑人群体的合作，共同为增加黑人研究者在 AI 领域的参与度而努力。

快速了解 ICML 2020 会议论文

ICML 2020 会议接收论文数量超过 1000 篇，如何能够快速了解这些论文呢？

近期 Paper Digest Team 发布了「一句话总结论文亮点」的系统，涵盖该会议中 1084 篇论文的亮点信息。感兴趣的读者可以前往观看。

地址：https://www.paperdigest.org/2020/07/icml-2020-highlights/

示例如下：

参考链接：https://icml.cc/Conferences/2020/Awards