Hinton团队新作：无需重构，无监督比肩有监督，北邮毕业生一作

鱼羊 发自 麦蒿寺

量子位 报道 | 公众号 QbitAI

最新研究表明，无需重构，无监督表示学习也可以表现出色。

来自图灵奖得主 Hinton 团队的最新研究，提出了一种名为 SimCLR 的视觉表示对比学习简单框架。

作者表示，SimCLR 简化了自监督对比学习算法，使其不再依赖于专门的架构和存储库。

△ 灰色x表示有监督ResNet-50

SimCLR

SimCLR 学习表示的方式，是通过对比损失最大化了同一示例不同增强视图的隐藏层之间的一致性。

使其表现出色的关键因素，有四点：

1. 多个数据增强的组合

研究人员发现，即使模型可以在对比任务中几乎完美地识别出正对，也无法通过单个变换来学习良好的表示。

采用数据增强组合时，对比预测任务会变得更加困难，但表示质量会大大提高。

并且，研究还指出，比起监督学习，对比学习需要更强大的数据增强。

2. 在表示（the representation）和对比（the contrastive）之间引入可学习的非线性变换

下图显示了使用三种不同头架构的线性评估结果。

非线性投影要好于线性投影，并且比没有投影要好得多。

3. 更大的批处理规模和更多的训练步骤

与监督学习相反，在对比学习中，较大的批处理量产生了更多的负面样本，从而促进了收敛。

4. 温度标度交叉熵损失的归一化

实验结果

在 ImageNet 上，SimCLR 方法训练出的线性分类器与有监督的 ResNet-50 性能相匹配，达到了 76.5% 的 top-1 准确率。相比于 SOTA，提升了7个百分点。

仅对 1% 的标签进行微调时，SimCLR 可以达到 85.8% 的 top-5 准确率。并且相比于 AlexNet，标签数量减少了 100 倍。

一作：北邮毕业生

SimCLR 的研究团队来自谷歌大脑，图灵奖得主 Geoffrey Hinton 名列其中。

论文一作，则是本科毕业于北京邮电大学的 Ting Chen。

本科毕业后，Ting Chen 赴美留学，先后拿下东北大学（Northeastern University）和加州大学洛杉矶分校两个CS博士学位。

2017年开始，他先后在谷歌AI、谷歌大脑等部门实习，2019年正式成为谷歌大脑的研究科学家。

传送门

论文地址：

https://arxiv.org/abs/2002.05709

Ting Chen 推特：

https://twitter.com/tingchenai/status/1228337240708874241