8亿参数，刷新ImageNet纪录：何恺明团队开源最强ResNeXt预训练模型

来自Facebook何恺明团队，比以往都强大 ResNeXt 预训练模型开源了。

它叫 ResNeXt WSL ，有超过 8亿 个参数，用Instagram上面的 9.4亿 张图做了 (弱监督预训练) ， 用ImageNet做了微调 。

注：WSL是弱监督学习，不是Windows里面的Linux。

ImageNet测试中，它的 (32×48d) 分类准确率达到 85.4% (Top-1) ，打破了从前的纪录。

LeCun大佬作为公司首席AI科学家，转推了开源的喜讯，而后众人奔走相告，赞数已经超过 1600 。

评论区涌起了难以置信的声音：

拿ImageNet做微调？？

我头一次听说，在更大的预训练集面前， ImageNet成了微调用的小语料库 。

9.4亿张图？谁能做完这么多计算？

所以现在好了，你并不需要做这样大大大量的计算，可以直接从预训练的模型开始。

更好的是，开源的不止这一个模型。

究竟是有多强大

预警：先交代一下历史，后面是最新的成绩。

ResNeXt，其实诞生在2016年。

它的前辈是2015年发表的 ResNet (残差网络) ，用“ shortcut ”这种能跳过一些层的连接方式，解决了 梯度消失 问题，训练几百上千层的网络不是梦。

ResNet在图像分类、目标检测、定位、分割等等项目上完胜各路对手，拿下当年 CVPR最佳论文 ，震动了学界和工业界。

后来，作为ResNet的一个高能 进化版 ，ResNeXt在宽度和深度之外，引入了“ 基数 (Cardinality) ”的概念。在网络不加深不加宽的情况下，就能提升准确率，还能减少超参数的数量。

一个101层的ResNeXt，准确率已媲美200层的ResNet。于是，它也中选了CVPR。

而这一次， ResNeXt WSL 系列是在当年的基础上，又探索了 弱监督 (Weakly Supervised Learning) 的可能性：

Instagram图片，没有经过特别的标注，只带着用户自己加的话题标签 (#) ，就当做预训练的数据集了。

经过9.4亿张图的预训练，再拿ImageNet去微调，四个ResNeXt模型的考试成绩如下：

团队说，比起直接用ImageNet训练，加上弱监督的预训练步骤，分类准确率有明显的提升。

其中，32×48d的准确率 (Top-1) 刷新了ImageNet的纪录。

弱监督可行，今后AI就可以在更大规模的数据集上训练/预训练了。

一行代码可调用

现在，四个预训练模型都已经开源。加载只需：

1import torch
2model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
3# or
4# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
5# or
6# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
7# or
8#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
9model.eval()

说不定你已经看出来了，所有模型都已加入不久前刚发布的 PyTorch Hub 豪华彩蛋。所以，一小段代码便可以轻松调用。

只有一点需要注意：这次开源的模型，要求所有输入图像，都用相同的方式 归一化 (Normalization) 。

具体示例，可以从文下传送门前往主页观摩。

One More Thing

在这样鸡冻人心的日子里，总有些小伙伴的关注点和其他人不一样：

他们用Instagram啊，我以后是不是要把所有的图都做个对抗样本，再发状态？(以达到欺骗AI的目的)

AI啊，你相信我，这真是一只长臂猿。(误)

ResNeXt主页：

https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/

GitHub项目：

https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py

Colab Demo：

https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb

ECCV论文：

https://arxiv.org/abs/1805.00932