ICLR最佳论文：训练神经网络就像买彩票？

我们现在所使用的神经网络模型，可能有 80% - 90% 的体积是多余的， 这浪费了巨大的处理能力。

近日， 麻省理工学院的计算机科学与人工智能实验室（MIT CSAIL）公布了一项新的研究成果， 用富有创意的“彩票机制”修剪了传统神经网络模型， 选择性地剔除了对结果意义不大的连接（权重），使其变为更小的子神经网络。

最终，在保证预测准确率前提下，他们将实验中的子网络模型的体积减少了 80% - 90%，进而降低了对训练数据量和硬件的需求，而且学习速度还有所提升。

研究团队将这一方法称为 “彩票假设（Lottery Ticket Hypothesis）” ，成果以论文形式发表在最近召开的 ICLR 2019 大会上，并且被评选为两篇最佳论文之一。《麻省理工科技评论》报道了这一成果， 预测这种构建微小神经网络的新方法，可以在手机上创建强大的人工智能。

图 | 发表于 ICLR 2019 大会上的论文

将训练神经网络看作是抽奖

如今，深度学习技术已经成为了计算机科学领域的最热门研究方向，从应用自然语言处理的语音识别，到应用计算机视觉的自动驾驶，都十分依赖于构建（深度）神经网络。而为了达到最佳学习效果，构建神经网络通常需要非常庞大的数据集，用来训练和测试模型。 很多研究团队都在想办法优化这一过程，在不牺牲准确度的前提下，让神经网络和模型变得更小巧轻便。

传统神经网络由很多层和神经元构成，神经元之间的连接可以用权重来衡量，通过调整某些权重的参数，我们就可以改变相应的连接在整个网络中的作用。权重一般都是随机初始化的，随着模型经过大量训练，神经网络会慢慢“学会”哪些神经元和连接更重要，继而改变对应的权重参数，输出准确率更高的结果。

图 | 神经网络剪枝示意图（来源：Dr. Lance Eliot, the AI Trends Insider）

在 MIT 研究人员看来，这就像是一个抽奖过程：最开始我们手里有一大堆数字，但只有少部分数字最富价值，所以我们可以在训练过程中将它们筛选出来，用这些数字组合成一张“中奖彩票”，也就是实现了准确预测的目的。

如果我们可以在最开始就知道哪些数字能够或者更容易中奖，那么就可以*直接**去除**剩下**那些价值不大的**数字*，从而在保证准确率的情况下，缩小神经网络的体积，甚至是提高训练效率。

研究人员将这一思路命名为“彩票假设”。他们认为，一个随机初始化的密集神经网络包含一个（一些）子网络，在独立初始化并训练相同迭代次数后，它们的预测准确率能够媲美原始的神经网络。

图 |“彩票假设”定义

“稀疏剪枝”法修剪出微小神经网络

值得注意的是，目前已存在多种神经网络剪枝（Pruning）技术，AI 大牛 Yann LeCun 就曾提出过。 在最理想的情况下，可以将网络体积缩小 90%。但修剪之后的网络普遍难以重新训练，而且重新训练还会导致准确率降低等问题。

相比之下，MIT 团队想要找到一种，可以在最开始就训练修剪过的小型神经网络的方法。

为了验证“彩票假设”，研究人员先进行了复杂的数学推导，从理论上证明了实现的可行性。然后随机初始化了一个神经网络，并且迭代训练 N 次，获得了第 N 次迭代之后的所有参数，再按照特定的比例和方法剪掉部分参数，比如剔除数量级最小的权重，创造出一个蒙版。最后将所有剩余参数还原到初始值，套上刚刚得到的参数蒙版，由此创建了一套“中奖彩票”，再进行重新初始化和训练。

图 | 如何找到“中奖彩票”的官方解释

研究团队使用了全连接网络和卷积神经网络来测试“彩票假设”的效果，分别建立在 MNIST 和 CIFAR10 数据集之上——两者都是深度学习领域知名数据集。

针对这两种网络，他们在多种条件下重复进行了数万次实验，尝试分析和组合很多不同的方法，从而确定在不牺牲学习能力和准确度的前提下，可以最多删除多少个参数。

结果显示，“稀疏剪枝（Sparse Pruning）”方法是找到“中奖彩票”的最有效手段。 由此生成的子网络大小只有原始网络前馈架构大小的 10% - 20%， 而且在某些情况下，例如使用早停，Dropout 或随机重初始化等方法，还可以使学习速度加快，甚至是获得超过原始网络的准确度。

研究人员认为，这样的成果还只是起步，如果想找到合适的子网络，必须经过多次迭代、训练和修剪，对于算力有较高要求，而且存在一定的局限性，因为他们只找到了“稀疏剪枝”这一种寻求“彩票”的方法，还只考虑了数据集相对较小的视觉分类任务。

不过“彩票假设”的新思路可以激发机器学习领域的其它团队，尝试更多类似的网络压缩和优化研究。研究团队下一步将围绕更多的剪枝方法展开研究，分析为什么迭代剪枝（Iterative Pruning）在更深的网络中无法找到“中奖彩票”，同时对参数初始化机制进行更透彻的研究。

他们相信，如果投入更多的努力，能够找到最有效的剪枝手段，或许有望加速很多深度学习模型的训练过程，节省可观的开支和工作量，甚至是创造更有价值的新模型。

-End-

参考：

http://news.mit.edu/20__1__9/smarter-training-neural-networks-0506 

https://openreview.net/pdf?id=rJl-b3 RcF7

关注 DeepTech 

发现改变世界的新兴科技

（微信号:deeptechchina)

点击阅读原文了解题跋派 ↓↓↓