【AI不惑境】残差网络的前世今生与原理

大家好，这是专栏 《AI不惑境》 的第五篇文章，讲述残差网络的来龙去脉和背后的原理。

进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么到这个阶段，应该跃过了模仿和追随的阶段，进入了创造的阶段。从这个境界开始，讲述的问题可能不再有答案，更多的是激发大家一起来思考。

作者&编辑 | 言有三 

在深度学习模型发展史中，残差网络因其简单而有效的结构与异常有效的结果而占据了非常重要的位置，今天就来仔细说说它的来龙去脉。

1 残差网络之前的历史

残差连接的思想起源于中心化，在神经网络系统中，对输入数据等进行中心化转换，即将数据减去均值，被广泛验证有利于加快系统的学习速度。

Schraudolph[1]将这样的思想拓展到了梯度的反向传播中，不仅是输入和隐藏层单元的激活值要中心化，梯度误差以及权重的更新也可以中心化，这便是通过将输入输出进行连接的 shortcut connection，也称为跳层连接 技术。

当T(x,Wt)=0时，y=x，T(x,Wt)=1时，y=H(x,Wh)T(x,Wt)。在该文章中，研究者没有使用特殊的初始化方法等技巧，也能够训练上千层的网络。

从以上的发展可以看出来，跳层连接由来已久。

2 残差网络

何凯明等人在2015年的论文[4]中正式提出了ResNet，简化了highway network中的形式，表达式如下：

相比于之前的卷积和池化相互堆叠的网络，其基本的结构单元如下：

当我们直接将一个输入添加到输出的时候，输出y可以明确的拆分为H(x,Wh)和x的线性叠加，从而让梯度多了一条恒等映射通道，这被认为对于深层网络的训练是非常重要的，一个典型的resnet网络结构如下：

resnet在当年的ImageNet的多项竞赛中取得冠军，风头一时无两，随后被广泛深扒。关于ResNet的详细解读，大家可以关注我们的往期文章。

3 残差网络结构的发展

对于残差网络的研究，大部分集中在两个方向 ， 第一个是结构方面的研究，另一个是残差网络原理的研究，首先说几个具有代表性的结构，不会将所有结构都包含进来，如果感兴趣大家可以关注知识星球有三AI。

其背后的思想是resnet对于重用信息更有效，而densenet对于学习新的信息更有效，这个结构在最后一届ImageNet竞赛中也取得了很好的成绩，分类比赛的亚军，定位比赛的冠军。 类似的结构变种还有如下的结构，不再一一赘述。

当然，还有比上面的Dual Path Network更加简单的并行结构，即直接使用多个完全独立且相同的分支并行处理，然后合并 。

也有更加复杂的变种，即所谓的resnet in resnet结构，如下图。

篇幅原因本文不对所有残差网络的结构设计思想和发展做更多解读，感兴趣请移步知识星球《有三AI》。

4 残差网络结构为什么这么好用？

其中f为卷积操作，g为非线性变换函数，k为分类器， 依靠误差的链式反向传播法则，损失loss对f的导数为：

如果其中某一个导数很小，多次连乘后梯度可能越来越小，这就是常说的梯度消散，对于深层网络，从靠近输出的深层传到靠近输入的浅层时梯度值非常小，使得浅层无法有效地更新。

如果使用了残差结构，因为导数包含了 恒等项，仍然能够有效的反向传播。

举一个非常直观的例子方便理解，假如有一个网络，输入x=1，非残差网络为G，残差网络为H，其中H(x)=F(x)+x，假如有这样的输入关系：

甚至去除和打乱一些网络层，性能的下降也是一个很平滑的过程。

参考文献

[1] Schraudolph N. Accelerated gradient descent by factor-centering decomposition[J]. Technical report/IDSIA, 1998, 98.

[2] Raiko T, Valpola H, LeCun Y. Deep learning made easier by linear transformations in perceptrons[C]//Artificial intelligence and statistics. 2012: 924-932.

[3] Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Advances in neural information processing systems. 2015: 2377-2385.

[4] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[5] Orhan A E, Pitkow X. Skip Connections Eliminate Singularities[J]. international conference on learning representations, 2018.

[6] Veit A, Wilber M J, Belongie S. Residual networks behave like ensembles of relatively shallow networks[C]//Advances in neural information processing systems. 2016: 550-558.

总结

通过跳层连接而来的残差网络虽然结构非常简单，但是却异常有用，在很多的应用领域中都被广泛使用，其原理也在被进一步广泛研究中，大家可以持续关注，更多的内容我们会在知识星球《有三AI》中展示。

下期预告：深度学习中的多尺度设计与应用。

近期直播

有三AI纪念版扑克牌预售

今日看图猜技术

今日AI知识汇总

有三AI生态

转载文章请后台联系

侵权必究

更多请关注知乎专栏《有三AI学院》