定向Dropout和L0正则，for.ai与Hinton老爷子的神经网络蒸馏、剪枝与量化新研究，稀疏化神经网络，控...

“信息”技术的开垦只是刚刚开始，对于AI工作者也许更恰当的一个名称是“信息控制师” — David 9

人脑可以随时拿出一个模型处理周围信息，而不是等待别人告诉它怎么处理信息。现在所谓”深度学习”的风口，其实都只能归为信息科技。 这种需要人工告诉模型如何处理信息的智能，David姑且称为“信息控制智能”。

cnn做了 自动的信息解构 提取， rnn 把 时序间的信息 收集提取， gan 把模糊化的 loss信息学习 提取，包括今天要聊到的 Dropout 和 L0 正则都是对网络学到的 内部信息 做了控制。

如果大家知道神经网络 蒸馏、剪枝或者模型压缩和量化 ，大家愈发会感到：这些就是实实在在的 “信息工具” 而已。拿 L0正则 举例（其实L1, L2正则都类似），L0能做到的只是把所有的非０权重 以同样的力量拉扯到０ ，使得网络学到的参数信息更稀疏，L1, L2不同之处只是对于不同大小的参数θ ， 拉扯的力量不同而已 ：

同样，for.ai与Hinton老爷子提出的定向 Dropout（ targeted-dropout ） 也可以用来压缩模型(但不丢失信息或少丢失信息)。“ 彩票假设 ”的提出者们认为，一个密集、随机初始化的前向神经网络都可以找到一个子网络（所谓的彩票），能够比较稀疏并且和原网络差别极小的性能。

定向Dropout（ targeted-dropout ） 就可以帮助我们找到这样的子网络，所谓“定向”，就是对那些 权重量较小的连接 ，有目标地进行 dropout ：

本质上，指定那些不那么重要的权重连接，在训练时dropout，是 把那些不重要的连接所携带的信息拉扯到其他权重连接上 ，这样，在信息不丢失的基础上，最后可以把信息压缩到一个比较小的神经网络，达到压缩模型的作用。

定向 Dropout（ targeted-dropout ） 的试验也证明，使用定向Dropout后，网络的权重连接变稀疏了，并且 权重连接与权重连接之间的互信息增强了 :

上图中x轴和y轴分别代表两个权重连接，如果两个权重连接之间的信息依赖度较高，那么颜色偏绿色（反之偏红色），当然在对角线上的点是同一个连接和自己比较当然依赖度很高。可以注意到，右图使用了 targeted-dropout 后，依赖更密集了，模型也压缩的更小了。

最后的模型效果David无需多言了，使用 targeted-dropout 可以保证在剪枝较多神经网络后依然有较高的准确率：

参考文献：

1. https://for.ai/blog/targeted-dropout/
2. Learning Sparse Neural Networks through L0 Regularization

本文采用 署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议 进行许可。著作权属于“David 9的博客”原创，如需转载，请联系微信: david9ml，或邮箱：yanchao727@gmail.com

或直接扫二维码: