模型压缩：识别感知的深度神经网络信道裁剪 | 论文分享

网络量化

Rastegari等人提出将网络中的参数量化为+1/-1。所提出的BWN和XNOR-Net可以在大规模数据集上达到能和对应全精度相媲美的准确度。在Dorefa-net中，CNN的高精度权重，激活和梯度被量化为低比特位版本，带来了资源和硬件能力需求的大量减少。通过引入0作为第三个量化值，三元权重网络TWNs能达到比二元神经网络更高的精度。

稀疏或低等级连接 

为了减少神经网络存储需求。Han等人提出零输入或输出连接的神经元能从神经网络中安全的移除。通过L1/L2正则化的帮助，权重在训练中被推向0。随后AlexNet的压缩率通过剪枝、量化、哈夫曼编码能达到1/35。考虑到参数重要性在剪枝过程中被改变，Guo等人提出动态网络手术。通过之后提出的使用稀疏约束训练能达到更高的压缩率。 

信道裁剪

对比网络量化和稀疏连接，信道裁剪同时从网络中移除信道和相关过滤器。因此只需要一点工作就能很好地被现存深度学习库支持。 信道裁剪的关键问题是评估信道重要性。 Li等人提出通过计算权重绝对值之和来测量信道重要性。Hu等人定义APoZ测量神经元的激活。通过目标函数的稀疏正则化，基于训练的方法能在训练阶段学习到压缩模型。考虑到效率，重建方法将信道选择问题转换为重建损失的优化问题，并通过贪婪策略或LASSO回归来解决。

使 为训练样本，N代表样本数量。给定一个L层CNN模型M，使 为模型第l卷积层的参数。 和 为过滤器的高和宽；c和n代表输入和输出的信道数。 和 代表输入的特征图和相应输出特征图。 为第i个样本第k个信道的特征图。 记为第k个输入信道和第j个输出信道对应的参数。第i个样本第j个信道对应的特征图 为： 给定预训练模型M，信道裁剪的任务是裁剪W的冗余信道，从而减少模型大小，加速运算。

为了选择信道，本文介绍 的变体：

如果 则 ， 则 。||·||F代表Frobenius正则化。

动机

给定一个预训练模型M，现存方法最小化M和裁剪模型的重建误差：

为了增加中间层的识别能力，介绍对于深度网络中间层的额外损失。在本文中，我们均匀地插入P个识别感知损失 。使 为插入损失的层。

LP+1为最后一层L。对于第p个损失，我们在 层中做信道裁剪，当p=1时 。

构建识别感知损失

如图1所示，每一个损失使用 的输出作为输入特征。为了使损失的计算更容易，本文在特征图上使用平均池化，为了加速收敛，在平均池化前使用batchnorm和ReLU，最终计算对于在 层输入特征图的损失 。 

代表 层的输出特征图， 为第i个样本的特征图。关于第p个loss的识别感知损失为:

I{·}是指示器函数。通过同时考虑交叉熵损失和重建损失，我们得到联合损失函数:

最后对于识别感知的信道裁剪优化问题描述为：

识别感知的信道裁剪

直接优化问题（7）是非常困难的，本文提出贪婪算法解决。具体而言，首先移除所有信道，然后选择真正对深度网络识别能力有贡献的信道。使 为被选择信道的索引，期初未空集。如算法2所示，一旦A被决定，根据被选择的信道优化W，通过最小化如下问题：

通过 优化 。

停止条件

由于L是凸函数，L(Wt)将随着算法2中的迭代索引t单调下降。因此可以采取如下停止条件：