ICLR 2017 大会：百度探索循环神经网络中的稀疏性

内容简介：ICLR 2017 大会：百度探索循环神经网络中的稀疏性

循环神经网络（RNN）通过带负反馈的神经元，能够处理任意长度的序列，被普遍的应用于解决各种问题。随着现在数据量和可计算能力的增加，神经网络的规模在不断扩大。但目前在手机或嵌入式设备的网络中，RNN 参数数量过多, 难以部署，较大的内存需求和评估时长都是 RNN 面临的挑战。

在 4 月份闭幕的 ICLR 会议上，百度展示了一篇名为《EXPLORING SPARSITY IN RECURRENT NEURAL NETWORKS》的论文。 为了有效创建循环神经网络，科学家们提出一种在网络初始训练期间降低权重的方法来减少网络中的参数。

循环神经网络是动物大脑中神经元网络及其动作电位的算法简化，它通常包含三个部分：“输入层”、“隐藏层”和“输出层”，就相当于动物神经元网络中的突触和神经元。每一个神经元对应一个节点，突触就是 RNN 的边缘，在整个神经元网络中，刺激神经元电位发生变化的信号通过突触从上游神经元传递到下游神经元，以离散的方式迭代。每一个节点的参数都是由当前迭代结果以及之前所有迭代结果共同决定的。

用于声音建模的深层神经网络具有大约 1100 万个参数，当使用双向循环网络建模时参数将扩大到 6700 万个，甚至在语言建模中，这些参数的数量更大。

通常情况下， 这个参数的大小由隐藏层的权重决定 。如下图所示，x 表示输入层的值，s 表示隐藏层的值，o 代表输出层，而 W 就代表隐藏层的权重矩阵。如果建模任务很复杂，W 的值就会很大。现代便携式设备的内存和存储空间有限，无法满足循环网络的计算需求，而大型设备往往又需要很长的评估时间。

因此，不得不采取措施降低权重。百度的办法是，在建模初始化期间，为网络中的每个权重创建一个二进制掩码，在训练的迭代过程中采用单调递增的阈值，将小于阈值的权重设置为零，并更新掩码。在所有的权重更新完毕之后，将掩码与权重相乘。这样一来就可以人为控制权重矩阵的稀疏度，同时，为了保证权重小的参数不变，每一层还设置了不同的阈值函数。目前，通过这种方法科学家们 可以以最小的精度损失实现 90%的稀疏度，并将运算速度提高 2-7 倍。

这种方法比较适用与密集型的神经网络模型，除了可以加快运算速度之外，还能够减小 RNN 运算所需的存储空间。但这一切是以牺牲性能为代价的， 权重矩阵实现 90%的稀疏度其性能就会下降约 20%。 所以对小型的神经网络训练来说，这种方法得不偿失。

另外，据百度方面介绍，这种方法完全由经验推出而缺乏理论支持，如果一定要追溯一种灵感来源，那就是这种通过归零来实现稀疏度的方法就像是向网络中添加噪声。但不同的是，添加噪声有时也会增大权值。

目前，虽然这项技术可以显著提高密集型 RNN 的运算效率，节省存储空间和建模成本，但接下来研究人员还是应该考虑如何在实现稀疏性的同时提高精确度。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 循环神经网络
• tensorflow 之循环神经网络 原 荐
• 循环神经网络 (RNN) 的长期依赖问题
• 常见的五种神经网络（三）：循环神经网络（上篇）
• 常见的五种神经网络（三）：循环神经网络（中篇）
• 这种有序神经元，像你熟知的循环神经网络吗？

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。