DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

栏目: 数据库 · 发布时间: 6年前

对rnn的一些模型结构可以查看这篇文章： RNN：几张图搞懂RNN模型构建

下面来着重看一些lstm：

LSTM：是一种改进之后的循环网络，可以解决rnn无法处理长距离依赖的问题。

首先看一下原始rnn：其实rnn可以看成是一个很深的network。如下图所示的形式。

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

但是原始rnn存在梯度消失或者梯度爆炸的情况，梯度消失可以通过累积来体现（激活函数等）、梯度爆炸可以通过累加再体现（累加值太大），那么有什么解决方法呢？

（1）clipped gradient：将梯度约束到一点的范围内： [min, max]，即梯度小于min时取min、当梯度大于max时取max。（这点有没有想起GAN的....）

（2）优化算法使用：momentum、NAG、RMSProp。

（3）改变rnn的结构： LSTM（主要解决梯度消失的问题）。

LSTM的结构如下图所示：

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

主要包含三个门：

（1）遗忘门（如下图所示）：它决定了上一时刻的单元状态 c_t-1 有多少保留到当前时刻 c_t。（有没有发现有点attention的意思，有没有看出点残差的额意思）

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

（2）输入门（如下图所示）：它决定了当前时刻网络的输入 x_t 有多少保存到单元状态 c_t。

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

（3）输出门：控制单元状态 c_t 有多少输出到 LSTM 的当前输出值 h_t。

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

最终lstm后向传播是为了学习8组参数，如下图：

DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

必然

凯文·凯利 (Kevin Kelly) / 周峰、董理、金阳 / 译言·东西文库／电子工业出版社 / 2016-1-1 / 58

《必然》的作者凯文·凯利，被称为“硅谷精神之父”和“世界互联网教父”。前两部《失控》和《科技想要什么》在中国出版后，引起巨大反响。书中凯文·凯利对十二种必然的科技力量加以详细的阐述，并描绘出未来三十年这些趋势如何形成合力指引我们前行的方向。作者凯文·凯利基于过往从业经历和对未来趋势的敏锐观察对十二个关键词“形成”“知化”“流动”“屏读”“使用”“共享”“过滤”“重混”“互动”“追踪”“提问......一起来看看《必然》这本书的介绍吧!

码农工具

UNIX 时间戳转换

RGB HSV 转换

RGB HSV 互转工具