递归神经网络(RNN)随记

2018年11月15日 阅读 5

递归神经网络(RNN)随记

基本概念

想法：在之后的输入要把之前的信息利用起来。W3就相当于对中间信息进行一个保留。

X和U组合成一个特征图，A表示一个记忆单元。

V矩阵相当于对St进行一个全连接的操作。最终的输出需要通过softmax将向量转化成概率的形式。RNN最适合做自然语言处理。图像处理上没有要求前后关联。

求梯度，每一步都会对前面所有的都进行更新。

递归神经网络的问题

RNN的问题：如果输入的句子非常长例如：200个字，那他会把所有的字记忆下来。那么离的比较远的，它的信息价值是不是没那么高！会不会造成一些影响。过长的情况下也会有梯度消失的问题。如果某一步的梯度约等于0，那么前面与它相连的都会约等于0。

LSTM(长短神经网络)

Ct是指细胞状态，我们需要永远更新下去。当前门是遗忘门，决定哪些信息是需要遗忘的。

当前门是计算要保留的信息。

Ct是不断迭代不断更新的。

完整结构。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

关注我们，获取更多IT资讯^_^

查看所有标签

• 卷积神经网络随记
• 数据分类与排序随记
• 推荐系统与应用随记
• PageRank 算法随记
• angular 服务随记
• ROC与AUC随记

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。