论文笔记:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

栏目: 数据库 · 发布时间: 7年前

作者

  • Junyoung Chung
  • Caglar Gulcehre
  • KyungHyun Cho
  • Yoshua Bengio

观点

  • RNN 在很多机器学习任务尤其是变长输入输出的任务上效果拔群
  • 经典 RNN 有两个主要的问题: 梯度消失, 长期记忆急速衰减。
  • 解决 RNN 难以训练的尝试有两种: 一种是设计更好的学习方法(Bengio 2013),另外一种是设计更复杂的激活函数
  • LSTM 不会每次都重写 memory,而是可以通过 input/forget gate 在需要的时候尽量地保留原来的 memory
  • LSTM/GRU 中额外增加的 cell state,让它们能记住较早之前的某些特定输入,同时让误差反向传播时不会衰减地太快

数据集

模型/实验/结论

实验: 在上述几个数据集上,分别使用经典 RNN、LSTM、GRU 进行训练,并记录 NLL 的变化情况。

结论: LSTM/GRU 在收敛速度和最后的结果上,都要比经典 RNN 要好,但 LSTM 和 GRU 在不同的数据集和任务上虽然互有优劣但差异不大,具体使用 LSTM 还是 GRU 还要视情况而定。

概念和术语

  • polyphonic music:

    (来自维基百科)

    复音音乐/复调音乐/和弦,一种“多声部音乐”。作品中含有两条以上(含)独立旋律,通过技术性处理,和谐地结合在一起,这样的音乐就叫做复音音乐。

    复音音乐第一个“音”字表示旋律,中国音乐界习惯将“复音音乐”称为“复调音乐”,主要是着眼于曲调一词,但“复调音乐”容易与二十世纪的“复调性音乐”一词混淆。

总结

实验很粗暴,结论很简单。


以上所述就是小编给大家介绍的《论文笔记:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

互联网+

互联网+

马化腾 / 中信出版社 / 2015-5-1 / CNY 58.00

中国进入新常态,李克强总理制定*“互联网+”行动计划以推动经济进一步发展,并认为站在“互联网+”风口顺势而为,可以使经济飞起来。 《互联网+:国家战略行动路线图》由“互联网+”理念的提出者于扬、*强有力推动者马化腾等创作。书稿从理论层面、实践经验等多个角度,结合当下各产业的现状、发展趋势,全方位进行阐述,以通俗易懂的文字将这一经济发展新引擎呈现出来,并对读者如何抓住新时期的机遇有切实的指导意......一起来看看 《互联网+》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具