论文笔记：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

作者

• Junyoung Chung
• Caglar Gulcehre
• KyungHyun Cho
• Yoshua Bengio

观点

• RNN 在很多机器学习任务尤其是变长输入输出的任务上效果拔群
• 经典 RNN 有两个主要的问题: 梯度消失, 长期记忆急速衰减。
• 解决 RNN 难以训练的尝试有两种: 一种是设计更好的学习方法(Bengio 2013)，另外一种是设计更复杂的激活函数
• LSTM 不会每次都重写 memory，而是可以通过 input/forget gate 在需要的时候尽量地保留原来的 memory
• LSTM/GRU 中额外增加的 cell state，让它们能记住较早之前的某些特定输入，同时让误差反向传播时不会衰减地太快

数据集

• polyphonic music dataset(Boulanger-Lewandowski et al. 2012)
  • Nottingham: http://abc.sourceforge.net/NMD/
  • JSB Chorales: http://www.jsbchorales.net/index.shtml
  • MuseData: http://musedata.stanford.edu/
  • Piano-midi: http://www.piano-midi.de/
• Ubisoft Datasets

模型/实验/结论

实验: 在上述几个数据集上，分别使用经典 RNN、LSTM、GRU 进行训练，并记录 NLL 的变化情况。

结论: LSTM/GRU 在收敛速度和最后的结果上，都要比经典 RNN 要好，但 LSTM 和 GRU 在不同的数据集和任务上虽然互有优劣但差异不大，具体使用 LSTM 还是 GRU 还要视情况而定。

概念和术语

• polyphonic music:

  (来自维基百科)

  复音音乐/复调音乐/和弦，一种“多声部音乐”。作品中含有两条以上（含）独立旋律，通过技术性处理，和谐地结合在一起，这样的音乐就叫做复音音乐。

  复音音乐第一个“音”字表示旋律，中国音乐界习惯将“复音音乐”称为“复调音乐”，主要是着眼于曲调一词，但“复调音乐”容易与二十世纪的“复调性音乐”一词混淆。

总结

实验很粗暴，结论很简单。