「我们该谈谈LSTM是谁原创？」图灵奖得主Hinton霸气回击Jürgen

内容简介：图源：http://people.idsia.ch/~juergen/turing.html

前几天，计算机科学家、LSTM 之父 Jürgen Schmidhuber 发文， 以六条理由批评 Geoffrey Hinton 不应获得 2019 年本田奖 。其中第一条理由就是「反向传播并非 Hinton 原创」。

这件事在 reddit 等平台上引发了大量讨论。昨日，Hinton 亲自下场，在帖子上表示「我只回应这一次」，并对 Jürgen 喊话：「或许 Jürgen 应该谈谈谁发明了 LSTM？」

以下是 Hinton 的回应：

和 Jürgen Schmidhuber 就学术信用进行公开辩论是不明智的，因为这只会鼓励他，而他愿意投入无限的时间和精力让他所认为的对手失去信用。他甚至还耍一些把戏，比如在维基百科上有好几个别名，让别人以为有人附和他。Jürgen 网站上对阿兰·图灵的介绍就是他贬低别人贡献的一个典型案例。

我知道不应该理他，但我认为不能让他的指控完全不做回应，因此我决定回应，且仅此一次。

我从未说过反向传播是我发明的。David Rumelhart 独立提出了反向传播，在那之前已经有很多其他领域的人提出了它。我们第一次公开发表相关研究时的确不知道反向传播的历史，因此没有引用之前提出者的工作。

不过，我需要声明一点，我是明确表明反向传播可以学习有趣的内部表征，并使该想法推广开来的人。我通过让神经网络学习词向量表征，使之基于之前词的向量表征预测序列中的下一个词实现了这一点。正是这个案例使得 Nature 发表了 1986 年那篇论文《Learning representations by back-propagating errors》。

确实有很多媒体说我是反向传播的提出者，我花费了大量时间进行纠正。在 Martin Ford 2018 年出版的《Architects of Intelligence》一书中，我就曾经说过：

「在 David Rumelhart 之前，很多人提出了不同版本的反向传播。其中大部分是独立提出的，我觉得我承受了过多的赞誉。我看到媒体说我提出了反向传播，这是完全错误的。科研人员认为他因为某事获得了过多赞誉，这样的情况不常见，但这就是其中之一！我的主要贡献是展示如何使用 BP 算法学习分布式表征，因此我要做出澄清。」

或许 Jürgen 应该谈谈谁发明了 LSTM？

在 1960 年代，反向传播的基础知识由多位研究者在控制理论和链式规则的背景下得出，并早在 1970 年就实现了计算机上的运行。不过这一术语的确定，以及被人们广泛所知的确要等到 1986 年《自然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文发表之后。

到了 2015 年，《自然》杂志发表了一篇介绍人工神经网络的文章《Deep Learning》，它是深度学习的一篇标志性文章，目前引用量已经达到了 24621。这篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，从卷积、循环和反向传播算法等核心概念概览了深度学习，并提出无监督学习、深度学习结合强化学习等方向是未来的发展趋势。

Schmidhuber 在当年的一篇批评文章中表示，作者在这篇文章中引用了很多自己的研究工作，而忽视了半个世纪以前开创领域的先驱者。

Jürgen Schmidhuber 和 Geoffrey Hinton 的讨论在机器学习社区中迅速发酵，越来越多的从业者对此发表了自己的看法。对此，DeepMind科学家 Oriol Vinyals 也有一个更中立化的建议：「我们应当把荣耀归于思想本身，而不是人。科学应是公正而匿名的。」

参考链接：

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/

以上所述就是小编给大家介绍的《「我们该谈谈LSTM是谁原创？」图灵奖得主Hinton霸气回击Jürgen》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• AWS 回击了：推出兼容 MongoDB 的 DocumentDB
• 在特朗普声称美国要在网络空间更加主动后，“以黑客手段回击网络攻击”的支持声音开始抬头
• python图灵机器人
• 重塑金融体系，图灵奖得主的区块链平台开放公测
• 北京大学图灵班本科生获STOC最佳论文奖
• 图灵奖得主Judea Pearl：从“大数据革命”到“因果革命”

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。