内容简介：正如大家所知，NeurIPS是机器学习领域的顶级会议，在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议，国外甚至有很多高校已经把 NeurIPS论文的发表数量当做是接收本科生申请研究生的门槛了。本文统计了2017年在NeurIPS上发表的约679篇论文，下表例举了在2017.12—2018.12这期间引用量超过了100的论文，一共19篇。（统计时间：2018年12月18日）
正如大家所知，NeurIPS是机器学习领域的顶级会议，在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议，国外甚至有很多高校已经把 NeurIPS论文的发表数量当做是接收本科生申请研究生的门槛了。
本文统计了2017年在NeurIPS上发表的约679篇论文，下表例举了在2017.12—2018.12这期间引用量超过了100的论文，一共19篇。（统计时间：2018年12月18日）
|
论文名 |
引用量 |
|
Attention Is All You Need |
934 |
|
Improved Training of Wasserstein GANs |
830 |
|
Dynamic Routing Between Capsules |
358 |
|
Self-Normalizing Neural Networks |
317 |
|
Unsupervised Image-to-Image Translation Networks |
296 |
|
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space |
254 |
|
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? |
209 |
|
Prototypical Networks for Few-shot Learning. |
203 |
|
Inductive Representation Learning on Large Graphs. |
195 |
|
A simple neural network module for relational reasoning. |
195 |
|
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. |
145 |
|
Hindsight Experience Replay. |
131 |
|
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. |
127 |
|
Understanding the Effective Receptive Field in Deep Convolutional Neural Networks. |
124 |
|
One-Shot Imitation Learning. |
121 |
|
LightGBM: A Highly Efficient Gradient Boosting Decision Tree. |
118 |
|
Dual Path Networks. |
111 |
|
The Marginal Value of Adaptive Gradient Methods in Machine Learning. |
108 |
|
Spectrally-normalized margin bounds for neural networks. |
102 |
下面为大家简要概述引用量排名前3的论文。
Attention Is All You Need
《Attention Is All You Need》这篇论文提出了一种新的简单网络架构，transformer，仅基于注意机制，彻底免除了循环和 卷积神经网络 。两个机器翻译任务的实验显示了这些模型质量优越，同时可以更加并行化并且需要更多训练的时间减少了。论文中的模型在WMT 2014英语 - 德语上达到28.4 BLEU翻译任务，改进现有的最佳成果，包括集成学习结果，超过2 BLEU。
由于改进了翻译质量和其他NLP任务，该文的Transformer架构自发布以来获得了很大的关注。哈佛大学的NLP研究小组曾发布了一篇帖子，该文章以逐行实施的形式呈现了该论文的注释版本。它附带了400行库代码，用PyTorch以笔记本的形式编写，可以从github或Google Colab上使用免费的GPU访问。
链接：http://nlp.seas.harvard.edu/2018/04/03/attention.html
Improved Training of Wasserstein GANs
《Improved Training of Wasserstein GANs》一文中，研究者们提出了一种替代权重剪枝实施Lipschitz约束的方法：惩罚critic对输入的梯度。该方法收敛速度更快，并能够生成比权重剪枝的WGAN更高质量的样本。WGAN的critic函数对输入的梯度相比于GAN的更好，因此对生成器的优化更简单。另外，WGAN的值函数是与生成样本的质量相关的，这个性质是GAN所没有的。
该文提供了一种训练GAN的稳定的算法，能够更好的探索哪种架构能够得到最好的生成模型性能。该方法也打开了使用大规模图像或语言数据集训练以得到更强的模型性能的大门。
代码链接：https://github.com/caogang/wgan-gp
Dynamic Routing Between Capsules
《Dynamic Routing Between Capsules》引入了一个新的构建块，可用于深度学习，以更好地模拟神经网络内部知识表示内的层次关系。Hinton和他的团队提出了一种方法来训练这样一个由Capsules组成的网络，并成功地在一个简单的数据集上训练它，实现最先进的性能。
也许有人会觉得这个想法非常简单，为什么以前没有人能想出来？事实是Hinton几十年来一直在思考这个问题。没有出版物的原因仅仅是因为之前没有技术方法可以使它发挥作用。其中一个原因是在2012年之前，计算机处在一个不够强大的基于GPU之前的时代。另一个原因是没有算法允许实现并成功学习Capsules网络（以同样的方式实现人工神经元自1940年代以来就存在，但直到1980年代中期才出现反向传播算法并允许成功训练深度网络）
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- AAAI 2019 四个杰出论文奖论文揭晓
- NAACL 2019最佳论文揭晓，谷歌BERT获最佳长论文
- ICLR 2019论文接收结果揭晓：24篇oral论文有没有你？
- CoNLL 2018 | 最佳论文揭晓：词嵌入获得的信息远比我们想象中的要多得多
- 臭名昭著的黑客tessa88的真实身份揭晓
- 重磅！会前一天培训讲师揭晓：Dave&William
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
