内容简介：这世界变化快。去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。
问耕 发自 凹非寺
量子位 出品 | 公众号 QbitAI
这世界变化快。
去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。
CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。
这个消息一出，业界又轰动了。
目前这个模型的的论文、代码和预训练模型都已经放出。
XLNet的共同一作，是本科都毕业于清华的Zhilin Yang（杨植麟）和Zihang Dai，目前两人都在CMU读博。
为什么XLNet能够横扫BERT？
作者在这篇论文中表示，BERT在训练时需要mask一些输入，忽略了被遮蔽位置之间的依赖关系，因此产生预训练-微调差异。
而这次提出的XLNet，是一种泛化的自回归预训练模型。一方面，XLNet通过通过最大化所有可能因式分解顺序的对数似然，学习双向上下文；另一方面，利用自回归来客服BERT的缺点。此外，XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。
最终的测试表明，XLNet在20个任务上的表现优于BERT，而且通常是大幅提升；在18个任务上，获得了最高水平的结果，包括机器问答、自然语言推理、情感分析和文档 排序 等。
一大批用户在推特上表示了震惊。
“我还以为NLP已经被BERT和ULMFiT解决了”，一位用户发了个哭脸评论道。
这篇论文的作者大牛云集，除了开头提到的两位共同一作，还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及来自Google Brain团队的大牛Quoc V. Le。
最后送上传送门。
论文地址在此：
https://arxiv.org/abs/1906.08237
GitHub地址在此：
https://github.com/zihangdai/xlnet
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
AI社群 | 与优秀的人交流
小程序 | 全类别AI学习教程
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
以上所述就是小编给大家介绍的《20项任务横扫BERT！CMU谷歌发布XLNet，NLP再迎屠榜时刻》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 揭秘勒索界海王如何横扫中国
- 横扫Java Collections系列 —— TreeSet
- 自然语言处理的 ImageNet 时刻已经到来！
- [拆弹时刻]小程序canvas生成海报优化方案
- CVPR 2019：中国企业斩获无数冠军，见证华人星耀时刻！
- 最强NLP预训练模型！谷歌BERT横扫11项NLP任务记录
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
