内容简介：这世界变化快。去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。
问耕 发自 凹非寺
量子位 出品 | 公众号 QbitAI
这世界变化快。
去年10月，Google团队发布BERT模型横扫一切，在11种不同NLP测试中创出最佳成绩。现在，轮到BERT被碾压了。
CMU和Google Brain团队最新发布的XLNet，在20项任务上超过了BERT的表现，包括SQuAD、GLUE、RACE等等。
这个消息一出，业界又轰动了。
目前这个模型的的论文、代码和预训练模型都已经放出。
XLNet的共同一作，是本科都毕业于清华的Zhilin Yang（杨植麟）和Zihang Dai，目前两人都在CMU读博。
为什么XLNet能够横扫BERT？
作者在这篇论文中表示，BERT在训练时需要mask一些输入，忽略了被遮蔽位置之间的依赖关系，因此产生预训练-微调差异。
而这次提出的XLNet，是一种泛化的自回归预训练模型。一方面，XLNet通过通过最大化所有可能因式分解顺序的对数似然，学习双向上下文；另一方面，利用自回归来客服BERT的缺点。此外，XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。
最终的测试表明，XLNet在20个任务上的表现优于BERT，而且通常是大幅提升；在18个任务上，获得了最高水平的结果，包括机器问答、自然语言推理、情感分析和文档 排序 等。
一大批用户在推特上表示了震惊。
“我还以为NLP已经被BERT和ULMFiT解决了”，一位用户发了个哭脸评论道。
这篇论文的作者大牛云集，除了开头提到的两位共同一作，还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及来自Google Brain团队的大牛Quoc V. Le。
最后送上传送门。
论文地址在此：
https://arxiv.org/abs/1906.08237
GitHub地址在此：
https://github.com/zihangdai/xlnet
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
AI社群 | 与优秀的人交流
小程序 | 全类别AI学习教程
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
以上所述就是小编给大家介绍的《20项任务横扫BERT！CMU谷歌发布XLNet，NLP再迎屠榜时刻》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 揭秘勒索界海王如何横扫中国
- 横扫Java Collections系列 —— TreeSet
- 自然语言处理的 ImageNet 时刻已经到来！
- [拆弹时刻]小程序canvas生成海报优化方案
- CVPR 2019：中国企业斩获无数冠军，见证华人星耀时刻！
- 最强NLP预训练模型！谷歌BERT横扫11项NLP任务记录
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Learning Vue.js 2
Olga Filipova / Packt Publishing / 2017-1-5 / USD 41.99
About This Book Learn how to propagate DOM changes across the website without writing extensive jQuery callbacks code.Learn how to achieve reactivity and easily compose views with Vue.js and unders......一起来看看 《Learning Vue.js 2》 这本书的介绍吧!
RGB CMYK 转换工具
RGB CMYK 互转工具
HEX HSV 转换工具
HEX HSV 互换工具