神经语言模型的最新进展

栏目: 编程工具 · 发布时间: 5年前

内容简介:杨植麟是卡内基梅隆大学计算机科学学院的四年级博士生,由Apple AI负责人Ruslan Salakhutdinov指导。在过去的三年中,他作为第一作者在ICIR、ICML、NeurIPSACL和EMNLP等顶级AI会议发表了10多篇论文,并且获得了Nvidia先锋研究奖,Facebook ParlAI研究奖,Nvidia博士奖学金和Siebel奖学金。他曾在Facebook AI Research和Google Brain工作,并与JasonWeston,Quoc V. Le,Yann Lecun,Yo

神经语言模型的最新进展

杨植麟是卡内基梅隆大学计算机科学学院的四年级博士生,由Apple AI负责人Ruslan Salakhutdinov指导。在过去的三年中,他作为第一作者在ICIR、ICML、NeurIPSACL和EMNLP等顶级AI会议发表了10多篇论文,并且获得了Nvidia先锋研究奖,Facebook ParlAI研究奖,Nvidia博士奖学金和Siebel奖学金。他曾在Facebook AI Research和Google Brain工作,并与JasonWeston,Quoc V. Le,Yann Lecun,Yoshua Bengio和Chris Manning合作,曾在唐杰教授指导下,在本科时便发表多篇论文,并以GPA第一名的成绩获得了清华大学的学士学位。

在此次演讲中,他介绍了改进 神经语言模型 神经架构的最新进展:

  1. 超越Softmax瓶颈的高秩语言模型。

  2. 用于建模长距离依赖性的Transformer网络。通过提出的技术,在六个主流语言建模数据集上取得世界第一的结果,包括enwiki8、text8、Penn Treebank、WikiText-2、WikiText-103和One Billion Words。

  3. 此外还介绍了HotpotQA,这是一个用于测试多步推理的挑战数据集。

以下是他此次演讲的主要内容

他首先提到了深度学习自然语言处理的最近趋势,如下:

  • 优化语言建模目标的变量

  • 用于下游任务的精细调优或特征提取

神经语言模型的最新进展

但是他随即表明挑战依然存在:

  • 如何改进 神经语言模型

  • 更困难的任务:多跳推理(multi-hop reasoning),可解释性

神经语言模型的最新进展

此次演讲内容依次为:

  • High-rank LM(高秩语言模型)

  • Transformer-XL

  • HotpotQA

神经语言模型的最新进展

第一部分:High-rank LM(高秩语言模型)

1.语言模型的构建:自回归因式分解

神经语言模型的最新进展

2. 带softmax的 神经语言模型 介绍:构建

神经语言模型的最新进展 因式分解

神经语言模型的最新进展

Softmax瓶颈:如果embedding size太小,则Softmax没有表达真实数据分布的能力。

神经语言模型的最新进展

语言模型的秩是什么?—“base meanings”的最小值,需要线性地跨越整个对数概率空间。 神经语言模型的最新进展

高秩假设说明Softmax瓶颈是真实存在的。

神经语言模型的最新进展

怎么样解决Softmax瓶颈?(基本思路)

神经语言模型的最新进展

提出的解决办法:Mixture ofSoftmaxes (MoS)

神经语言模型的最新进展

在Penn Treebank (PTB)、WikiText-2 (WT2)、One Billon WordDataset以及三个数据集集合上的实验效果,显示数据集越大,该方法的提升效果越明显。

神经语言模型的最新进展

总的来说,从softmax到MOS取得了很好的效果,其他的任务需要更高秩的表达,例如,摘要、对话、机器翻译、自动语音识别等。

神经语言模型的最新进展

第二部分:Transformer-XL

Transformer介绍:Transformer是Vaswani等人提出来的概念 Transformer  → Multi-Head Self-Attention +Positional Encoding。

Vanilla Transformer Language Models的构建步骤

神经语言模型的最新进展

Transformer-XL构建语言模型

神经语言模型的最新进展

Transformer-XL的训练

神经语言模型的最新进展

Transformer-XL的警告:

  • 位置编码对于时态信息至关重要

  • 标准位置编码不允许重用以前的状态

神经语言模型的最新进展

enwiki8、text8、Penn Treebank、WikiText-2、WikiText-103和One Billion Words数据集实验均显示State-of-the-art的结果。

神经语言模型的最新进展

第三部分:HotpotQA

他提到了《HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering》这篇论文,并给大家讲了“HotpotQA”这个数据集名称的由来,他和同学在纽约吃火锅的时候讨论到这个问题,说想要建立这样一个数据集,所以就起名叫

火锅QA,顺便还可以发扬一下中国的火锅,看样子,做这个数据集的同学们也是一群吃货呐。

接下来他给大家介绍了根据目前问答的研究现状,HotpotQA设计来实现跨多个文档的多跳推理。

神经语言模型的最新进展

实验数据集的统计与分析

神经语言模型的最新进展

在演讲的最后,他表示未来的工作主要有两项:

1. 将这些新的模型运用到预训练中

2. HotpotQA方法与BERT类似的方法进行比较

神经语言模型的最新进展


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

从Paxos到Zookeeper

从Paxos到Zookeeper

倪超 / 电子工业出版社 / 2015-2-1 / 75.00元

《Paxos到Zookeeper:分布式一致性原理与实践》从分布式一致性的理论出发,向读者简要介绍几种典型的分布式一致性协议,以及解决分布式一致性问题的思路,其中重点讲解了Paxos和ZAB协议。同时,本书深入介绍了分布式一致性问题的工业解决方案——ZooKeeper,并着重向读者展示这一分布式协调框架的使用方法、内部实现及运维技巧,旨在帮助读者全面了解ZooKeeper,并更好地使用和运维Zoo......一起来看看 《从Paxos到Zookeeper》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

在线进制转换器
在线进制转换器

各进制数互转换器

html转js在线工具
html转js在线工具

html转js在线工具