论文浅尝 | 引入“引用”的语言模型

栏目: 编程工具 · 发布时间: 5年前

内容简介:笔记整理:杨帆,浙江大学硕士,研究方向知识图谱.

笔记整理:杨帆,浙江大学硕士,研究方向知识图谱.

论文浅尝 | 引入“引用”的语言模型

论文链接 https://arxiv.org/pdf/1611.01628.pdf

动机

Referring expression RE )在自然语言中十分常见,并且在信息交流中扮演了十分重要的角色,但是之前的工作并没有在语言模型中明确地引入 RE ,作者在这篇论文中明确对 RE 建模,将其纳入语言模型之中,用以提高文本生成的表现。

贡献

1. 提出了对自然语言中的 reference (引用)进行建模的框架

2. 提出了第一个对引用建模的神经模型,可以根据上下文生成引用的具体表现形式

3. 在三个数据集上对模型进行综合评估,验证了提出的模型比 baseline 表现更好

模型

和传统的语言模型相比不同的是,作者在每个位置引入了一个随机变量 z_i ,用以决定该位置如何生成相应的单词,形式化的条件概率如下:

论文浅尝 | 引入“引用”的语言模型

其中 z_i 在不同的上下文中有着不同的含义。作者分别从三项具体的任务出发详细阐述了对应的模型,分别为 1 referenceto lists 2 referenceto databases 3 referenceto document context

论文浅尝 | 引入“引用”的语言模型

1)Reference to lists

该项任务主要考虑引用一个列表中的元素,这种任务有着很广泛的应用,比如根据文本生成对应文档,作者此处以根据食材生成食谱为例。

首先利用 encoder list 中各个元素(食材)编码,将最后的输出作为 decoder 的初始输入,然后将 decoder 的每个输出与 list 中所有项目做 attention 得到 ,再利用 decoder 输出和 attention 值生成 论文浅尝 | 引入“引用”的语言模型 以及传统 sequence to sequence 模型的输出 论文浅尝 | 引入“引用”的语言模型 论文浅尝 | 引入“引用”的语言模型 可以看作一个开关,用于控制下一个单词是从 list 中复制还是根据 softmax 生成,而和 论文浅尝 | 引入“引用”的语言模型 分别对应最终生成的单词。具体的计算过程如下:

论文浅尝 | 引入“引用”的语言模型

论文浅尝 | 引入“引用”的语言模型

论文浅尝 | 引入“引用”的语言模型

2)Reference to databases

论文浅尝 | 引入“引用”的语言模型

此类任务基础框架和前一项任务相同,但是外部数据源从列表变为了表格(数据库),则通过下列过程生成。

论文浅尝 | 引入“引用”的语言模型

3)Reference document context

该项任务旨在生成文本时生成对前文出现的实体的引用,当 z_i =0,下一个单词通过 softmax 生成,当 z_i =1 ,下一个单词根据 h_e 生成,此处与前两项任务不同的是,前两项任务从外部数据源(列表或数据库)直接复制,而该任务是前文出现的实体变换之后得到对应的单词,概率形式如下:

论文浅尝 | 引入“引用”的语言模型

其中 h_e 是一个动态维护的前文出现的实体集合,当出现新的实体,则将其加入至集合之中,当实体已在集合中出现,则用其新的表示替换旧的表示,示意图如下:

论文浅尝 | 引入“引用”的语言模型

实验

论文浅尝 | 引入“引用”的语言模型

论文浅尝 | 引入“引用”的语言模型

论文浅尝 | 引入“引用”的语言模型

上述三个表格分别对应三项任务的实验结果,可以看出在语言模型中引入 RE 的确提升了文本生成的性能表现。

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

论文浅尝 | 引入“引用”的语言模型

点击 阅读原文 ,进入 OpenKG 博客。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Web程序设计

Web程序设计

塞巴斯塔 / 2008-6 / 68.00元

《Web程序设计(第4版)》是最新版,介绍了Internet和万维网的起源及演变过程,全面系统地讨论了Web开发相关的主要编程语言和工具,以及这些语言和工具之间的相互影响及优劣势。该书对全书内容进行了很多修订,并新增加了关于Ruby、Rails和Ajax的3个章节。一起来看看 《Web程序设计》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具