ACL 2018：一文带你看自然语言处理领域最新亮点

7月15日至20日，自然语言处理顶级会议ACL 2018在澳大利亚墨尔本成功举办。本届大会投稿量和接受量均有增长，共收到投稿1544篇，最终录用381篇，其中长文256篇（录取率25.1%），短文125篇（录取率23.8%）。

图1 ACL 2018投稿统计

根据对接收论文标题的词云分析，在ACL 2017和2018上持续热门的关键词有注意力机制（attention）、网络（network）、知识（knowledge）、序列（sequence）和语言（language）。而在今年的ACL中，句子（sentence）、词嵌入（embedding）和情感（sentiment）受到了更多的关注。交叉（cross）、领域（domain）、无监督（unsupervised）等关键词也在今年上榜，可以看到业界有更多的人开始着手不同领域之间的交叉迁移，以及无监督学习的工作。

图2 接收论文标题关键词（左：ACL 2017独有，中：ACL 2017和ACL 2018共有，右：ACL 2018独有）

同时，本届ACL还宣布将针对亚太地区成立AACL（Asia-Pacific Chapter of the ACL）大会。

最佳论文

3篇长文与2篇短文获得了本次会议的最佳论文。

最佳长文：

1. Finding syntax in human encephalography with beam search. John Hale, Chris Dyer, Adhiguna Kuncoro and Jonathan Brennan

本篇论文通过对人脑电波中early peak现象的分析，发现循环神经网络语法生成模型（Recurrent neural network grammars，RNNGs）与束搜索（beam search）的组合，能够对人脑进行自然语言理解时的语法处理过程进行比较微软亚洲研究院c好的建模。这一篇文章属于自然语言处理与人脑研究的交叉领域的成果，实验充分，可以将其认作从人脑生物学角度对深度学习方法有效性的肯定。

论文链接：https://arxiv.org/pdf/1806.04127.pdf

2. Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information. Sudha Rao and Hal Daumé III.

这篇论文中，作者定义了一个新任务：对于一个可能模糊的问题，从一群候选问题中找出澄清性最强的问题（clarification questions）作为模糊问题的信息补充，从而得到更有价值的回答。作者针对这一任务设计了简单的模型，后基于StackExchange上爬取的数据创建了数据集，并设计了评价指标。在研究中，定义新任务一般是比较冒险的，因为可能受到各方面的质疑：任务是否有意义、定义是否清晰、是否可解、评价指标是否合理等等。这篇论文对以上几点都做了逻辑清晰的阐述。

论文链接：https://arxiv.org/pdf/1805.04655.pdf

3. Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers. Andre Cianflone,* Yulan Feng,* Jad Kabbara* and Jackie Chi Kit Cheung. (* equal contribution)

这篇论文也提出了一个新任务，预测副词词性的假定形态触发语（adverbial presupposition triggers），并且提出了针对此任务的一个计算方法。该论文关注了语言学中的一个现象，而语言学的知识也是几乎历年ACL最佳论文中都会稍加侧重的点。由于笔者的语言学知识不丰富，所以就不具体阐述了，大家有兴趣可以自己阅读。

论文链接：https://arxiv.org/pdf/1806.04262.pdf

最佳短文：

1. Know What You Don’t Know: Unanswerable Questions for SQuAD. Pranav Rajpurkar, Robin Jia and Percy Liang

机器阅读理解是近年来兴起的任务之一，业内顶级的机器阅读理解水平测试当属基于SQuAD数据集（Stanford Question Answering Dataset）的文本理解挑战赛，在SQuAD数据集中，机器需要“阅读”一篇短文章，并回答一系列相关的阅读理解题。但在现实中，可能有一些问题根据文章是无法回答的，这个时候机器应当拒绝回答。为了考察机器的这一点，作者发布了SQuAD 2.0数据集，它在之前SQuAD数据集的基础上，增加了50,000条人工标注的不可回答问题，这样机器不仅需要正确回答可以回答的问题，还需要正确识别出不可回答的问题。这一数据集的发布将会进一步推动机器阅读理解的研究。

论文链接：https://arxiv.org/pdf/1806.03822.pdf

2. ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions. Olivia Winn and Smaranda Muresan

这篇论文对于颜色的比较级描述（更亮ligher，更暗darker）进行了建模，能够对于给定的RGB色彩和比较级形容词的描述，得到期望的色彩。这篇论文同样发布了一个针对此任务的数据集。

论文链接：http://aclweb.org/anthology/P18-2125

机器翻译最新进展

在本次大会上，笔者结合自己的研究兴趣，重点关注了机器翻译的分会议。在两天的oral presentation中，有两篇论文都提到了文档级的机器翻译（document-level neural machine translation）。与句子级别的翻译相比，文档级别的翻译主要面临两个方面的挑战，一是指代消解问题，二是用词一致性的问题。因为在文档中，代词的出现是十分常见的，同时对于同一文档的同一个问题，前后叙述的用词也应当是一致的，这跟独立的句子有很大不同。

而在文档级别的机器翻译任务上，还没有一个统一的数据集，因此这两篇论文中，作者选取的都是字幕数据集，将视频字幕作为一篇文档来处理。同时，文档级机器翻译目前也还没有专门的自动评测指标。

在论文Context-Aware Neural Machine Translation Learns Anaphora Resolution中，作者基于现有的Transformer模型，构造了源语言编码器（source encoder）和上下文编码器（context encoder），两个编码器的输出经过一个统一的注意力层（attention layer），得到上下文相关的源语言表示。通过详细的实验分析与举例论证，作者发现通过这种方式引入上下文信息后，模型能够处理文档级机器翻译中的指代消解问题。在下图的attention图中可以看到，对于“it”这个代词，模型能够较为准确地将其对应到上文中的“heart”这个词上，从而可以在翻译到目标语言时完成指代消解。

Context-Aware Neural Machine Translation Learns Anaphora Resolution, Voita et al.

论文链接：http://aclweb.org/anthology/P18-1117

Transformer, Vaswani et al.

论文链接：https://arxiv.org/pdf/1706.03762.pdf

图3 引入上下文信息帮助指代消解

另一篇论文Document Context Neural Machine Translation with Memory Networks中，作者将文档级的机器翻译任务视作结构预测问题，通过构造源语言端和目标语言端的两个记忆网络（memory networks），来存储源语言文档和目标语言文档中句子之间的依赖关系，解码器将记忆网络中的存储信息作为条件进行解码，模型结构如下图所示。通过这个方法，模型可以更好地利用上下文信息，帮助解码器更好地进行指代消解等。实验结果表明，该方法的性能相比之前的工作有显著提升。

图4 引入记忆网络的模型结构

Document Context Neural Machine Translation with Memory Networks, Maruf et al.

论文链接：https://arxiv.org/pdf/1711.03688.pdf

同时，本次大会依然有不少对注意力机制（attention）的研究。注意力机制自2014年提出，从起初针对RNN的attention，到后来针对CNN的attention，一直发展到最近的Transformer模型中的self-attention，注意力机制一直是业界的兴趣点之一。

在本次大会的一篇长文How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures中，作者通过对不同模型的组件进行组合，对其中的注意力机制进行了详细的实验分析，得出了两个有趣的结论：

1、即使不用self-attention，通过借鉴Transformer模型中的一些设计思想，如采用multi-head attention、层归一化、增加前馈层等，RNN和CNN模型也能够达到Transformer的水平。

2、在源端采用self-attention要比在目标端采用更为重要，即使在目标端不采用self-attention，模型也可以达到不错的效果。

How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures, Domhan

论文链接：http://aclweb.org/anthology/P18-1167

微软亚洲研究院在ACL 2018

微软亚洲研究院在今年ACL上的表现也可圈可点，共有6篇长文与2篇短文入选，涉及语法纠错、文本摘要、语义分析、机器翻译、聊天等多个任务。

1. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. Tao Ge, Furu Wei, Ming Zhou.

本文针对语法纠错任务，提出了流畅度提升学习和推断方法，分别用于解决训练数据较少和句子错误太多时模型无法完全将句子纠正过来的问题。

论文链接：http://aclweb.org/anthology/P18-1097

2. Neural Document Summarization by Jointly Learning to Score and Select Sentences. Qingyu Zhou, Nan Yang, Furu Wei, Shaohan Huang, Ming Zhou, Tiejun Zhao.

本文针对文本摘要任务，提出了一种端到端的抽取式文本摘要模型，将选择策略集成到打分模型中，解决了此前抽取式文本摘要中句子打分和句子选择这两部分割裂的问题。

论文链接：https://arxiv.org/pdf/1807.02305.pdf

3. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. Ziqiang Cao, Wenjie Li, Sujian Li, Furu Wei.

此前，序列到序列的文本摘要方法只依赖原文本来产生摘要。本文受基于模板的文本摘要方法的启发，将已有摘要作为软模板（soft templates）来指导文本摘要的生成。

论文链接：http://www4.comp.polyu.edu.hk/~cszqcao/data/IRSum.pdf

4. Semantic Parsing with Syntax- and Table-Aware SQL Generation. Yibo Sun, Duyu Tang, Nan Duan, Jianshu Ji, Guihong Cao, Xiaocheng Feng, Bing Qin, Ting Liu, Ming Zhou.

本文通过考虑数据库表的结构和 SQL 语言的语法特征，提出了一种生成式模型将自然语言的查询语句映射为SQL语句，解决了之前此任务中逐词生成SQL语句的缺陷。

论文链接：https://arxiv.org/pdf/1804.08338.pdf

5. Triangular Architecture for Rare Language Translation. Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, Shuai Ma.

本文针对小语种翻译问题，设计了一种新颖的三角结构，引入大语种丰富的双语语料，通过EM算法来辅助提升小语种的翻译，解决了小语种翻译问题上数据稀疏的问题。

论文链接：https://arxiv.org/pdf/1805.04813.pdf

6. Using Intermediate Representations to Solve Math Word Problems. Danqing Huang, Jin-Ge Yao, Chin-Yew Lin, Qingyu Zhou, Jian Yin.

本文提出了一种中间语义表示方法，作为隐空间来辅助自然语言到数学方程的映射，解决了此前自然语言和数学方程直接映射时gap过大的问题。

论文链接：http://aclweb.org/anthology/P18-1039

7. Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots. Yu Wu, wei wu, Zhoujun Li, Ming Zhou.

本文提出了一种利用未标注数据来学习匹配模型（matching model）的方法，解决基于检索的聊天机器人中的回复选择问题。

论文链接：https://arxiv.org/pdf/1805.02333.pdf

8. Neural Open Information Extraction. Lei Cui, Furu Wei, Ming Zhou.

本文基于编码器-解码器架构，提出了神经开放信息抽取方法，用于解决此前开放信息抽取系统中由于采用手工模式特征（如语法分析）而导致的错误传播问题。

论文链接：https://arxiv.org/pdf/1805.04270.pdf

一键下载全部8篇论文 ！

图5 微软亚洲研究院院友们在ACL 2018上的合影

作者简介

任烁，微软亚洲研究院和北京航空航天大学联合培养博士生。主要研究方向为半监督和无监督的神经机器翻译。他于2016年获得北京航空航天大学工学学士学位，目前为博士二年级在读。