如何从数据、模型和训练角度提升阅读理解系统性能？

2018年10月19日，第十七届中国计算语言学大会（CCL2018）在长沙召开，追一科技团队作为中文机器阅读理解（CMRC2018）评测任务的冠军队伍，在评测研讨会上分享了本次参赛系统的报告。

机器阅读理解（Machine Reading Comprehension）可以说是近两年NLP领域的大热点，顾名思义，就是让机器像人一样去读懂一段文字，并回答相应问题。常见的机器阅读理解形式有完形填空式，选择题式和知名度最广的抽取式，从抽取文档篇数又可细分为多文档（如MS MARCO）和单文档（SQuAD）。CMRC比赛与最流行的英文数据集SQuAD形式类似，文档来源于中文维基百科，问题由人工撰写，根据给定的一篇文档和一个问题，参赛者需要解决的是，如何建立并训练model，使其能更好地理解context与query，并找到相应答案。下图为实际比赛数据的一个示例。

数据

在数据方面，主要工作集中在数据的归一化和去噪音。CMRC比赛训练集包含大约一万条数据，总体数据量偏少，这种情况下数据的标注一致性尤为重要。通过分析错误样例，参赛队员发现了标注的不一致问题，通过分析筛选最终对少量答案分布不一致的训练数据进行了清洗。

（1963年）

范廷颂是什么时候被任为主教的？ 

VS  

九广铁路小童储值票是何时停止使用的？

（1990年9月 停止使用 ）

上面的数据样例展示了这种标注不一致问题，同样为时间点的询问，但是不同标注有后缀区别，这种标注不一致问题会使模型的最终预测EM指标降低。

除了标注不一致的噪音，参赛队员还对文本进行了归一化，比如繁简转换，中英文标点转换等数据归一化操作。

模型

在模型方面，追一此次参赛采用了经典的端对端阅读理解系统，整体框架参考微软的模型结构R-Net，示意图如下，

训练

由模型压缩思想衍生出的自我蒸馏(self-distill)训练方法在此次比赛中起到了很好的效果，其思想来源于论文《Born-AgainNeural Networks》。蒸馏通常用在模型压缩方面，即采用预训练好的复杂模型（teacher model）输出作为监督信号去训练另一个简单模型（student model），从而将teacher学习到的知识迁移到student。自我蒸馏就是不改变模型大小，循环进行teacher-student的训练，直到效果不再改进。CMRC比赛中，teacher model是已经训练好的一版模型，student 和teacher 模型相同，仅重新初始化。训练student时，模型要同时学习真实label和teacher的输出。 self-distill效果显著，最终模型比初始teacher的EM/F1分别可以增长0.88/0.94。

经过数据清洗，模型优化，多次训练，最终的系统在正式测试集上，EM和F1分别达到了74.178和88.145，仅靠单模型（single），在所有队伍中排名第一。

机器阅读理解技术应用领域广泛，现已在信息提取等多个产品功能上投入应用，也是追一未来重点投入的研究方向之一。