搜狗语义匹配技术前沿

2.2  用于信息检索的 IR-Transformer

搜狗搜索对机器翻译Transformer模型进行了一定的改造，建立了用于信息检索的IR-Transformer模型。下文将简要介绍我们模型的架构。

类似于原始的Transformer模型， IR-Transformer模型也分为两大模块：处理查询信息的query编码器（记为q编码器）和处理网页标题的title编码器（记为t编码器）。注意，由于处理信息检索问题时仅需分析已有网页，而不需要生成文字或者网页，所以IR-Transformer架构中不包含解码器。

q编码器、t编码器均为多层结构，较低层的输出作为较高层的输入被进一步处理，不同层的内部结构相同。每层q编码器由两个亚层组成，而每层t编码器由三个亚层组成。q编码器和t编码器的第一个亚层主要执行self multi-head attention操作；q编码器和t编码器的最后一个亚层主要执行非线性变换操作；t编码器的第二层主要执行q->t multi-head attention操作。

细心的读者会发现，该模型共用到两种multi-head attention操作，即self multi-head attention（两种编码器均采用）以及q->t multi-head attention（仅用于t编码器）。实际上，这两种multi-head attention的差别仅在于输入的来源有所不同：前者的输入只包含自身相关的信息；而后者的输入不仅包含t编码器自身的信息，还包含来自q编码器的信息。

为了更形象的说明multi-head attention的运算过程，我们在图2中展示了一个具体的例子：假设q编码器的输入（即用户的查询）是“今天/天气/如何”（斜杠代表分词），一个待分析网页的标题是“近期/天气/汇总”。那么，对于q编码器而言，如图2(a)所示，执行self multi-head attention运算意味着要计算N个相关性矩阵（每个矩阵由如(今天,今天)，(今天,天气)，(今天,如何)等词对的相关性数值组成）。换言之，词与词之间的相关性即为attention机制，而计算N个相关性矩阵意味着multi-head。由于词对均由q编码器的输入组成，所以对于q编码器而言，这个操作也叫self multi-head attention。利用N个相关性矩阵以及查询语句的初始语义向量（embedding），“今天”、“天气”、“如何”的语义可被进一步深化为三个新向量，如图2(a)的大括号右侧所示。

相对于未经过self multi-head attention的语义向量，新的语义向量含有了上下文的信息（信息来自N个相关性矩阵），内涵更加丰富、全面。所以，IR-Transformer模型拥有结合上下文语境来分析语义的能力，而该能力对于信息检索精度至关重要，我们将在下一小节重点介绍这一特点。

同理，如图2(b)所示，q->t multi-head attention操作需要计算N个相关性矩阵（每个矩阵由如(近期，今天)，(近期，天气)，(近期，如何)等词对的相关性数值组成）。需要注意的是，词对的组成不光来自t编码器，还来自q编码器（如“今天”等词）。

图2 (a) self multi-head attention与 (b) q->t multi-head attention示意

经过q编码器、t编码器的多层处理，用户查询和网页标题的语义已被充分抽象。利用加权平均、神经网络处理等方法，我们可以用两个高维向量来分别表示查询和网页标题。比如对于图2中的例子，查询和网页标题的信息可以分别表示为q=(q ₁ , q ₂ , …, q _k )以及t=(t ₁ , t ₂ ,…, t _k )。基于这两个高维向量的相似度（例如cos内积的大小），搜索引擎可以给网页打分，将高分的网页返回给发出查询请求的用户。

为了提高模型的精度以及收敛效率，我们也参考了原始文献，在IR-Transformer中加入了残差连接（residual connection）、层正则化（layer normalization）等技术；为了增加语序分析能力，我们在模型中加入了位置编码（positional encoding）等操作。

2.3 IR-Transformer 的效果

信息检索领域的一个重要的难题是：如何结合上下文语境分析语义，并对查询与网页的语义进行匹配。举个例子，假设用户的查询是“哪家/医院/看/XX病/水平/好”，一个相关性较好的网页标题信息是“各大/医院/治/XX病/效果”。对于该查询，其语义的核心在于“看/XX病”，而网页信息的核心则是“治/XX病”。在一般的语义环境中，“看”字的语义和“治”字的语义差别很大，所以如果直接计算“看”和“治”的相关性，则用户的查询和该网页的匹配度会比较差。但是，如果结合“XX病”这个上下文语境，“看”字和“治”字的语义相关性就非常强了。换言之，一个好的搜索算法必须能够在感知上下文的前提下进行语义匹配。然而，K-NRM以及DSSM等深度学习模型从原理上无法做到这一点，所以这些算法的搜索精度有限。

那么IR-Transformer感知上下文语境的能力怎样呢？我们做了如下实验：选择6个不同类型的网站，分别是（0）新浪博客，（1）道客巴巴，（2）宝宝树，（3）56网，（4）大众点评和（5）土巴兔。每个网站确定100个互不重复的专属关键词，例如新浪博客的专属关键词是“博客”、“口述”等，道客巴巴是“汇报”、“文献”等，宝宝树是“试纸”、“分泌物”等。接下来，对每个网站分别选择含有专属关键词的网页标题，并利用self multi-head attention对这些网页标题进行处理。为了可视化显示self multi-head attention的语义分析能力，我们采用了T-SNE算法对这些专属关键词的语义向量进行了降维。

图3 self multi-head attention的语境分析能力。本图采用了T-SNE降维算法对语义向量进行可视化。散点之间的距离越近意味着它们的语义相关性越强。

如图3(a)所示，在没有经过self multi-head attention之前，这些专属关键词的语义向量的区别并不大（各个颜色的散点并没有被明确区分成簇）。但是经过了两层self multi-head attention操作后，这些关键词的语义被明显区分开了。

那么图3背后的道理是什么呢？经过self multi-head attention之前，网页标题中不同词之间没有任何的相关性操作，即该语义向量中并没有任何的上下文的信息；经过self multi-head attention之后，由于attention操作（具体见上一节），这些关键词的语义中包含了上下文的信息。因为不同类型的（如新浪博客和道客巴巴）网页标题的上下文语境会有巨大差别，所以经过self multi-head attention之后，语义向量会被分在不同的簇内。

总结上文，图3的结果显示了IR-Transformer具有很强的感知上下文语境的能力，因此该模型的检索能力远超DSSM、KNRM等传统深度信息检索模型，甚至超越了如RNN、CNN等经典的模型。可以想见，对于在本节开头提出的“看病”的查询和“治病”的网页之间的匹配问题，IR-Transformer会表现的非常出色。

3IRGAN 模型

3.1  信息检索问题的模型训练

机器学习的基础理论指出，任何机器学习方法都是由模型、策略以及寻优算法构成的。其中，模型指的是机器学习方法的框架结构；策略以及寻优算法主要针对模型的训练：如何设定损失函数、梯度优化算法等环节来高效获得最优的模型参数。换言之，从方法论的角度，为了得到一个高精度的机器学习（深度学习）模型，设计完了模型框架并非大功告成，训练方法的设计也异常关键：我们必须确定模型的有效训练方法，才能获得最优模型数据，从而进行结果预测。

对于传统的训练方法，输入给模型的训练数据会被提前制作好并封装成为训练集合。在训练过程中，模型会从集合中随机抽样获得某条训练数据。可以想见，采用这样的训练方法，训练数据整体的学习难度就等于被构造的训练集的学习难度。换言之，训练难度是静态的。

然而，模型会随着训练而“成长”，静态的训练难度不容易获得最优的训练模型。这是为什么呢？举个例子来解释：当一个高中生刚开始学习高中知识时，他开始可能会觉得有点难，但后来会越来越适应，并很快掌握了这些知识；当这个高中生毕业后进入了大学，如果他还只学习高中难度的知识，他就学不到什么新的内容了。对于深度学习的模型训练，道理亦是如此：一成不变的学习难度难以完全激发模型的潜力。

为了解决训练集难度不变的问题，搜狗搜索引入了IRGAN强化学习训练框架：采用该框架可以动态的提升训练数据的难度，从而提高训练效率以及预测精度。

3.2IRGAN 原理

IRGAN模型最初发表在《Irgan: A minimax game for unifying generative and discriminative information retrieval models》。该模型脱胎于在图片生成领域得到广泛应用的生成对抗网络（Generative Adversarial Network，GAN）。

为了更好地理解IRGAN的工作机制，我们首先介绍GAN。GAN是一种强化学习方法，其基本思想是让模型在对抗中学习训练样本的特征。GAN由生成器（generator，记为G）和判别器（discriminator，记为D）组成。以图片生成领域的上色问题为例，为了训练GAN，我们需要一系列彩色图片以及与彩色图片对应的黑白图片。生成器以黑白图片输入，利用CNN等神经网络结构，生成黑白上色的彩色图片。此后，生成器将生成的彩色图片（或者说伪彩色照片）与真实的彩色图片一起提交给判别器，让其从中选择哪个是真实的彩色图片。如果判别器选错了，判别器将会受到惩罚；反之如果判别器选对了，生成器将会受到惩罚。在GAN的训练过程中，生成器和判别器会动态的寻找彼此的弱点，并不断增强自身。在训练结束后，生成器为模型有效的部分：生成器会将待上色的黑白照片处理成为逼真的彩色照片。

对于IRGAN而言，其设计思想与传统的GAN大同小异：同样是利用生成器和判别器之间的博弈来让两者相辅相成，共同成长。然而，由于IR的任务并不是生成以假乱真的虚假网页，而是返回更准确的检索结果，所以IRGAN的模型架构、训练方法、训练数据构造均与传统的GAN有一定差别。

3.3IRGAN 训练框架

IRGAN的训练数据必须满足一定的格式要求。比如，每条训练数据要包括一个查询语句query以及多个（个数大于2）与查询相关的网页数据。此外，每条训练数据还要在多个网页数据中标明哪个与本条query最为相关。记与当前查询最为相关的网页为doc ₊ ，其他网页信息为doc _- ，那么训练集的格式即为(query, doc ₊ , doc _- , doc _- , … ,doc _- )。

图4 IRGAN模型架构

如图4所示，IRGAN的训练过程可分为判别器的训练和生成器的训练两部分。在训练判别器时，生成器首先会拿到形如(query, doc ₊ , doc _- , doc _- , … ,doc _- )的初始数据。为了最大程度的欺骗判别器，生成器会从诸多doc _- 中挑选一个它认为与查询最相关的网页数据，并将这个doc _- 与doc ₊ （实际上最相关的网页数据）拼在一起形成新的数据对(query, doc ₊ , doc _- )。判别器会对生成器产生的数据对做出选择：究竟哪个网页与查询最相关。如果判别器选择错误（换言之，被生成器骗到了），那么它将会被惩罚，从而得到训练。

必须要指出的是，由于生成器在不断进化，所以它产生的数据对(query, doc ₊ , doc _- )也在不断发生改变。该变化即上文所述的“动态对抗使得训练数据的难度发生变化”。

生成器的前半部分训练流程基本与判别器的训练流程一致：生成器获得原始数据，生成为了欺骗判别器的数据对。此后，当判别器对数据对做出判断之后，会输出一个混淆评分给生成器。混淆评分越大意味着判别器越容易被生成器产生的数据所迷惑；反之，评分越小意味着生成器产生的数据并没有让判别器特别困扰。该混淆评分会作为生成器的奖励，指导生成器的优化方向。随着生成器训练的推进，它会分析出除了doc ₊ 外哪个doc _- 的语义最接近query，从而更准确的攻击判别器的选择盲区并得到更高的奖励。

IRGAN是一种对抗训练的模式，有对抗就有强弱（即检索能力的高低），所以在训练完成后，我们可以选生成器和判别器中能力更强的那个来进行信息检索。

值得一提的是，IRGAN模型规定的是训练的框架，而没有对判别器和生成器的内部结构做出任何限定。换言之，任何可用作信息检索的深度学习模型都可以当作IRGAN的生成器或者判别器。例如上文介绍的IR-transformer模型就可嵌入IRGAN框架中。

3.4IRGAN 的效果

为了证实IRGAN的确在动态对抗中优化了输入的训练集，我们做了如下实验：对于某一深度信息检索模型，我们让其在普通的训练模式下训练一定时间，并将该状态作为初始状态进一步进行两种方式的训练：(a)继续进行普通训练；(b)分别当作IRGAN的生成器和判别器的初始状态，并让生成器和判别器进行对抗训练。

如图5所示，(a)图表示采用普通模式得到的预测精度（DCG5）随训练的变化，(b)图表示采用IRGAN模式得到的预测精度随训练的变化。图5(b)中蓝色点为生成器的预测精度，绿色点为判别器的预测精度，黑色点为在训练开始前的预测精度，红色区域代表生成器训练的阶段。

训练集由大量的训练数据组成，从微观角度，部分训练数据较难学习，而部分训练数据较容易被学习。在普通的训练模式中，模型通过从集合中抽样获得训练数据，所以训练数据的难度随机变化，起伏较大。可想而知，以这样的训练方式得到的结果的精度也必然是随机起伏的，恰如图5(a)所示。不幸的是，当预测精度出现随训练时长的随机性波动，一般也就意味着训练的效率大幅下降了。

那么，有没有什么办法可以降低这种随机性呢？答案就是采用IRGAN训练框架。在动态对抗下，生成器会学到判别器的弱点，并对原始训练集进行“提纯”，即从4个doc _- 中选择一个最难分辨的doc _- 交给判别器去抉择。值得注意的是，经过了生成器的提纯，判别器得到的训练数据难度再也不是随机变化的了。如图5(b)所示，在IRGAN训练框架下，生成器和判别器的预测精度具有明确的周期性变化趋势，且生成器和判别器的能力交替上升和下降。判别器预测精度上升意味着在此阶段判别器很好地“击败了”生成器；反之，如果预测精度下降，意味着在此阶段判别器完全被搞迷糊了，学错了很多“知识”。

精度的周期性波动取代随机性波动说明了IRGAN训练模式对训练数据提纯的有效性。换言之，将深度学习模型嵌入到IRGAN框架下再进行训练具有大幅提高训练效率、充分发掘模型能力等优势。我们的研究结果显示，达到同样的信息检索精度，使用IRGAN框架可以节省一半甚至更多的训练时间。

图5 使用IRGAN训练框架，可以“精炼”训练数据，并在一定程度上消除预测精度的随机性波动。

4  总结与展望

随着学术界对深度学习研究的不断深入，优秀的算法和技术手段在不断涌现。本文介绍的IR-transformer模型和IRGAN训练框架就是近期学界的新鲜成果。

然而必须要指出的是，虽然信息检索中的很多问题可以利用深度学习模型较好的解决，但是还有大量的问题亟待研究。比如，深度学习的模型训练需要大量的高质量数据（data-hungry），如何通过用户点击或者其他行为得到足够纯净的训练集是决定深度学习模型能力强弱的重要难题；此外，未来的深度学习模型还需考虑更多样的搜索需求，比如考虑用户的个性化特点，搜索产生的时间、地点，用户的搜索历史等信息。

道路虽然曲折，但前途依然光明。随着大数据技术的不断发展以及对深度学习、机器学习算法研究的不断深入，我们有理由相信，未来的搜索引擎一定会越发智能化、个性化，伴随在人们上网冲浪的点滴时刻。

参考文献：

[[i]]     Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al., editors. Attention is all you need. Advances in Neural Information Processing Systems; 2017.

Neural Network

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

Big data

大数据，又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

来源： 维基百科

Convergence

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。 通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源： Wikipedia Google ML glossary

BM25

在信息检索领域，Okapi BM25（BM代表最佳匹配）是搜索引擎根据其与给定搜索查询的相关性对匹配文档进行排名的排名函数。它基于Stephen E. Robertson，KarenSpärckJones等人在70年代和80年代开发的概率检索框架。

来源： Robertson, S., & Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends® in Information Retrieval, 3(4), 333-389.

Dimensionality reduction

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题，其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射（projection）。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归（principal component regression）和偏最小二乘法（partial least squares）。

来源：机器之心

Sogou

搜狗成立于2003年，是中国搜索行业挑战者，AI领域的创新者。目前搜狗月活跃用户数仅次于BAT，是中国用户规模第四大互联网公司。2004年8月，搜狗推出搜狗搜索，现已成为中国第二大搜索引擎。2006年6月，推出搜狗输入法，重新定义了中文输入，目前搜狗输入法覆盖超5亿用户，是国内第一大中文输入法。2017年11月9日，搜狗在美国纽约证券交易所正式挂牌上市，股票交易代码为“SOGO”，开盘价为13.00美元，市值超50亿美元。