NAACL 2019 论文 | 基于胶囊网络的知识图谱表示学习

知识图谱表示学习（Knowledge Graph Embedding）是将知识图谱中的实体和关系等表示为低维的向量空间中的向量，这些向量蕴含了实体和关系的复杂信息，有利于计算机进行计算和推理。

论文背景：

自TransE[1]发布以来，知识图谱的表示学习引起了广大研究者的研究兴趣，今天笔者为大家介绍NAACL 2019上发布的一篇最新的相关论文。该论文将不久之前Geoffrey E. Hinton提出的胶囊网络[2]（Capsule Network）应用到了知识图谱表示领域，并在主流的数据集上取得了最佳的实验效果。

论文原文： https://www.aclweb.org/anthology/N19-1226 论文源码： https://github.com/daiquocnguyen/CapsE 

知识图谱表示学习一般致力于将知识图谱中的实体和关系表示为低维向量空间中的向量。例如在经典的TransE模型中，对于（中国，首都，北京）这样一个三元组，TransE会学习“中国”和“北京”两个实体的向量，以及“首都”这个关系的向量，让它们尽量满足“中国”+“首都”“北京”的关系。在TransE之后，又有很多后续的工作如TransR[3]、DistMult[4]、ComplEx[5]和ConvKB[6]，它们都可以在各个方面弥补TransE的不足。
Hinton在2017年首次提出了胶囊网络，每个胶囊是一组神经元，可以看成是一个向量。该向量的方向和模长都是有意义的，在应用到图像领域时，向量的方向可以用来表示图像中的某个实体，如鼻子和眼睛等，而模长则用来表示该实体存在的概率。不同层之间的胶囊网络使用一个特定路由过程（routing process）进行连接，具体流程如下所示。

关于胶囊网络的详细介绍可以参见这篇博文： https://zhuanlan.zhihu.com/p/32156167。

论文方法：

今天介绍的论文作者认为三元组的低维表示在一定程度上和图像是类似的，虽然这并不能直观的看出。基于这个假设，作者将胶囊网络应用到了知识图谱表示学习的过程中，提出了一个新的CapsE模型，该模型能够更深度的挖掘实体和关系在地位空间中的关系。
该论文和之前的ConvKB是同一个作者，可以看做是ConvKB的一个扩展，对于一个三元组（s, r, o），其中s为头实体，o是尾实体，r为头尾实体之间的关系。CapsE首先学习一个3列的矩阵，每一列分别表示头实体、关系和尾实体的向量，之后使用多个卷积核对该矩阵进行卷积操作，得到相应的多个特征向量。到目前为止，CapsE和ConvKB是一致的，都是使用了CNN来提取三元组内部的深层关系。

在本篇论文中，胶囊网络被加在了特征向量的后面，特征向量变换之后便成为了第一层的胶囊网络，每一个向量为一个胶囊，即下图中的u1、u2、u3和u4。在经过路由过程（routing precessing）和squash激活函数之后，信息被传递到了第二层的胶囊网络。第二层胶囊网络中仅有一个胶囊，该胶囊对应的向量的模长即为(s, r, o)三元组存在于知识图谱中的概率。下图为该模型的流程图，图中每个实体向量的维度为4，有5个卷积核，每个卷积核的大小为1*3，不同颜色的向量代表不同卷积核的卷积结果。

论文实验：

该论文在两个任务上验证了CapsE模型的实用性，分别为知识图谱的补全和个性化应用程序搜索，在这两个任务上CapsE均取得了目前最好的结果。
知识图谱补全任务旨在预测一个三元组缺失的头实体或尾实体，实验的数据集为WN18RR和FB15K-237，下表为CapsE在这两个数据集上的实验结果。从表中我们可以看出，CapsE在FB15K-237上取得了目前最佳的结果，相对于ConvKB提升巨大，在WN18RR上也取得了不错的实验结果。这说明胶囊网络的加入显著地提升了模型的表示能力，是很有效果的。

下图中对比了CapsE和ConvKB在FB15K-237中不同类关系的三元组中的表现，我们可以看出在被预测的实体是可能存在多个可能的时候（即对于预测尾实体是1-M和M-M关系，预测头实体是M-1和M-M关系），CapsE要表现更好。

个性化应用程序搜索任务在本文中被看做是一个搜索推荐任务，一个用户u给定一个查询q，系统需要将相关的文档d按照相关性 排序 给出。这样便可以将该任务简化为类似于知识图谱补全的一个任务，也就可以将CapsE应用上去了，最终的实验结果如下表所示，可以看出CapsE也取得了目前最好的结果。

参考文献：
[1] Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Advances in neural information processing systems. 2013: 2787-2795.
[2] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.
[3] Lin Y, Liu Z, Sun M, et al. Learning entity and relation embeddings for knowledge graph completion[C]//Twenty-ninth AAAI conference on artificial intelligence. 2015.
[4] Yang B, Yih W, He X, et al. Embedding entities and relations for learning and inference in knowledge bases[J]. arXiv preprint arXiv:1412.6575, 2014.
[5] Trouillon T, Welbl J, Riedel S, et al. Complex embeddings for simple link prediction[C]//International Conference on Machine Learning. 2016: 2071-2080.
[6] Nguyen D Q, Nguyen T D, Nguyen D Q, et al. A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers). 2018: 327-333.

学术头条已建立微信交流群，想进群的同学请加学术君微信：AMiner308，记得备注： 名字+单位/学校

[关于转载]：本文为“学术头条”原创文章。转载仅限全文转载并保留文章标题及内容，不得删改、添加内容绕开原创保护，且文章开头必须注明：转自“SciTouTiao”微信公众号。谢谢您的合作。

微信公众号菜单栏为大家设置了“ 论文推荐 ”和 “优质分享” 专栏，“北京讲座”移至“优质分享”专栏内，欢迎大家关注。

学术头条

发掘科技创新的原动力

您的转发就是我们最大的动力

点击阅读原文 访问AMiner官网