【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

栏目: 数据库 · 发布时间: 5年前

内容简介:把神经网络模型扩展到图结构数据是当前机器学习领域的研究热点,其中的代表有图卷积网络以及它的变种形式。图卷积网络的训练通常采用监督学习的方法,借助图或节点的标签定义优化目标。然而很多情况下,尤其是面对大规模网络,我们难以获得大量标记的训练数据。本文中,作者提出了Deep Graph Infomax (DGI),使图卷积网络能够无监督地学习图中的结构信息。

把神经网络模型扩展到图结构数据是当前机器学习领域的研究热点,其中的代表有图卷积网络以及它的变种形式。图卷积网络的训练通常采用监督学习的方法,借助图或节点的标签定义优化目标。

然而很多情况下,尤其是面对大规模网络,我们难以获得大量标记的训练数据。本文中,作者提出了Deep Graph Infomax (DGI),使图卷积网络能够无监督地学习图中的结构信息。

论文地址: https://openreview.net/pdf?id=rklz9iAcKQ

论文代码: https://github.com/PetarV-/DGI

论文方法

无监督学习需要根据输入数据的特点构造优化目标。对于图结构数据,常见的构造方法包括重构邻接矩阵,借助随机游走和负采样构造正负例等。本文作者受到 Mutual Information Neural Estimation (MINE) [1] 和 Deep InfoMax (DIM) [2] 的启发,提出了基于互信息(Mutual Information)的无监督学习目标。假设模型的输入是 (X, A),分别表示节点特征矩阵和图的邻接矩阵。DGI 模型的计算过程如Figure 1 所示:

1. 通过某种随机变换 C 构造一个负例 (\tilde{X}, \tilde{A});

2. 通过图卷积网络分别得到 (X, A) 的隐表示矩阵 H,以及 (\tilde{X}, \tilde{A}) 的隐表示矩阵 \tilde{H};

3. 定义函数 R 得到整个图的隐表示 s = R(H);

4. 通过优化下面的目标函数学习整个模型的参数,其中 N 和 M 分别表示 A 和 \tilde{A} 中的节点数。

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

优化目标函数L 相当于最大化节点表示 h_i 和图表示 s 之间的互信息:二元组 (h_i, s) 是由同一个图得到的,因此优化目标是最大化这些二元组的生成概率 ;而二元组 (\tilde{h}_i, s) 不是由同一个图得到的,因此优化目标是最小化这些二元组的生成概率 。作者在实验中使用了双线性函数定义D,并通过 sigmoid 函数转成概率值:

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

关于互信息目标函数的理论细节可以参考论文的3.3 节。

实验结果

作者分别在三类任务中应用了DGI 模型,分别是 Transductive Learning,Inductive Learning 以及多个图之间的 Inductive Learning,主要区别在于构造负例的方法上。

在Transductive Learning和Inductive Learning任务中,由于节点都属于同一个图,作者在构造负例时保持邻接矩阵不变,按行打乱节点特征矩阵X,相当于交换原图中某些点的位置;

在多个图之间的 Inductive Learning任务中,作者随机选择一个图作为负例进行目标函数的计算。由于 DGI 在学习节点表示的过程中没有任何监督标记,因此需要另外训练分类器(如逻辑回归)得到最终的分类结果。

Table 2 总结了DGI在三个任务上的效果以及和其他方法的对比,使用无监督方法训练的图表示能够取得和监督方法差不多的效果。

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

参考文献:

[1] Belghazi, M.I., Baratin, A., Rajeshwar, S., Ozair, S., Bengio, Y., Courville, A. & Hjelm, D.. (2018). Mutual Information Neural Estimation. ICML’18.

[2] Hjelm, R. D., Fedorov, A., Lavoie-Marchildon, S., Grewal, K., Trischler, A., & Bengio, Y. (2019). Learning deep representations by mutual information estimation and maximization. ICLR’19.

学术头条已建立微信交流群,想进群的同学请加学术君微信:AMiner308,记得备注: 名字+单位/学校

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

[关于转载]:本文为“学术头条”原创文章。转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“SciTouTiao”微信公众号。谢谢您的合作。

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

分享干货

AMiner迄今为止已发布18期AI系列研究报告,您可在后台回复 对应数字 获取报告。

推荐阅读:

基于嵌入表示的网络实体对齐方法进展概述

CVPR2019|基于场景图的可解释显示视觉推理

NAACL 2019 论文 | 基于胶囊网络的知识图谱表示学习

清华大学人工智能研究院成立视觉智能研究中心,邓志东教授任中心主任

清华大学人工智能研究院成立智能信息获取研究中心,马少平教授任中心主任

微信公众号菜单栏为大家设置了“ 论文推荐 ”和 “优质分享” 专栏,“北京讲座”移至“优质分享”专栏内,欢迎大家关注。

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax

学术头条

发掘科技创新的原动力

您的转发就是我们最大的动力

点击阅读原文 访问AMiner官网


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

矩阵论

矩阵论

方保镕 / 清华大学出版社 / 2004-1 / 39.00元

本书比较全面、系统地介绍了矩阵的基本理论、方法及其应用。全书分上、下两篇,共10章,分别介绍了线性空间与线性算子,内积空间与等积变换,λ矩陈与若尔当标准形,赋范线性空间与矩阵范数,矩阵的微积分运算及其应用,广义逆矩阵及其应用,矩阵的分解,矩阵的克罗内克积、阿达马积与反积,几类特殊矩阵(如:非负矩阵与正矩阵、循环矩阵与素矩阵、随机矩阵和双随机矩阵、单调矩阵、M矩阵与H矩阵、T矩阵与汉大象尔矩阵等),......一起来看看 《矩阵论》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具