图马尔可夫网络：融合统计关系学习与图神经网络


论文标题：

GMNN: Graph Markov Neural Networks

收录会议：

ICML 2019

论文地址：

https://arxiv.org/abs/1905.06214

代码地址：

https://github.com/DeepGraphLearning/GMNN

 
本文 [1] 研究了图上的半监督节点分类问题。在此前的文献中，基于统计关系学习（例如马尔科夫随机场）和图神经网络（例如图卷积网络）的方法都已被广泛应用于这类问题。统计关系学习方法通过对象标签的依赖关系建模条件随机场，而图神经网络则以端到端训练的形式，提升了图学习的效率。
在本文中，作者提出图马尔可夫神经网络（Graph Markov Neural Networks ，GMNN）。GMNN 以条件随机场建模对象标签的联合分布，用变分 EM 算法进行有效训练。在 E-step 中，一个 GNN 学习用于拟合标签后验分布的表示向量。在  M-step 中，另一个 GNN 用于建模标签依赖关系。实验结果表明，GMNN 取得了优越的结果。

相关工作

统计关系学习（statistical relationship learning，SRL）方法以如下方式计算标签的联合概率分布：

ψ 是边上的势函数，一般是人工定义的特征函数的线性组合。

与 SRL 相比，GNN 忽略掉标签的依赖关系，只关注于节点的特征表示。由于 GNN 将标签之间视为独立，那么此情况下标签的联合分布表示为：

通过聚合节点特征预测标签 

           GMNN

其中 NB（n）是节点 n 的邻居。（5）式被称为伪似然函数（pseudolikelihood function）。在似然函数（4）式中，某节点的标签与图上的其他所有节点有关；在伪似然函数（5）式中，某节点的标签只与其邻域节点有关；此时，通过最大化伪似然函数求取节点标签，就只需要聚合邻域的信息。
（5）式的意义是，聚合邻域的标签信息和特征信息，通过最大化伪似然函数求取节点标签。因为 GNN 是一个聚合邻域信息并进行消息传递的过程，所以 $p_{\phi}$ 可以通过一个 GNN 实现。
（8）式证明见附录，参考文献 [4] 中也给出了一个类似的式子的证明过程。在（8）式中，用采样代替求期望：

实验与应用

 

GMNN 除了被应用于半监督的节点分类问题外，还可以被应用于无监督学习问题和链路预测问题。
在无监督学习中，由于没有标签的节点，因此我们改为预测每个节点的邻居节点是哪些。这种“将邻域作为标签”的方法在此前的无监督学习算法（例如 DeepWalk [5]）中得到广泛应用。
在链路预测问题中，使用对偶图（dual graph）[6] 将链路预测问题转换为节点分类问题。对偶图的示意图如下：
在半监督节点分类问题上的实验（使用Cora, Citeseer, Pubmed三个节点分类数据集）： 
在无监督学习问题上的实验：
在链路预测问题上的实验： 
在 few-shot learning 问题上的实验：对于每个数据集，随机抽取每个类下的 5 个标记节点作为训练数据。GMNN 显著优于 GCN 和 GAT。这种改进甚至比半监督学习的情况（即每个类使用 20 个标记节点进行训练）更大。这一观察结果证明了 GMNN 的有效性，即使在标记对象非常有限的情况下。 
登录用户可以查看和发表评论， 请前往  登录 或  注册。
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们：