基于全局图瓶颈表示的图自监督学习方法技术

本发明专利技术公开一种基于全局图瓶颈表示的图自监督学习方法，通过对图数据进行增强，获得若干个与原始数据不同的图节点特征表示，在图数据增强过程中引入共享可学习

【技术实现步骤摘要】
基于全局图瓶颈表示的图自监督学习方法


[0001]本专利技术涉及计算机图像处理技术，具体涉及一种基于全局图瓶颈表示的图自监督学习方法
。

技术介绍

[0002]传统的深度学习方法被应用在提取欧式空间数据的特征方便取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的
。
图神经网络可以对这种非欧式空间生成的数据需要有效的分析
。
图神经网络同时使用数据的特征和结构，通过聚合邻居节点信息来更新当前的节点特征，获得节点表示后，将其应用于图分类
、
节点分类
、
链接预测等下游任务
。
[0003]传统图神经网络如图卷积网络
(GCN)
通过卷积操作聚合邻居节点的信息，堆叠多层不断更新自身节点的表示；图注意力网络
(GAT)
对节点的邻居分配不同的权重，通过多头注意力聚合邻居节点的信息；这种图神经网络的核心是定义确定性传播操作
。
目前大多图神经网络采用全聚合的策略，即节点接收来自邻居节点的所有属性信息
。
然而，这种聚合方式考虑的重点放在了网络的局部结构关系
(
如一阶相似性或二阶相似性
)
，容易遇到优化的不稳定性，如梯度消失和表示过度平滑，从而在表示远距离的依赖关系方面很困难
。
[0004]图随机神经网络
(GRAND)
设计了一种随机传播策略来获得图数据增强，利用一致性正则化来优化不同数据增强的节点的预测一致性
。GRAND
减轻了对节点的过度依赖和非鲁棒性的问题，但对于全局信息关系的构建上仍有不足
。
近年来，图对比学习受到越来越多的关注，对比学习的主要思想是在适当的变换下使表征彼此一致
。
对于图数据，试图重建顶点的邻接信息的传统方法可以被视为一种局部对比
。
而在局部表示和全局表示之间进行对比学习，以更好地捕捉结构信息
。
图上的对比多视图表示学习
(MVGRL)
，实验证明相比于全局信息
‑
全局信息的对比和多尺度的对比，全局信息
‑
节点的对比效果更好，因此通过池化获得全局信息之后，最大化节点和全局互信息的目标函数来进行对比学习
。
[0005]综上，现有的图神经网络模型有以下问题：
[0006](1)、
传统的图神经网络的聚合操作是全聚合的策略，即确定性传播，当图中节点或者边信息出现噪声时，全聚合的策略就会聚合到错误的信息，因此降低网络的性能
。
[0007](2)、
现有的随机注意网络，在数据增强后的图数据上进行，每个增强后的图数据包含不同的信息，没有很好的捕获全局依赖关系
。
[0008](3)、
现有的对比学习的全局信息一般是通过池化来获得，没有通过学习获得
。

技术实现思路

[0009]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于全局图瓶颈表示的图自监督学习方法，用于处理非欧式空间数据
(
如社交网络
、
引文网络等
)
，从信息瓶颈的角度利用
’
cls
’
学习图的全局瓶颈信息来替代传统的池化操作，同时提高模型的性能
。
[0010]技术方案：本专利技术的一种基于全局图瓶颈表示的图自监督学习方法，包括以下步骤：
[0011]步骤
(1)、
输入待分类的原始图数据，包括原始图的邻接矩阵
A
和节点特征矩阵
X
；邻接矩阵
A
的维度为
N
×
N
，
N
是指原始图中节点的个数，节点特征矩阵
X
的维度为
N
×
d
，
d
是节点的特征维度；
[0012]步骤
(2)、
初始化一个全局共享的
cls
节点，其向量表示为
x
cls
∈1
×
d
；
[0013]步骤
(3)、
执行两次不同的图数据增强操作，并分别进行构图以获得两个新视图，然后在新视图数据上进行特征传播；此处经过图数据增强之后，部分节点的特征被删除
(
即这些节点所有维度的特征值变成
0)
，两次图数据操作的区别为：选中删除特征的节点不同；具体过程为：
[0014]步骤
(3.1)、
两次图数据增强操作分别以不同随机概率对节点特征矩阵进行随机删除，以生成不同的扰动特征矩阵；
[0015]步骤
(3.2)、
构图操作是指将步骤
(2)
所得
cls
节点与扰动特征矩阵中所有节点连边得到两个不同的新视图；
[0016]步骤
(3.3)、
对于步骤
(3.2)
所得新视图分别通过图卷积神经网络进行特征传播，新视图每个节点的特征随机地与其高阶邻居的特征进交互，而
cls
节点则聚合图中所有节点的信息后回传到每个节点，这样会降低节点对某些特定节点的依赖，同时可以捕获全局信息；
[0017]步骤
(4)、
将步骤
(3)
输出的特征输入多层感知器分类模块得到最终的输出，也就是得到原始图中每个节点的分类结果；
[0018]步骤
(5)、
计算有标签节点的监督损失，以及一致性正则化，通过多次迭代训练得到最后的分类结果
。
[0019]进一步地，所述步骤
(3)
数据增强以及特征传播的具体细节如下：
[0020]首先，为每个节点
v
i
随机采样一个二进制掩码
ε
i
，二进制掩码
ε
i
服从伯努利分布
Bernoulli(1
‑
δ
)
，通过掩码获取扰动矩阵
X'
＝
ε
i
X
；
[0021]然后，为每个图添加
cls
节点
cls
节点与图上每个节点之间都有连边，如公式
(1)
所示：
[0022][0023][0024]式
(1)
中，
n
表示图中节点的个数，
A
为
n
×
n
的邻接矩阵，
A
ij
＝1表示节点
i
和节点
j
之间有边相连；表示将
cls
节点加入到视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于全局图瓶颈表示的图自监督学习方法，其特征在于：包括以下步骤：步骤
(1)、
输入待分类的原始图数据，包括原始图的邻接矩阵
A
和节点特征矩阵
X
；邻接矩阵
A
的维度为
N
×
N
，
N
是指原始图中节点的个数，节点特征矩阵
X
的维度为
N
×
d
，
d
是节点的特征维度；步骤
(2)、
初始化一个全局共享的
cls
节点，其向量表示为
x
cls
∈1
×
d
；步骤
(3)、
执行两次不同的图数据增强操作，并分别进行构图以获得两个新视图，然后在新视图数据上进行特征传播，具体过程为：步骤
(3.1)、
两次图数据增强操作分别以不同随机概率对节点特征矩阵
X
进行随机删除，以生成不同的扰动特征矩阵；步骤
(3.2)、
构图操作是指将步骤
(2)
所得
cls
节点与扰动特征矩阵中所有节点连边得到两个不同的新视图；步骤
(3.3)、
对于步骤
(3.2)
所得新视图分别通过图卷积神经网络进行特征传播，新视图中每个节点的特征随机地与其高阶邻居的特征进交互，而
cls
节点则聚合图中所有节点的信息后回传到每个节点；步骤
(4)、
将步骤
(3)
输出的特征输入多层感知器分类模块，得到最终的输出，也就是得到原始图中每个节点的分类结果；步骤
(5)、
计算有标签节点的监督损失，以及一致性正则化，通过多次迭代训练得到最后的分类结果
。2.
根据权利要求1所述的基于全局图瓶颈表示的图自监督学习方法，其特征在于：所述步骤
(3)
数据增强以及特征传播的具体细节如下：首先，为每个节点
v
i
随机采样一个二进制掩码
ε
i
，二进制掩码
ε
i
服从伯努利分布
Bernoulli(1
‑
δ
)
，通过掩码获取扰动矩阵
X'
＝
ε
i
X
；然后，为每个图添加
cls
节点
cls
节点与图上每个节点之间都有连边，如公式
(1)

【专利技术属性】
技术研发人员：江波，徐菲，
申请(专利权)人：安徽大学，
类型：发明
国别省市：