一种基于多尺度图对比学习的图神经网络方法技术

本发明专利技术公开了一种基于多尺度图对比学习的图神经网络方法，包括以下步骤：收集原始图数据，并进行标记

【技术实现步骤摘要】
一种基于多尺度图对比学习的图神经网络方法


[0001]本专利技术涉及一种神经网络技术，尤其涉及一种基于多尺度图对比学习的图神经网络方法。

技术介绍

[0002]图结构数据已被证明可以有效地表示各种数据，例如社交网络、金融网络和化学分子图等，具有广泛的应用价值。伴随着图数据在现实世界的场景中越来越普遍，学习图数据的表示也变得越来越重要。
[0003]图表示学习即从图中提取出高维的结构和属性信息，并将其编码为低维的表示向量，已被广泛地应用于诸多图数据分析和处理任务中。在信息化时代下，数据量的增加导致标记数据越来越稀缺，导致收集数据标签需要大量的人力资源和时间。因此，越来越多的研究人员开始关注无监督或自监督图表示学习。
[0004]传统的方法例如矩阵分解和随机游走都无法扩展到较大规模的图上，且不能很好地利用节点的属性信息，因此，不依赖于图的标签信息的情况下来学习到图的表示则变得至关重要。
[0005]目前，基于对比学习的图表示学习方法是一种可行方法，许多相关的研究也已经取得了令人期待的成果。然而，目前绝大多数研究都未曾考虑到图数据的多尺度信息，即从一个单一的尺度来进行对比学习，忽略了更加丰富的全局信息或是更加细致的局部信息。

技术实现思路

[0006]为解决上述问题，本专利技术提供一种基于多尺度图对比学习的图神经网络方法，克服了以前的方法中对于多尺度信息的缺乏，通过控制随机游走节点数量的方式提出了全局视图和局部视图的概念，同时制定不同的对比学习策略，从而对于不同的视图间执行不同的策略，从而可挖掘图数据中丰富的多尺度信息，并执行不同的对比学习策略，有效地提高了学习到的图表示的质量。
[0007]为实现上述目的，本专利技术提供了一种基于多尺度图对比学习的图神经网络方法，包括以下步骤：
[0008]S1、收集原始图数据，并对收集到的原始图数据进行标记；
[0009]S2、对收集到的原始图数据通过随机游走的方式进行数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图；
[0010]S3、通过图神经网络学习原始图数据的全局信息潜在表示和局部信息潜在表示；
[0011]S4、针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略；
[0012]S5、通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。
[0013]优选的，在步骤S1中，根据不同的数据类型，标记从网络中收集到的原始图结构数
据为对应的标签文件。
[0014]优选的，在步骤S1中，定义一个图数据集D，该数据集由N个图数据组成，对于数据集中的每个图G＝[V，E}，其中表示该图中的节点的集合，E表示图中的边的集合，v
i
代表图中的第i个节点，若节点v
i
和v
j
之间存在关联，则e
ij
＝(v
i
，v
j
)∈E为图中的边；
[0015]因此，图数据存在一个邻接矩阵A，其维度为V
×
V，若e
ij
∈E则A
ij
＝1；
[0016]此外，图数据的每个节点还具有特征向量x
i
∈R
d
，图中所有节点特征构成一个特征矩阵X∈R
|V|
×
d
，是图数据对应的标签。
[0017]优选的，在步骤S2中，给定一个G∈{G
n
：n∈N}，定义图一个增强图其中为所使用的图增强方法；增强方法主要是子图采样，通过控制节点数量来控制生成子图的规模，进而将得到拥有不同尺度信息的全局视图和局部视图，即和
[0018]优选的，步骤S3中，通过使用对于全局视图和局部视图之间共享模型参数的五层图同构网络来学习视图的潜在表示。
[0019]优选的，步骤S4中，对于全局视图之间及全局和局部视图之间选择噪声对比估计函数，而对于局部视图之间选择使用一个回归器度量，该回归器的实现是一个拥有批次归一化和RELU激活函数的多层感知机。
[0020]优选的，在步骤S4中，图神经网络主要遵循消息传递机制，每个节点通过消息传递机制获取邻居节点的属性和结构信息，进而更新自身的节点表示，通过k层迭代，节点捕获到其k跳邻居的信息，即：
[0021][0022][0023]AGGREGATE(
·
)和COMBINE(
·
)分别为聚合邻域节点的信息和更新自身节点信息；即通过图同构神经网络来获取上述经过数据增强后的全局和局部视图的节点潜在表示；
[0024]而后通过池化来获取整个图的潜在表示，即：
[0025][0026]READOUT(
·
)为图池化，为求和池化机制；
[0027]最后对获得图级表示通过一个非线性变换，即：
[0028]z＝g(f(G))
[0029]g(
·
)为非线性变换，其为一个拥有RELU激活函数的二层感知机；
[0030]从而获得了图数据的全局和局部表示，即和
[0031]优选的，步骤S5中，通过为三个不同的损失项目分配不同的权重系数，来优化图神经网络，使其能够学习到良好的图级表征，进而用于不同的下游任务。
[0032]优选的，步骤S5具体包括以下步骤：
[0033]S51、同时考虑全局表示和局部表示，并对其实施不同的对比学习策略，进而考虑不同尺度信息来提高性能，定义噪声对比估计损失为l
s
，即：
[0034][0035]τ为温度系数，z
+
和z
‑
分别为正样本和负样本；
[0036]S52、考虑最大化同一个原始图的全局表示，最小化不同原始图的全局表示的相似度，损失函数l
gg
定义为如下：
[0037][0038]其中，N为批次内的样本数量；
[0039]S53、为了建立局部和全局的关联，定义一个损失函数，即：
[0040][0041]S54、通过一种带有可学习参数的度量方式来给出局部和全局的相似度，其为一个具有RELU激活函数的五层感知机f
θ
，期望来自同一个图的局部视图对比来自不同图的局部视图的相似度更高，因此，定义一个损失函数ψ，即：
[0042][0043]S55、通过最大化ψ(θ
d
)来训练回归器，并将其输出通过Sigmoid激活函数来看作其相似度度量值，将训练后的看作用于估计局部视图相似度的估计器l
d
，因此，对于局部视图之间，定义局部视图损失函数为：
[0044][0045]S56、定义总体损失函数为如下形式：
[0046][0047]S57、通过Adam梯度下降算法的方式，最小化总体损失以更新编码器参数，并将预训练后的编码器用于不同的下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度图对比学习的图神经网络方法，其特征在于：包括以下步骤：S1、收集原始图数据，并对收集到的原始图数据进行标记；S2、对收集到的原始图数据通过随机游走的方式进行数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图；S3、通过图神经网络学习原始图数据的全局信息潜在表示和局部信息潜在表示；S4、针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略；S5、通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。2.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S1中，根据不同的数据类型，标记从网络中收集到的原始图结构数据为对应的标签文件。3.根据权利要求2所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S1中，定义一个图数据集D，该数据集由N个图数据组成，对于数据集中的每个图G＝{V，E}，其中表示该图中的节点的集合，E表示图中的边的集合，v
i
代表图中的第i个节点，若节点v
i
和v
j
之间存在关联，则e
ij
＝(v
i
，v
j
)∈E为图中的边；因此，图数据存在一个邻接矩阵A，其维度为V
×
V，若e
ij
∈E则A
ij
＝1；此外，图数据的每个节点还具有特征向量x
i
∈R
d
，图中所有节点特征构成一个特征矩阵X∈R
|V|
×
d
，y
k
∈y是图数据对应的标签。4.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S2中，给定一个G∈{G
n
：n∈N}，定义图一个增强图其中为所使用的图增强方法；增强方法主要是子图采样，通过控制节点数量来控制生成子图的规模，进而将得到拥有不同尺度信息的全局视图和局部视图，即和5.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S3中，通过使用对于全局视图和局部视图之间共享模型参数的五层图同构网络来学习视图的潜在表示。6.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S4中，对于全局视图之间及全局和局部视图之间选择噪声对比估计函数，而对于局部视图之间选择使用一个回归器度量，该回归器的实现是一个拥有批次归一化和...

【专利技术属性】
技术研发人员：王波，刘彦北，李志胜，徐振宇，国英龙，王伟，贾智洋，杨铭锴，
申请(专利权)人：思腾合力天津科技有限公司，
类型：发明
国别省市：