一种基于对比学习的自监督图神经网络方法技术

本发明专利技术公开了一种基于对比学习的自监督图神经网络方法，包括以下步骤：收集原始图数据

【技术实现步骤摘要】
一种基于对比学习的自监督图神经网络方法


[0001]本专利技术涉及一种神经网络技术，尤其涉及一种基于对比学习的自监督图神经网络方法。

技术介绍

[0002]图结构数据已经被应用在知识图谱、电子商务、社交网络、化学分子结构等领域，具有广泛的应用价值。随着图数据越来越广泛的应用，学习得到优秀的节点表示也愈发重要。图表示学习需要将高维度的图数据降维至低维空间中，以去除特征冗余，得到具有表现力的节点表示用于上述任务。
[0003]但是目前多数图神经网络研究集中在有监督或半监督的学习场景中。尽管这些研究取得了成功，但对标签的严重依赖带来以下缺点：首先，手工标签的成本昂贵，特别是对于拥有大规模数据集的研究领域(例如，引文和社会网络)。其次，有监督学习场景通常由于过度匹配问题而泛化较差，特别是在训练数据稀缺的情况下。最后，有监督图深度学习模型容易受到与标签相关的对抗性攻击，导致图监督学习的健壮性较弱。
[0004]目前，在图领域，对比学习已经被证明是一种可行的方法，并且取得了不错的成果。但是由于图数据的复杂性，导致目前的方法在提取节点以及其邻居信息时不能够兼顾局部信息和全局信息，从而不能够获得不同节点之间的差异性信息，使得编码得到的节点表示的表现力较差。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种基于对比学习的自监督图神经网络方法，可以通过执行不同的对比策略，挖掘图数据中丰富的局部和全局信息，有效地提高了学习得到的节点表示的质量。
[0006]为实现上述目的，本专利技术提供了一种基于对比学习的自监督图神经网络方法，包括以下步骤：
[0007]S1、收集原始图数据；
[0008]S2、对收集到的图数据进行图增强，生成正样本图数据和负本图数据；
[0009]S3、对原始图数据以及生成的正样本图数据和负样本图数据进行编码，得到节点表示；
[0010]S4、将原始图数据的节点表示进行读出操作，得到对应于全局的图表示，将负样本图数据中的节点表示以及原图数据中的节点表示与图表示进行对比得到全局信息，同时将原图数据和正样本图的节点表示进行对比得到局部信息；
[0011]S5、通过最小化目标函数，拉近正样本图数据在表征空间中的距离，同时拉远负样本图数据在表征空间中的距离，让节点学习到全局的语义信息，从而提高学习到的节点表示质量。
[0012]优选的，在步骤S1中，定义一个图数据集：将无向图定义为它们的节点集
用表示，其中，v
i
代表节点i；节点特征矩阵用表示，其中，x
i
表示节点v
i
的特征向量，N代表节点数量，d0代表节点的特征维度；代表图的邻接矩阵，其中，边e
i,j
＝(v
i
,v
j
)∈ε表示着节点v
i
和v
j
具有链接关系，|E|表示边的数量。
[0013]优选的，在步骤S2中，首先，给定一个图数据其拥有节点特征矩阵以及邻接矩阵则定义一个增强图生成负样本：其中，是部分扰乱的节点集，是一个索引函数，用来自特征矩阵的节点向量v
i
，断开负样本图数据之间的节点级链接；再定义一个增强图生成正样本：M是与特征矩阵X具有相同形状大小的0，1掩码矩阵，表示Hadamard乘积。
[0014]优选的，对于给定的掩码矩阵M，其元素被初始化为1，并且掩码特征通道被分配为0，并按照即掩码矩阵M中0元素占所有元素的比例来删除节点内部的部分属性。
[0015]优选的，在步骤S3中，利用图卷积神经网络对原始图数据以及增强生成的正样本图数据和负本图数据进行图编码表示。
[0016]优选的，步骤S3中所述的图卷积神经网络通过消息传递机制，将每个节点携带的信息传播给其邻居，进而更新各个节点的表示，通过l层迭代，每个节点均可捕获到其l跳邻居的信息，即：
[0017][0018][0019]其中，AGGREGATE(
·
)和COMBINE(
·
)分别为聚合邻域节点的信息和更新自身节点信息，为节点n的邻域节点集合，为节点n的邻域节点u的l
‑
1层节点表示，为节点n聚合的邻域节点的信息，为节点n更新邻域及自身信息后的第l层节点表示。
[0020]优选的，在步骤S4中，由于图表示包含了图的全部信息，因此对比拥有全局信息的图表示约束节点表示，以此学习全局信息。
[0021]优选的，在步骤S4中，节点包含了图的局部信息，因此对比拥有局部信息的节点表示和正样本节点表示，以此学习局部信息。
[0022]优选的，在步骤S5中，通过为两个不同的损失项目分配不同的权重系数，来优化图神经网络，用于不同的下游任务。
[0023]优选的，步骤S5具体包括以下步骤：
[0024]S51、通过对比正样本图数据之间的负余弦相似度定义局部对比损失：
[0025][0026]其中，为余弦相似度，代表一对正样本节点之间的相似度，N为节点数量；
[0027]同时为了得到图数据的全局信息，通过给正负样本节点表示与图表示打分，定义全局信息的损失，即交叉熵损失：
[0028][0029]其中，为读出操作之后的图表示，包含图的全局信息，是一个双线性层：是一个双线性层：是可学习矩阵，σ(
·
)是sigmoid激活函数；
[0030]S52、整体损失定义如下形式：
[0031][0032]其中，α是局部信息和全局信息之间的平衡系数，用来平衡局部和全部对比网络的重要程度；
[0033]S53、采用Adam下降法最小化整体损失用以更新编码器的参数，并将预训练后的编码器用于不同的下游任务。
[0034]相比于现有技术，本专利技术具有以下有益效果：
[0035]1、克服了以前方法中局部或全局信息的缺失，通过控制与节点表示进行对比学习的对象提出了局部信息和全局信息，即同时考虑了对比学习中的局部和全局信息，并且针对局部和全局信息分别执行不同的对比策略，能够学习到更加优秀的节点表示，可以更好地应用在下游任务中。
[0036]2、可以用于图数据分析和图表示学习等场景，助力人们更好地使用图数据。
[0037]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0038]图1为本专利技术的方法流程图；
[0039]图2为本专利技术的算法原理图。
具体实施方式
[0040]以下将结合附图对本专利技术作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围并不限于本实施例。
[0041]图1为本专利技术的方法流程图；图2为本专利技术的算法原理图，如图1和图2所示，一种基于对比学习的自监督图神经网络方法，包括以下步骤：
[0042]S1、收集原始图数据；
[0043]优选的，在步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的自监督图神经网络方法，其特征在于：包括以下步骤：S1、收集原始图数据；S2、对收集到的图数据进行图增强，生成正样本图数据和负本图数据；S3、对原始图数据以及生成的正样本图数据和负样本图数据进行编码，得到节点表示；S4、将原始图数据的节点表示进行读出操作，得到对应于全局的图表示，将负样本图数据中的节点表示以及原图数据中的节点表示与图表示进行对比得到全局信息，同时将原图数据和正样本图的节点表示进行对比得到局部信息；S5、通过最小化目标函数，拉近正样本图数据在表征空间中的距离，同时拉远负样本图数据在表征空间中的距离，让节点学习到全局的语义信息，从而提高学习到的节点表示质量。2.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法，其特征在于：在步骤S1中，定义一个图数据集：将无向图定义为它们的节点集用表示，其中，v
i
代表节点i；节点特征矩阵用表示，其中，x
i
表示节点v
i
的特征向量，N代表节点数量，d0代表节点的特征维度；代表图的邻接矩阵，其中，边e
i,j
＝(v
i
,v
j
)∈ε表示着节点v
i
和v
j
具有链接关系，|E|表示边的数量。3.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法，其特征在于：在步骤S2中，首先，给定一个图数据其拥有节点特征矩阵以及邻接矩阵则定义一个增强图生成负样本：其中，是部分扰乱的节点集，是一个索引函数，用来自特征矩阵的节点向量v
i
，断开负样本图数据之间的节点级链接；再定义一个增强图生成正样本：M是与特征矩阵X具有相同形状大小的0，1掩码矩阵，表示Hadamard乘积。4.根据权利要求3所述的一种基于对比学习的自监督图神经网络方法，其特征在于：对于给定的掩码矩阵M，其元素被初始化为1，并且掩码特征通道被分配为0，并按照即掩码矩阵M中0元素占所有元素的比例来删除节点内部的部分属性。5.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法，其特征在于：在步骤S3中，利用图卷积神经网络对原始图数据以及增强生成...

【专利技术属性】
技术研发人员：王波，国英龙，贾智洋，李志胜，王伟，徐振宇，杨铭锴，刘彦北，
申请(专利权)人：思腾合力天津科技有限公司，
类型：发明
国别省市：