【技术实现步骤摘要】
本专利技术属于机器学习，涉及一种基于孪生网络的图对比学习模型及其实现方法。
技术介绍
1、对比学习是一种自监督学习方法，通过让模型学习没有标签的节点是相似的还是不同的，来建模网络的一般特征。近年来，对比学习在计算机视觉方面表现出了具有竞争力的表现，并在图表示学习中越来越受欢迎。图对比学习遵循互信息最大化(mi)的原则，即将具有相似语义信息的节点的表示拉近，同时远离不相关节点的表示。
2、图对比学习是一种用于图表示学习的方法，与传统的监督学习不同，图对比学习是一种自监督学习技术，无需人工标注数据，是一种基于判别式的表征学习框架。将样本与相似样本和不相似样本进行比较，通过设计模型计算对比损失，使得相似样本的特征表示更接近，不相似样本的特征表示更疏远。这样可以使得具有相似特征和语义的图实例在嵌入空间中聚集在一起，从而产生更强大的可迁移表示。
3、然而，图对比学习方法面临一些挑战。首先，数据增强、高维嵌入和对比损失函数设计可能导致训练时间较长。其次，大多数现有的图对比学习方法对大量负样本的依赖较重。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于孪生网络的图对比学习模型及其实现方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于孪生网络的图对比学习模型，其包括：图编码模块、图对比模块和对比学习损失模块；
4、其中，所述图编码模块采用拉普拉斯平滑滤波器对特征矩阵的高频分量进行去噪，采用归一化拉普拉斯矩
5、所述图对比模块采用动量驱动的孪生网络连体架构作为主干网络，引导在线网络学习进行探索表示，分别最大化来自在线和目标网络的不同视图中的节点表示之间的相似性；
6、所述对比学习损失模块采用两个三重组损失函数来探索结构信息和邻居信息之间的互补信息，以triplet loss损失为基础，设计一个上限损失；综合考虑结构信息和邻域信息，生成两种正嵌入及其损失函数，同时采用一个上界来保证正嵌入和锚嵌入之间的距离被约束为有限。
7、本专利技术还提出了一种基于孪生网络的图对比学习模型实现方法，该方法包括以下步骤：
8、s1、建立一个统一的图对比学习模型，确定图对比学习模型的输入；
9、s2、选取公开数据集作为初始数据，通过构建的图对比学习模块对初始图数据进行图编码；
10、s3、通过构建的图对比模块，采用动量驱动的孪生网络连体架构作为主干网络，对初始化处理后的数据进行对比学习，获得图向量表示；
11、s4、通过对比学习损失模块来衡量正样本之间的相似性和负样本之间的差异性，使得特征向量中的正样本之间的相似性上升，同时将负样本推离，以增强类别之间的可分性。
12、进一步，在步骤s1中，所述图对比学习模型的输入包括：给定一个属性图g＝(v,e,x)，其中是有n个节点的顶点集，e是边集，x＝[x1,x2,…,xn]t为特征矩阵；属性图g＝(v,e,x)的拓扑结构用邻接矩阵表示，如果vij＝1，表示节点vi到节点vj之间存在一条边，表示a的度矩阵，其中表示节点vi的度。
13、进一步，在步骤s2中，所述图编码模块的实现步骤包括：通过低通去噪操作来进行邻居信息聚合，以作为训练前的独立预处理；
14、全局特征平滑视图由归一化拉普拉斯滤波器获得，滤波器公式为：
15、hrw＝i-lrw
16、其中i为单位矩阵，lrw表示归一化图拉普拉斯矩阵，lrw表示为：
17、
18、其中，和为对应于的度矩阵和拉普拉斯矩阵，为a+i；
19、对称全局特征平滑视图由归一化拉普拉斯滤波器获得，滤波器公式为：
20、hsys＝i-lsys
21、其中lsys表示对称归一化图拉普拉斯矩阵，lsys表示为：
22、
23、对t层归一化和对称归一化拉普拉斯滤波器分别进行叠加操作，得到由多个滤波器组成的过滤器，通过叠加t层图拉普拉斯滤波器，将邻居节点的信息逐层传递和聚合，从而获得全局和深层次的特征表达能力，叠加t层归一化和对称归一化拉普拉斯滤波器公式如下：
24、
25、其中xs表示平滑后的特征矩阵，ht为堆叠t层图拉普拉斯滤波器。
26、进一步，在步骤s3中，图对比模块的实现步骤包括：使用动量驱动的孪生网络连体架构作为主干，将平滑后的特征矩阵和邻接矩阵作为孪生网络的输入，采用自蒸馏的方式来完成知识蒸馏，具体实现步骤如下：
27、s31、在在线网络中，传入局部视图的平滑后的特征矩阵和邻接矩阵为经过在线网络的两层编码器的编码表示，再经过在线网络的预测，表示为h1＝qθ(z1)；
28、s32、在目标网络中，传入全局视图的平滑后的特征矩阵和邻接矩阵为经过目标网络的两层编码器的编码表示；通过两个网络将同一节点从不同视图的表示拉近，从历史观察中提取知识，并稳定在线网络训练，其中，目标网络在训练期间不直接接收梯度，并通过利用动量更新机制来更新其参数，动量更新公式为：
29、ζt＝m·ζt-1+(1-m)·θt
30、其中m、ζ和θ分别是动量、目标网络参数和在线网络参数。
31、进一步，在步骤s4中，对比学习损失模块实现过程包括：
32、s41、以目标网络输出的特征向量表示为h+，以在线网络的输出的特征向量作为锚嵌入，其中，对锚嵌入进行邻居采样生成的特征向量为为了获得具有邻居信息的正嵌入，首先存储所有节点的邻居嵌入索引，然后对其进行采样并计算样本的平均值，实现过程公式如下：
33、
34、其中，m为采样邻居个数，为节点vi的1跳邻居集；
35、对锚嵌入实施行打乱生成的特征向量为h-为：
36、h-＝shuffle([h1,h2,…,hn])
37、生成的两种正嵌入h+和分别考虑了图数据的结构信息和邻域信息。
38、s42、每个样品的三重组损失函数表示为：
39、α+d(h,h+)<d(h,h-)
40、其中d(·)是相似性度量，α是非负值，以确保正嵌入和负嵌入之间的安全距离。针对类间分析，对所有负样本求和，公式扩展为：
41、
42、其中{·}+＝max{·,0}，k代表负样本数；
43、s43、在两种正嵌入h+和上执行以上操作，分别表示为ls和ln，针对类内分析，采用一个上界来保证正嵌入和锚嵌入之间的距离是有限的，公式为：
44、d(h,h-)<d(h,h+)+α+β
45、对所有负嵌入的损失加和后，减少类内变化的上界损失公式为：
46、
47、其中{·}-＝min{·,0}；
48、最后将公式整合为：
49、l本文档来自技高网...
【技术保护点】
1.一种基于孪生网络的图对比学习模型，其特征在于：其包括：图编码模块、图对比模块和对比学习损失模块；
2.一种基于孪生网络的图对比学习模型实现方法，其特征在于：所述方法包括以下步骤：
3.根据权利要求2所述的一种基于孪生网络的图对比学习模型实现方法，其特征在于：在步骤S1中，所述图对比学习模型的输入包括：给定一个属性图G＝(V,E,X)，其中是有n个节点的顶点集，E是边集，X＝[x1,x2,…,xn]T为特征矩阵；属性图G＝(V,E,X)的拓扑结构用邻接矩阵表示，如果vij＝1，表示节点vi到节点vj之间存在一条边，表示A的度矩阵，其中表示节点vi的度。
4.根据权利要求3所述的一种基于孪生网络的图对比学习模型实现方法，其特征在于：在步骤S2中，所述图编码模块的实现步骤包括：通过低通去噪操作来进行邻居信息聚合，以作为训练前的独立预处理；
5.根据权利要求4所述的一种基于孪生网络的图对比学习模型实现方法，其特征在于：在步骤S3中，图对比模块的实现步骤包括：使用动量驱动的孪生网络连体架构作为主干，将平滑后的特征矩阵和邻接矩阵作为孪生网络
6.根据权利要求5所述的一种基于孪生网络的图对比学习模型实现方法，其特征在于：在步骤S4中，对比学习损失模块实现过程包括：
...【技术特征摘要】
1.一种基于孪生网络的图对比学习模型，其特征在于：其包括：图编码模块、图对比模块和对比学习损失模块；
2.一种基于孪生网络的图对比学习模型实现方法，其特征在于：所述方法包括以下步骤：
3.根据权利要求2所述的一种基于孪生网络的图对比学习模型实现方法，其特征在于：在步骤s1中，所述图对比学习模型的输入包括：给定一个属性图g＝(v,e,x)，其中是有n个节点的顶点集，e是边集，x＝[x1,x2,…,xn]t为特征矩阵；属性图g＝(v,e,x)的拓扑结构用邻接矩阵表示，如果vij＝1，表示节点vi到节点vj之间存在一条边，表示a的度矩阵，其中表示节点vi的度。
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。