面向对齐性和均匀性感知的图表示学习方法及系统技术方案

本发明专利技术提供一种面向对齐性和均匀性感知的图表示学习方法及系统，属于基于图表示学习技术领域，包括：定义可学习的图掩码卷积神经网络自适应地将期望的特征传播给周围邻居节点，并对原始图进行编码；利用聚类层生成软标签，在软标签的指导下自适应的分离并重新整合图信号；将自适应的图信号输入到图卷积层中得到对应的节点表示；定义对齐性和均匀性损失函数，通过对比训练优化节点表示，使其同时具备对齐性和均匀性

【技术实现步骤摘要】
面向对齐性和均匀性感知的图表示学习方法及系统


[0001]本专利技术涉及图表示学习
，具体涉及一种面向对齐性和均匀性感知的图表示学习方法及系统
。

技术介绍

[0002]图数据是一种以点和边表现实体间关系的数据结构
。
现实世界中的许多复杂关系都可以抽象成图数据，例如社交网络
、
电商网络
、
交通网络等
。
真实世界中的图数据往往在结构复杂的同时，还具有高维性，因此，对图数据进行标注需要耗费大量的人力和财力
。
为了缓解模型对数据标签的依赖，研究者们以自监督学习的方式建模节点或图表示学习过程
。
大多数自监督方法通过对比学习的方式编码节点或图表示，称为图对比学习
(Graph Contrastive Learning,GCL)。GCL
遵循信息最大化原则，通过最大化互信息
(Mutual Information,MI)
的下界来优化模型学到的节点表示
。
[0003]GCL
主要由三个部分组成：图增强
、
编码器和对比学习，如图1所示
。
首先，
GCL
通过边扰动和特征扰动生成两个不同的增强视图；其次，利用图编码器分别对增强视图进行编码，得到对应的节点表示矩阵；最后，通过对比学习最大化两个不同的增强视图之间的一致性来保留节点表示的不变性
。
需要说明的是，在对比学习过程中，
GCL
将不同增强视图中的同一节点视为正样本，而将除自身之外的其它节点视为负样本
。GCL
鼓励正样本对彼此靠近，而负样本对尽可能彼此远离
。
[0004]起初，有学者创新性地提出了节点级的表示学习框架，它在最大化原始图中节点和全局表示一致性的同时，最小化扰动图中的节点与全局表示的一致性，以优化模型学到的节点表示
。
然而，由于对比学习的样本对不完全是真实的节点，因此，这类方法深受模式崩溃问题的困扰
。
随后，一些学者通过预定义的图增强策略构建不同的增强视图，在此基础上，将不同增强视图中的同一节点视为正样本，将除其本身之外的所有节点视为负样本
。
然后，通过对比学习损失函数拉近不同增强视图中的正样本对之间的距离，来进一步实现节点表示的对齐性
。
本质上来说，这类方法通过堆叠大量的负样本一定程度上缓解了模式崩溃的问题，但却增加了模型的计算成本
。
[0005]上述方法虽然取得了初步的成功，但都忽略了以下两个问题：在满足节点表示的对齐性时，严重依赖于图增强策略的选择
。
实际上，大多数
GCL
模型通过随机扰动边
/
节点
/
特征来构造增强视图，这可能会破坏原始图中一些重要的语义信息，从而导致这些方法的性能依赖于人工经验或频繁的试错
。(2)
通过堆叠大量的负样本来满足节点表示的均匀性，从而避免节点表示陷入模式崩溃的问题
。
然而，这不仅增加了模型的计算成本，同时，也不可避免地产生采样偏差，即负样本中包含与正样本同类的样本
。
[0006]研究表明，对齐性和均匀性对于鲁棒的节点表示来说是必须的：对齐性鼓励相似的样本在高维空间中是互相靠近的，而均匀性倾向于将节点表示均匀分布在单位超球面上，以避免表示塌缩到高维空间中的某个点上
。

技术实现思路

[0007]本专利技术的目的在于在不依赖传统图增强策略和负采样的前提下，提供一种面向对齐性和均匀性感知的图表示学习方法，该方法具有良好的可解释性
、
可验证性和可迁移性，同时，具有重要的理论研究价值和应用价值，以解决上述
技术介绍
中存在的至少一项技术问题
。
[0008]为了实现上述目的，本专利技术采取了如下技术方案：
[0009]一方面，本专利技术提供一种面向对齐性和均匀性感知的图表示学习方法，包括：
[0010]定义可学习的图掩码卷积神经网络自适应地将期望的特征传播给周围邻居节点，并对原始图进行编码，获得初始节点表示；
[0011]将初始节点表示
Z
进行聚类，获得软标签和软标签分配矩阵；
[0012]基于软标签分配矩阵，自适应的分离并重新整合节点的低频和高频信号；
[0013]将自适应的分离并重新整合后的图信号进行卷积更新，得到更新后的节点表示；
[0014]基于更新后的节点表示，定义对齐性和均匀性损失函数，通过对比训练优化节点表示，获得对齐性和均匀性感知的节点表示
。
[0015]进一步的，给定原始图
G
＝
(A,X)
，掩码权重矩阵
M
，定义图掩码卷积神经网络：其中，
H
表示输出的节点表示，
σ
表示激活函数，
D
是邻接矩阵
A
的度矩阵，
I
为单位矩阵，
α
∈[0,1]表示传输概率，即在图掩码卷积神经网络第
k
层以概率
(1
‑
α
)
保留当前聚合层的特征，以概率
α
聚合原始特征
X
，
Θ
是一个可学习的参数矩阵；
[0016]给定原始图
G
＝
(A,X)
，定义图卷积层以获得初始的节点表示
Z
：
Z
＝其中，
ReLU
为激活函数，
W1和
W2为两个可学习的参数矩阵
。
[0017]进一步的，通过
K
‑
means
算法对图
G
中
N
个节点的初始表示
Z
＝
{z1,z2,...,z
N
}
进行聚类，并获得
C
个簇心的集合
[0018]假设软标签的潜在分布为
P
，则度量节点
i
的表示
z
i
与其对应簇心
μ
c
之间的相似性为：
[0019][0020]则，软标签为同时，节点
i
的目标分布
T
为：
[0021][0022]通过最小化目标分布与潜在分布之间的
KL
散度来优化软标签的潜在分布
P
：
[0023][0024]则，软标签分配矩阵
Q
定义为：
[0025][0026]进一步的，分离节点的低频和高频信号为：
[0027][0028][0029]在软标签分配矩阵
Q
的监督下，重新整合节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向对齐性和均匀性感知的图表示学习方法，其特征在于，包括：定义可学习的图掩码卷积神经网络自适应地将期望的特征传播给周围邻居节点，并对原始图进行编码，获得初始节点表示；将初始节点表示
Z
进行聚类，获得软标签和软标签分配矩阵；基于软标签分配矩阵，自适应的分离并重新整合节点的低频和高频信号；将自适应的分离并重新整合后的图信号进行卷积更新，得到更新后的节点表示；基于更新后的节点表示，定义对齐性和均匀性损失函数，通过对比训练优化节点表示，获得对齐性和均匀性感知的节点表示
。2.
根据权利要求1所述的面向对齐性和均匀性感知的图表示学习方法，其特征在于，给定原始图
G
＝
(A,X)
，掩码权重矩阵
M
，定义图掩码卷积神经网络：其中，
H
表示输出的节点表示，
σ
表示激活函数，
D
是邻接矩阵
A
的度矩阵，
I
为单位矩阵，
α
∈[0,1]
表示传输概率，即在图掩码卷积神经网络第
k
层以概率
(1
‑
α
)
保留当前聚合层的特征，以概率
α
聚合原始特征
X
，
Θ
是一个可学习的参数矩阵；给定原始图
G
＝
(A,X)
，定义图卷积层以获得初始的节点表示
Z
：：其中，
ReLU
为激活函数，
W1和
W2为两个可学习的参数矩阵
。3.
根据权利要求2所述的面向对齐性和均匀性感知的图表示学习方法，其特征在于，通过
K
‑
means
算法对图
G
中
N
个节点的初始表示
Z
＝
{z1,z2,...,z
N
}
进行聚类，并获得
C
个簇心的集合假设软标签的潜在分布为
P
，则度量节点
i
的表示
z
i
与其对应簇心
μ
c
之间的相似性为：则，软标签为同时，节点
i
的目标分布
T
为：通过最小化目标分布与潜在分布之间的
KL
散度来优化软标签的潜在分布
P
：则，软标签分配矩阵
Q
定义为：<...

【专利技术属性】
技术研发人员：鲍鹏，闫荣，张霄，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：