基于图神经网络的节点关系空间对比学习社区发现方法技术

本发明专利技术在于提供一种基于图神经网络的节点关系空间对比学习社区发现方法，解决以前模型大多是有监督并且没有考虑节点和关系之间相似度的问题，通过最大化节点空间与关系空间学习到的节点特征之间的相似度来设计损失函数，并且改进了以前的对比学习方法，使用节点空间和关系空间进行对比学习从而得到更好的优化模型，考虑了元路径长度和覆盖数量对节点特征的影响，并通过不同关系之间的交互学习，得到最终的节点表征，更好的进行社区发现。更好的进行社区发现。更好的进行社区发现。

【技术实现步骤摘要】
基于图神经网络的节点关系空间对比学习社区发现方法


[0001]本专利技术属于社区发现
，涉及一种基于图神经网络的节点关系空间对比学习社区发现方法。

技术介绍

[0002]随着经济技术的发展，越来越多的社区发现技术被应用到生活的方方面面，通过这一技术，不仅能够向目标用户更好的推荐，还能帮助引文网络更好的检测研究主题的重要性、相互关联性、演变以及研究趋势。
[0003]传统的社区发现主要包括图划分、统计推断、层次聚类以及谱聚类等方法，但是随着数据量的增大，传统方法已经没有办法很好的处理大型复杂的图数据。面对这一问题，图神经网络可以更好的利用节点、邻域、边以及子图等信息编码数据特征。
[0004]一些基于图神经网络的社区发现方法主要是针对同构图来进行实现的。GCN通过引入传统机器学习中卷积的思想，对拉普拉斯矩阵进行对称归一化，从而学习到节点表征；GAT通过简单的使用注意力机制解决了GCN的贡献度过于单一、不灵活的问题，并且这样做在一定程度上摆脱了GCN完全依赖于邻接矩阵的问题，使得空间复杂度大大降低。GraphSAGE采用了采样的方式，选取部分邻居，并且它也解决了GCN过分依赖图结构的问题。但是现在生活中大多数面临的都是异构图，上面的方法在面对异构图的时候，表现并不理想。当前对异构图上的研究大多基于元路径来实现，MAGNN作为一种生成异构图的嵌入的方法通过封装输入节点的属性嵌入，分别在元路径内和元路径间使用注意力机制从而学习到最终的节点嵌入。但是很多时候元路径需要专家法进行定义，CP
‑/>GNN引入上下文路径概率来对学习目标函数进行建模，从而捕获高阶信息，通过这样的方式能够自动生成元路径，针对不同长度的元路径，它使用一次注意力机制使得社区发现的效果得到了进一步的提升。上述的方法都是有监督的，这样就需要对数据标签进行人工标注，这在现实生活中大多数时候是无法达到的，所以HeCo通过对一阶邻居下学习到的节点特征和元路径下学习到的节点特征进行对比学习从而实现了从有监督到自监督的转变，并且取得了更好的效果。但是这样忽略了关系空间下的节点信息，并且大多没有考虑关系之间的交互信息，在节点空间下，大多数文章忽略了节点中心性的问题，以及元路径长度和覆盖数量对目标节点的影响，通过一阶和高阶邻居信息之间的差异性最小化能够对模型进行优化，但是在节点空间和关系空间学习到的节点表征具有更大的差异性，通过对比学习能够更好的对模型进行优化，从而学习到更为优秀的节点特征应用于社区发现。

技术实现思路

[0005]专利技术目的：为克服现有技术中存在的不足，本专利技术在于提供一种基于图神经网络的节点关系空间对比学习社区发现方法，解决以前模型大多是有监督并且没有考虑节点和关系之间相似度的问题，通过最大化节点空间与关系空间学习到的节点特征之间的相似度来设计损失函数，并且改进了以前的对比学习方法，使用节点空间和关系空间进行对比学
习从而得到更好的优化模型，考虑了元路径长度和覆盖数量对节点特征的影响，并通过不同关系之间的交互学习，得到最终的节点表征，更好的进行社区发现。
[0006]技术法案：基于图神经网络的节点关系空间对比学习社区发现方法，包括如下步骤：
[0007]1.对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练；
[0008]2.使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one
‑
hot向量拼接从而学习到节点中心性，最后通过MLP学习到节点空间下的特征；
[0009]3.使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互，最后通过基于语义的注意感知将节点特征聚合到一起从而得到最终关系空间下的节点特征；
[0010]4.将上述两个空间下学习到的表征映射到计算对比损失的空间中；
[0011]5.定义正负样本，并通过最大化两个空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征；
[0012]6.需要通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区。
[0013]进一步，所述步骤1中，需要对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练。具体步骤如下：
[0014]步骤1
‑
1：将用于社区发现的异构网络定义为G＝(V,E,A,R)，其中V，E，A以及R分别表示节点集合，边的集合，节点的类型以及边的类型，每个节点属于一种A中的一种类型，每条边属于R中的一种类型，并且|A|+|R|>2；
[0015]步骤1
‑
2：确定超参数，将数据集划分成训练集、验证集和测试集进行训练。
[0016]进一步，所述步骤2中，需要使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one
‑
hot向量拼接从而学习到节点中心性，最后通过MLP学习到节点空间下的特征，具体步骤如下：
[0017]步骤2
‑
1：将不同类型的节点映射到相同的嵌入层维度：
[0018][0019]其中，w
A
表示可学习的权重矩阵，表示映射前节点的维度，h
v
表示映射后节点的维度；
[0020]步骤2
‑
2：先使用一个局部关注机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征：
[0021][0022][0023]其中，LeakyReLU()表示激活函数，表示目标节点通过P
k
元路径连接的邻居集合，表示节点v和节点u之间的注意力系数，表示可学习的参数化向量，||表示向量拼接算子；
[0024]步骤2
‑
3：使用全局注意力机制来衡量不同元路径下得到的节点特征，先对先前得到的节点局部表示进行一次线性变换，然后通过一个全局注意力机制计算元路径的重要性：
[0025][0026][0027][0028]其中，q
T
表示的可学习参数化注意向量，tanh表示激活函数，W和b表示可学习的参数向量，V表示每种类型的元路径下学习到的目标节点向量集合，表示注意力参数向量，表示归一化后的注意力向量，n表示元路径类型的数量，表示聚合多种类型的元路径后的节点特征向量；
[0029]步骤2
‑
4：计算异构图中元路径实例覆盖一个节点的次数，分别根据元路径长度和元路径覆盖的次数来分配一个向量：
[0030][0031]其中，z
c(v)
表示经过目标节点的元路径数量的one
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于，所述方法包括如下步骤：步骤1：对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练；步骤2：使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one
‑
hot向量拼接从而学习到节点中心性，最后通过MLP学习到节点空间下的特征；步骤3：使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互，最后通过基于语义的注意感知将节点特征聚合到一起从而得到最终关系空间下的节点特征；步骤4：将上述节点空间和关系空间下学习到的表征映射到计算对比损失的空间中；步骤5：定义正负样本，并通过最大化节点空间和关系空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征；步骤6：通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区。2.根据权利要求1所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤1的具体步骤如下：步骤1
‑
1：将用于社区发现的异构网络定义为G＝(V,E,A,R)，其中V，E，A以及R分别表示节点集合，边的集合，节点的类型以及边的类型，每个节点属于一种A中的一种类型，每条边属于R中的一种类型，并且|A|+|R|>2；步骤1
‑
2：确定超参数，将数据集划分成训练集、验证集和测试集进行训练。3.根据权利要求2所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤2的具体步骤如下：步骤2
‑
1：将不同类型的节点映射到相同的嵌入层维度：其中，w
A
表示可学习的权重矩阵，表示映射前节点的维度，h
v
表示映射后节点的维度；步骤2
‑
2：先使用一个局部关注机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征：意力系数，然后通过一个加权聚合得到最终目标节点的特征：其中，LeakyReLU()表示激活函数，表示目标节点通过P
k
元路径连接的邻居集合，表示节点v和节点u之间的注意力系数，表示可学习的参数化向量，||表示向量拼接算子；步骤2
‑
3：使用全局注意力机制来衡量不同元路径下得到的节点特征，先对先前得到的节点局部表示进行一次线性变换，然后通过一个全局注意力机制计算元路径的重要性：
其中，q
T
表示的可学习参数化注意向量，tanh表示激活函数，W和b表示可学习的参数向量，V表示每种类型的元路径下学习到的目标节点向量集合，表示注意力参数向量，表示归一化后的注意力向量，n表示元路径类型的数量，表示聚合多种类型的元路径后的节点特征向量；步骤2
‑
4：计算异构图中元路径实例覆盖一个节点的次数，分别根据元路径长度和元路径覆盖的次数来分配一个向量：其中，z
c(v)
表示经过目标节点的元路径数量的one
‑
hot向量，z
m(v)
表示不同长度元路径数量的one
‑
hot向量，||表示向量拼接算子；步骤2
‑
5：将上面得到的两个节点特征进行一次拼接，然后通过MLP映射到用于...

【专利技术属性】
技术研发人员：施振佺，王博文，施佺，罗奇才，张翁坚，黄子玲，冯季，孙凡，
申请(专利权)人：南通大学，
类型：发明
国别省市：