一种基于注意力机制的三通道图神经网络的节点分类方法技术

本发明专利技术公开了一种基于注意力机制的三通道图神经网络的节点分类方法，包括如下步骤：步骤一、建立数据集；步骤二、构建三通道图神经网络模型；步骤三、利用数据集中的数据进行三通道图神经网络模型训练，并通过调节参数设置得到最优模型，输出最终节点表示；步骤四、将模型的最终节点表示作为训练分类器的输入，完成节点分类。本发明专利技术提出了一种新颖的基于注意力机制的三通道图神经网络模型(TCGCN)，旨在更全面地提取多关系特征网络中的不同关系特征，以及不同关系特征之间的隐藏信息，以提高图神经网络在下游任务中的性能。经网络在下游任务中的性能。经网络在下游任务中的性能。

【技术实现步骤摘要】
一种基于注意力机制的三通道图神经网络的节点分类方法


[0001]本专利技术涉及图神经网络分类
，具体涉及一种基于注意力机制的三通道图神经网络的节点分类方法。

技术介绍

[0002]随着现实世界的迅速发展，人类生活的环境变得越来越复杂，为了更好的探索真实世界，研究者将世界中的大量系统网络化，运用复杂网络来描述复杂的世界，比如：社交网络，科研合作网络，引文网络，蛋白质网络等等。互联网大数据时代的到来，加剧了网络数据的增长，使得网络具有规模巨大、信息复杂、特征多样等特点。为了挖掘大规模网络中的重要信息，机器学习、深度学习、网络表示学习等方法相应被提出，这也将网络数据挖掘技术提升到了一个前所未有的高度。挖掘网络数据信息对生活中的许多应用场景具有重要的意义，例如，推荐系统、链路预测、节点分类、节点聚类和图分类等任务。然而，在上述场景和任务中，大多数处理的都是传统结构化数据，在结构化数据库中，网络数据都是将自身视为一个独立的个体存储在数据库中，大多数网络数据的处理方法都得益于网络数据在欧式空间中的一些性质而设计，例如，卷积神经网络、循环神经网络等方法。但是，结构化网络数据忽略了每个个体之间的联系，难以刻画网络数据之间的关系特征。图数据作为一种非结构化数据，其拓扑结构能够更好的描述数据之间的关系，从图数据的拓扑结构中可以提取大量的关系属性特征，然而，图数据不像网络数据一样具有规则的欧式空间结构，因此现有的模型不能直接迁移到图数据处理中。如何处理、挖掘图数据中的信息正逐渐受到研究者们的重视并成为一个热门的研究方向。
[0003]深度学习及网络表示学习技术已在图像处理和自然语言处理等领域取得了巨大成功，但是，对于图数据处理技术的研究仍处于起步阶段。图神经网络方法将深度学习的技术运用到了图数据处理领域，其可以被视为一个学习图数据特征的过程。然而，在目前的图神经网络研究中，研究者都只停留在单通道图神经网络的研究，主要集中在重新设计卷积函数和网络结构优化，只考虑了网络的结构特征，忽略了网络的多特征性质、多关系特征之间的隐藏信息和融合机制的优化，鲜有研究从多通道的角度设计图神经网络模型。且现有图神经网络模型大多数都是集中在图卷积函数和图卷积框架的设计，未考虑图数据之间的多关系特征，忽略了不同关系特征对节点表示的影响，也未考虑节点多关系特征融合问题。

技术实现思路

[0004]为解决现有技术中存在的问题，本专利技术提供了一种基于注意力机制的三通道图神经网络的节点分类方法，基于网络的结构特征、节点特征以及两者的互补来学习节点的最终表示，能更全面地提取多关系特征网络中的不同关系特征，以及不同关系特征之间的隐藏信息，以提高图神经网络在下游任务中的性能，解决了上述
技术介绍
中提到的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于注意力机制的三通道图神经网络的节点分类方法，包括如下步骤：
[0006]步骤一、建立数据集；
[0007]步骤二、构建三通道图神经网络模型；
[0008]步骤三、利用数据集中的数据进行三通道图神经网络模型训练，并通过调节参数设置得到最优模型，输出最终节点表示；
[0009]步骤四、将模型的最终节点表示作为训练分类器的输入，完成节点分类。
[0010]优选的，所述三通道图神经网络模型包括网络构建层、节点级学习层、多关系特征聚合层、特征融合层及全连接层。
[0011]优选的，所述三通道图神经网络模型训练具体包括：
[0012]步骤S31、设无向图G＝(V,E)，无向图G有n个节点和m条边，在无向图G中的每个节点上有一个自循环图用{1,...,n}来表示G和中节点的编号，用d
j
和d
j
+1分别表示图G和中节点j的度；
[0013]步骤S32、在网络构建层中，根据节点的上下文关系构建语义关系网络，根据节点之间的拓扑关系构建结构关系网络，将两种关系类型网络叠加构建语义
‑
结构关系共现网络；
[0014]步骤S33、在节点级学习层中，将三种关系类型网络进行图卷积得到每种关系特征网络的节点表示；
[0015]步骤S34、将不同类型的关系特征网络的节点表示通过改进的注意力机制进行聚合；
[0016]步骤S35、将聚合后的不同类型的关系特征网络的节点表示与语义
‑
结构关系共现网络的节点表示进行融合，通过全连接层将最终的节点表示进行输出。
[0017]优选的，在步骤S33中，无向图G中的邻接矩阵为A，对角度矩阵为D，则的邻接矩阵和对角度矩阵分别定义为
[0018][0019][0020]设语义关系网络和结构关系网络的输入分别为(A
q
,X
q
)和(A
p
,X
p
)，语义特征和结构特征的第l层节点表示分别为
[0021][0022][0023]其中，W是参数矩阵，σ非线性激活函数。
[0024]将语义关系网络和结构关系网络的邻接矩阵和特征矩阵的每行每列的元素进行求和，并将矩阵中的非零元素全设为1，得到的矩阵为A
q+p
,X
q+p
，图卷积操作后混合互补特征Z
q+p
的第l层节点表示为
[0025][0026]优选的，在步骤S34中，将节点特征输入进行线性变换，将节点特征的重要系数转换为注意力向量与线性变换后的节点特征矩阵的相关度t
v
:
[0027]t
v
＝a
T
ReLU(WX
v
+b),
[0028]其中，为权重参数，为偏置，使用ReLU函数作为激活函数，为了得到最终的注意力系数，将t
v
进行归一化处理，即
[0029][0030]其中，μ
v
为注意力系数，V为节点集合，v为节点，不同节点特征聚合为
[0031][0032]其中，为聚合不同关系特征后的节点表示。
[0033]优选的，在步骤S35中，通过拼接的方式将图卷积操作抽取的结构特征节点表示语义特征节点表示和混合互补特征节点表示进行融合，即
[0034][0035]是将和按行拼接，作为全连接层的输入，通过全连接层将最终的节点表示进行输出，最终的节点表示为
[0036]H＝σ(W
fc
F
final
+b
fc
),
[0037]W
fc
和b
fc
分别是全连接层的权重矩阵和偏置。
[0038]优选的，所述的模型训练中，采用半监督的方式，使用交叉熵作为损失函数：
[0039][0040]其中，假设节点标签有C类，Z
lf
＝softmax(HΘ
′
)，是参数矩阵，是最终的概率矩阵，Z
lf
中的元素代表每个节点属于某个类别的概率，是标签节点集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的三通道图神经网络的节点分类方法，其特征在于，包括如下步骤：步骤一、建立数据集；步骤二、构建三通道图神经网络模型；步骤三、利用数据集中的数据进行三通道图神经网络模型训练，并通过调节参数设置得到最优模型，输出最终节点表示；步骤四、将模型的最终节点表示作为训练分类器的输入，完成节点分类。2.根据权利要求1所述的基于注意力机制的三通道图神经网络的节点分类方法，其特征在于：所述三通道图神经网络模型包括网络构建层、节点级学习层、多关系特征聚合层、特征融合层及全连接层。3.根据权利要求1所述的基于注意力机制的三通道图神经网络的节点分类方法，其特征在于：所述三通道图神经网络模型训练具体包括：步骤S31、设无向图G＝(V,E)，无向图G有n个节点和m条边，在无向图G中的每个节点上有一个自循环图用{1,...,n}来表示G和中节点的编号，用d
j
和d
j
+1分别表示图G和中节点j的度；步骤S32、在网络构建层中，根据节点的上下文关系构建语义关系网络，根据节点之间的拓扑关系构建结构关系网络，将两种关系类型网络叠加构建语义
‑
结构关系共现网络；步骤S33、在节点级学习层中，将三种关系类型网络进行图卷积得到每种关系特征网络的节点表示；步骤S34、将不同类型的关系特征网络的节点表示通过改进的注意力机制进行聚合；步骤S35、将聚合后的不同类型的关系特征网络的节点表示与语义
‑
结构关系共现网络的节点表示进行融合，通过全连接层将最终的节点表示进行输出。4.根据权利要求3所述的基于注意力机制的三通道图神经网络的节点分类方法，其特征在于：在步骤S33中，无向图G中的邻接矩阵为A，对角度矩阵为D，则的邻接矩阵和对角度矩阵分别定义为度矩阵分别定义为设语义关系网络和结构关系网络的输入分别为(A
q
,X
q
)和(A
p
,X
p
)，语义特征和结构特征的第l层节点表示分别为的第l层节点表示分别为将语义关系网络和结构关系网络的邻接矩阵和特征矩阵的每行每列的元素进行求和，并将矩阵中的非零元素全设为1，得到的矩阵为A
q+p<...

【专利技术属性】
技术研发人员：杨燕琳，陈阳，冶忠林，孟磊，赵海兴，肖玉芝，
申请(专利权)人：青海师范大学，
类型：发明
国别省市：