一种归纳多层次图网络表示学习方法技术

本发明专利技术公开了一种归纳多层次图网络表示学习方法，方法包括：通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示，以提高图神经网络节点的表示能力；多层图神经网络将目标接节点邻域的表示聚合得到目标节点新的表示；注意力机制通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的贡献；多层次门控机制通过控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。本发明专利技术能适应图网络表示学习任务，下游任务可以对接节点分类和用户身份推断，有效提升图网络节点的学习和表示能力。点的学习和表示能力。点的学习和表示能力。

【技术实现步骤摘要】
一种归纳多层次图网络表示学习方法


[0001]本专利技术涉及图网络表示学习
，尤其涉及一种归纳多层次图网络表示学习方法。

技术介绍

[0002]图嵌入的目标是学习给定图网络中节点的低维潜在向量表示，这种表示可以保存图网络的固有属性和结构属性。然后，这些学习好的图网络的表示可以被提供给机器学习算法中，用于执行在图网络上的常见任务，比如分类、聚类、连接预测和可视化。近年来，人们提出了许多学习图网络表示的方法，其中图神经网络根据图网络中的节点的相邻节点的特征和边缘信息来学习图网络中节点的表示，并且这种表示在很多任务上取得了很好的效果。根据传播机制的不同，图神经网络可以分为以下四类：
[0003](1)基于谱的图卷积神经网络(GCN)
[0004]基于谱的图卷积神经网络通过捕捉图网络的全局特征来学习节点表示。然而，它需要训练所有的节点来学习节点表示，这导致它的灵活性和可扩展性较差。
[0005](2)基于空间的图卷积网络(GraphSage)
[0006]基于空间的图卷积网络采用归纳学习方法，该方法利用节点特征信息(例如，文本属性)来有效地为图网络中以前看不到的节点学习节点表示。它通过学习一个聚合器来增强模型的灵活性和通用性。然而，图卷积网络在聚合邻居特征的过程中，它的聚合函数没有区分不同邻居的贡献，这限制了模型更好地提取不同邻居特征的能力。
[0007](3)基于注意的图神经网络(GAT)
[0008]在基于注意力的图神经网络中，每一层学习每个邻居对目标节点新特征的贡献，然后根据它们的贡献为目标节点生成新的特征。但是节点的最终表示是由每一层的节点表示简单连接或是求平均值，这样不能使每一层的节点表示得到最好的表达，从而限制了最终图网络表示的效果。
[0009](4)基于门的图神经网络(GRU)
[0010]在基于门的图神经网络中，通过门控机制控制每一层节点表示的表达，从而弥补了基于注意力的图神经网络的缺点。

技术实现思路

[0011]本专利技术的目的在于克服现有技术的不足，提供一种归纳多层次图网络表示学习方法，下游任务可以对接节点分类、用户身份推断等，有效提升图网络节点的学习和表示能力。
[0012]本专利技术的目的是通过以下技术方案来实现的：
[0013]一种归纳多层次图网络表示学习方法，方法包括：通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示，以提高图神经网络节点的表示能力；
[0014]所述多层图神经网络，使用特定的聚合方式聚合目标节点邻域的信息，首先以整个图网络节点的特征矩阵作为节点的初始表示进行聚合得到节点新的表示，再将节点新的表示进行聚合，如此反复使得目标节点聚合到更远的邻域的信息；
[0015]所述注意力机制，在图神经网络为目标节点聚合邻域中节点的信息时，通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的重要程度，使用注意力分数使邻域中对目标节点表示的更重要的节点得到更好的表达；
[0016]所述多层次门控机制，通过门控机制控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。
[0017]所述多层神经网络，包括以下步骤：
[0018]Step1.以整个图网络作为输入，对于图网络中的每一个节点，随机均匀地采样其S个邻居节点来构建邻域，根据输入的图网络中边的方向性有以下两种情况：(1)若输入图网络的边是无向的，则采样目标节点的邻居节点(2)若输入图网络的边是有向的，则采样目标节点的边指向的邻居节点；根据S的取值有以下两种情况：(1)当S大于该节点的邻居节点数时，随机重复采样该节点的邻居节点直到采样到S个节点(2)当S小于该节点的邻居节点数时，随机均匀地采样S个该节点的邻居节点；
[0019]Step2.对于图神经网络的第k层(k>0)，以采样到的邻域和上一层图神经网络生成的节点表示h
k
‑1作为输入，对于图网络中的每个节点，对其邻域中节点的表示进行聚合，对聚合生成的向量乘上权重矩阵，并施加非线性激活函数，如图4所示，对于特定节点v，其第k层表示的计算方法如下：
[0020][0021]其中σ是非线性激活函数，比如LeakyReLU，N(v)是节点v的邻域节点集，是节点v第k层的节点表示，当k＝0时表示节点v最开始输入的初始特征，W
k
是第k层图神经网络的权重矩阵，Aggregate{}是节点表示的聚合，如图4所示，当k＝1时Aggregate{}应该取Mean{}，表示使用均值聚合，其计算方法是对节点的表示求平均值，当k>1时Aggregate{}应该取Attention{}，表示使用注意力机制进行聚合，其计算方法如下：
[0022][0023]其中是节点v的邻域的聚合，是节点v与节点u在图神经网络第k层的注意力分数；
[0024]Step3.重复Step1和Step2来计算图神经网络下一层的节点表示，直到完成预先设置的最大层数的图神经网络；
[0025]所述注意力机制，包括以下步骤：
[0026]Step1.计算节点间的原始注意力分数，对于相邻节点i和j，它们在图神经网络第l层的原始注意力分数计算方法如下：
[0027][0028]其中σ是非线性激活函数，比如LeakyReLU，是节点i和节点j在图神经网络第l层的原始注意力分数，是图神经网络第l层中的一个可学习的权重向量，和分别是图神经网络第l层针对节点i和其邻域内节点j的线性变换矩阵，||是连接操作；
[0029]Step2.计算节点间的注意力分数，对于相邻节点i和j，它们在图神经网络第l层的注意力分数计算方法如下：
[0030][0031]其中是节点i和节点j在图神经网络第l层的注意力分数，N(i)是节点i的邻域内节点的集合；
[0032]Step3.在图神经网络中利用目标节点与其邻域内节点的注意力分数来聚合目标节点的邻域节点在上一层图神经网络中生成的节点表示，进而生成本层图神经网络中目标节点的表示；
[0033]所述多层次门控机制，包括以下步骤：
[0034]Step1.计算不同层节点表示的门，其计算方法如下：
[0035][0036]其中Μ是权重矩阵，b是方差向量，σ是激活函数，比如LeakyReLU，是节点v在图神经网络第l层生成的节点表示，则是节点v在图神经网络第l层生成的节点表示的门；
[0037]Step2.如图3所示，通过门控制节点在图神经网络不同层生成的节点表示的结合，来计算出图网络中每个节点的最终表示，以两层图神经网络为例，节点v的最终表示计算方法如下：
[0038][0039]其中Z
v
是节点v的最终向量表示。
[0040]本专利技术的有益效果：本专利技术针对图网络中的节点及其邻域的特征，提出了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种归纳多层次图网络表示学习方法，其特征在于，包括以下步骤：首先通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示；所述多层图神经网络用于将目标接节点邻域的表示聚合得到目标节点新的表示；所述注意力机制用于通过学习图网络中节点间的注意力分数来权衡节点间的相关性；所述多层次门控机制用于通过控制多层图神经网络根据每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。2.根据权利要求1所述的一种归纳多层次图网络表示学习方法，其特征在于，所述多层图神经网络还使用特定的聚合方式聚合目标节点邻域的信息，首先以整个图网络节点的特征矩阵作为节点的初始表示进行聚合得到节点新的表示，再将节点新的表...

【专利技术属性】
技术研发人员：王勇，王范川，王晓虎，姜铼，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：