一种融合局部拓扑结构的图神经网络节点分类方法技术

本发明专利技术提供一种融合局部结构的图神经网络节点分类方法，步骤为：将节点特征信息先基于自注意力机制以拉普拉斯矩阵作为位置编码信息来获取图上较远节点的有用信息，来更新自身节点特征。之后，定义以中心节点为出发点的局部结构，从局部结构提取信息。然后，使用循环神经网络将输入的节点特征与最新的节点特征相加。将循环神经网络的输出作为输入，以自注意力机制为基础邻接矩阵作为一种mask矩阵来根据邻居节点更新特征。最后，使用softmax操作获得表示节点标签的one

【技术实现步骤摘要】
一种融合局部拓扑结构的图神经网络节点分类方法


[0001]本专利技术涉及深度学习、图神经网络，具体涉及一种融合局部结构的图神经网络节点分类方法。

技术介绍

[0002]图是一种非欧几里得数据，和普遍常见的排列规则的数据(例如文本、音频、视频)相比，图的结构更加复杂并且也更有表现力。网络或图形是一种普遍存在的数据结构，在生物学、神经科学、工程和社会科学中广泛用于捕获复杂系统的各个单元(即节点)之间的交互(即边)。例如，在社交媒体行业，用户通过其个人资料信息与其他用户(如朋友、同事)链接并互动，整个社交媒体网络被建模为产品/朋友/社区推荐的属性图；在医学和药理学中，分子和化学键可以构建为图形，通过识别其生物活性来潜在地发现新药；在学术引文网络中，论文通过引文进行连接，标题、作者、地点和关键词形成图形特征，用于自动分类和图片分类。
[0003]在各种复杂网络中，实体抽象成与其大小、形状无关的“点”，而把连接实体的线路抽象成“边”，进而以图的形式来表示这些点与线之间关系。图的结构反映了网络的结构关系，也包含了很多重要信息。比如一篇文章被很多文章所引用，说明这篇文章影响力大但是引用它的文献类别就不一定会和它一样(物理文献会被神经网络文献引用其公式)，这就考虑到了一个节点的出度大小。如何定义图的局部结构并从图的局部结构获取丰富的节点信息一直被认为是一项具有挑战性的任务。
[0004]定义一种通用的局部结构是从结构中获取节点信息的必要条件。传统神经网络都是固有的局部传播更新，这自然而然地排除了一些有效的全局交互以及局部结构信息的提取，这不利于大规模的图或图结构很稠密的情况。衡量节点在图中的重要性通常是理解图的一个很好的方法，这是之前文献研究所没有考虑过的。这就需要一种融合局部结构的图神经网络节点分类算法。

技术实现思路

[0005]本专利技术要解决的技术问题是：目前的图神经网络只关注邻接节点的特征信息，忽略了一些较远但很重要的节点信息同时也不能捕捉图的局部结构提供的信息的技术问题。
[0006]为解决上述技术问题，本专利技术所采取的技术方案为：通过计算节点间的不同重要性，来刻画数据间空间关系的融合图注意力网络和基于节点的三种基础关系刻画局部结构的图神经网络节点分类方法。
[0007]本法将整个数据集分为训练、验证和测试三部分：首先选取部分特征数据集(训练集)训练深度神经网络模型；然后用训练好的网络模型检验部分数据集(验证集)；所有批次训练完后，将最好的模型来测试最后的测试集，以此验证通过训练得到的深度神经网络模型的预测性能。
[0008]具体包括以下步骤：
[0009]一种融合局部结构的图神经网络节点分类方法，其特征是包括以下步骤：
[0010]步骤1)输入节点特征、关联矩阵(Incidence Matrix)和邻接矩阵(Adjacency matrix)；使用有向图表示节点之间的空间关系；
[0011]步骤2)使用第一个自注意力机制计算不同节点间的重要性，并以拉普拉斯矩阵作为位置信息编码，提取有向图中较远节点的有用信息来更新自身节点特征；
[0012]步骤3)将步骤2)中得到的节点特征的新表示输入进局部结构网络中，得到新的节点特征；
[0013]步骤4)使用循环神经网络将步骤1)输入的节点特征与步骤3)最新的节点特征相加，并输出；
[0014]步骤5)将步骤4)的输出作为输入，以自注意力机制为基础邻接矩阵作为mask矩阵来根据邻居节点更新节点特征；
[0015]步骤6)把步骤5)的输出进行softmax操作，获得表示节点标签的one
‑
hot向量；
[0016]步骤7)步骤6)的输出用于判断是否属于训练阶段，决定后续的运行流程；
[0017]步骤8)把one
‑
hot向量直接用来预测；
[0018]步骤9)one
‑
hot向量并与真实标签向量对比，计算网络模型预测的损失值loss；
[0019]用损失值来判断当前模型的分类效果，继续调整网络中的权重参数，优化网络模型；当网络模型的损失值收敛到最小或者训练到指定的迭代次数，则结束训练，输出训练好的网络模型；
[0020]步骤10)用训练好的网络模型检测其在测试集上的表现；
[0021]步骤11)将步骤10)得到的测试集的预测结果与真实数据对比，并返回精确度，从而体现模型好坏；
[0022]所述步骤3)中，从三个节点的最基础的三种关系考虑中心节点信息，并将节点信息根据关联矩阵转换成边信息从而考虑中心节点对邻居节点的影响即成对节点之间的相关性；根据定义的局部结构来更新边的邻接矩阵的权重，以此来更新边的特征，从而更新节点特征。
[0023]本专利技术方法通过结合深度学习和节点局部结构进行图神经网络的节点分类，首先根据自注意力机制获取较远节点和邻居节点信息，再根据局部结构提取有用信息。较远节点信息和邻居节点信息相结合，节点结构信息和节点特征信息相结合，从而提高模型的分类能力。
附图说明
[0024]图1a为本专利技术的整体算法框架流程图
[0025]图1b为本专利技术的自注意力机制模块图；
[0026]图2为本专利技术实施例所提供的图神经网络节点分类的流程图；
[0027]图3a～图3c为本专利技术使用的三种基础节点关系。
具体实施方式
[0028]本专利技术是一种融合局部结构的图神经网络节点分类方法，对于节点特征信息：
[0029]先基于自注意力机制以拉普拉斯矩阵作为位置编码信息来获取图上较远节点的
有用信息，来更新自身节点特征。
[0030]之后，定义以中心节点为出发点的局部结构，从局部结构提取信息。
[0031]然后，使用循环神经网络将输入的节点特征与最新的节点特征相加。在图神经网络中，邻居节点的信息最为重要，提供信息量大，因此将循环神经网络的输出作为输入，也以自注意力机制为基础邻接矩阵作为一种mask矩阵来根据邻居节点更新特征。
[0032]最后，使用softmax操作获得表示节点标签的one
‑
hot向量并与真实标签向量对比。
[0033]用训练得到的网络模型，得出测试集上的预测结果。
[0034]为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。应当明确，所描述的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0035]本专利技术实施例给出一种融合局部结构的图神经网络节点分类方法，参考图2，本方法包括以下步骤：
[0036]步骤101，输入节点特征和邻接矩阵；
[0037]步骤102，使用自注意力机制计算不同节点间的重要性(公式如下)并将拉普拉斯矩阵作为位置信息编码，提取较远节点的有用信息来更新自身节点特征；
[0038][0039]步骤103，将步骤102中得到的节点特征的新表示输入进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合局部结构的图神经网络节点分类方法，其特征是包括以下步骤：步骤1)输入节点特征、关联矩阵Incidence Matrix和邻接矩阵Adjacency matrix；使用有向图表示节点之间的空间关系；步骤2)使用第一个自注意力机制计算不同节点间的重要性，并以拉普拉斯矩阵作为位置信息编码，提取有向图中较远节点的有用信息来更新自身节点特征；步骤3)将步骤2)中得到的节点特征的新表示输入进局部结构网络中，得到新的节点特征；步骤4)使用循环神经网络将步骤1)输入的节点特征与步骤3)最新的节点特征相加，并输出；步骤5)将步骤4)的输出作为输入，以自注意力机制为基础邻接矩阵作为mask矩阵来根据邻居节点更新节点特征；步骤6)把步骤5)的输出进行softmax操作，获得表示节点标签的one
‑
hot向量；步骤7)步骤6)的输出用于判断是否属于训练阶段，决定后续的运行流程；步骤8)把one
‑
hot向量直接用来预测；步骤9)one
‑
hot向量并与真实标签向量对比，计算网络模型预测的损失值loss；用损失值来判断当前模型的分类效果，继续调整网络中的权重参数，优化网络模型；当网络模型的损失值收敛到最小或者训练到指定的迭代次数，则结束训练，输出训练好的网络模型；步骤10)用训练好的网络模型检测其在测试集上的表现；步骤11)将步骤10)得到的测试集的预测结果与真实数据对比，并返回精确度，从而体现模型好坏；所述步骤3)中，从三个节点的最基础的三种关系考虑中心节点信息，并将节点信息根据关联矩阵转换成边信息从而考虑中心节点对邻居节点的影响即成对节点之间的相关性；根据定义的局部结构来更新边的邻接矩阵的权重，以此来更新边的特征，从而更新节点特征。2.根据权利要求1所述的融合局部结构的图神经网络节点分类方法，其特征是根据复杂网络中的实体以及连接实体的线路构建网络拓扑结构，使用有向图G＝{V，E，A}表示节点之间的空间关系；其中：V＝{1，
…
，N}表示n个有连接关系的节点；E＝{e
ij
|i，j∈V}表示节点之间边的集合；表示有向图G的邻接矩阵，如果节点i和j之间有连接，则a
ij
＝1，否则a
ij
＝0，(i，j)∈V；用I
N
表示N
×
N的单位矩阵，D表示度矩阵，D
ii
＝∑
j
A
ij
表示节点i的度；假设有向图G＝{V，E，A}中的每个节点的标签都属于C个标签中的一个，节点的标签表示为y
i
∈{0，1}
C
，则得到标签矩阵Y∈{0，1}
N
×
C
，其中y
i
是Y的第i行；X＝(x1，x2，...，x
N
)∈R
N
×
F
表示所有节点的所有特征值，N为节点的数量，F表示每个节点的特征数量；通过定义的网络模型预测出所有节点的标签矩阵Y
′
∈{0，1}
N
×
C
，并与Y比较得出模型效
果。3.根据权利要求1所述的融合局部结构的图神经网络节点分类方法，其特征是整个数据集分为训练、验证和测试三部分；本方法采用60％的数据集作为训练集来训练网络模型；然后用这个网络模型对作为验证集的20％的数据进行验证；训练完成之后，用得到的网络模型来测试作为测试集的另外20％的数据集；在测试阶段，所有测试集中的数据和训练阶段的数据，都经过步骤1)至7)的处理。4.根据权利要求2所述的融合局部结构的图神经网络节点分类方法，其特征是步骤2)中：将节点特征进行自注意力机制表征学习，并使用拉普拉斯矩阵A
lp
作为位置编码信息来获取较远节点信息；列出式子：A
lp
＝I
‑
D
‑
1/2
AD
‑
1/2
＝U
T
ΛU
ꢀꢀꢀ
(1)I表示单位矩阵，U表示特征向量，U
T
表示特征向量的转置，Λ表示特征值；在自注意力机制模块中使用拉普拉斯矩阵获取位置信息，定义如下：Q＝XW
Q
，K＝XW
K
，V＝XW
V
ꢀꢀꢀ
(2)A
soft
＝softmax(A
·
A
lp
)
ꢀꢀꢀ
(4)X

【专利技术属性】
技术研发人员：史本云，刘达峰，彭岳，刘淼，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：