一种基于弹性图神经网络的文献分类方法、系统技术方案

本发明专利技术公开了一种基于弹性图神经网络的文献分类方法、系统，包括：提取文献的特征信息构造特征矩阵和表征各文献之间关系的邻接矩阵；将特征矩阵和邻接矩阵分别输入两个并行的分支进行处理；第一分支分别经过第一多层感知机、第一激活函数和第二多层感知机；第二分支分别经过第一多头感知注意力模块、第三多层感知机、第二激活函数、第二多头感知注意力模块、加权求和；将第一分支和第二分支的结果进行聚合连接得到第一节点表征，将其经过带有低通滤波器功能的弹性图神经网络处理得到第二节点表征；将第二节点表征输入到softmax函数得到节点的最终分类结果。本发明专利技术增强了GNN的局部平滑自适应能力，并解决了邻居分数固定的问题。题。题。

【技术实现步骤摘要】
一种基于弹性图神经网络的文献分类方法、系统


[0001]本专利技术属于机器学习领域，尤其涉及一种基于弹性图神经网络的文献分类方法、系统。

技术介绍

[0002]目前，文献分类对于快速的将对应文献推荐给指定人群具有非常重要的作用。文献分类的方法有很多，例如GNN(Graph Neural Network,图神经网络)方法是神经网络的一个分支，用于处理图结构数据，能够通过统一聚合不同节点之间的特征。同时，GAT(Graph Attention Networks,图注意力网络)也是近年来兴起的用于处理图结构数据的一种有效方法，其通过计算每个节点与其周围节点的注意力系数，对节点进行特征聚合和分类。GAT能够可以充分利用节点之间的关系，并考虑每个节点的重要性不同，从而提高分类的准确度。但是现有的技术方案对节点中特征的学习不充分，同时没有充分考虑节点之间的交互性，例如现有的GNN方法在学习节点特征时候会出现过平滑等问题，现有的GAT方法对节点之间的空间性考虑较少。

技术实现思路

[0003]本专利技术所要解决的技术问题在于：提供了一种基于弹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弹性图神经网络的文献分类方法，其特征在于，包括：S1、提取文献的特征信息，构造特征矩阵和表征各文献之间关系的邻接矩阵；S2、将特征矩阵和邻接矩阵分别输入两个并行的分支进行处理，其中第一分支分别经过第一多层感知机、第一激活函数和第二多层感知机；第二分支分别经过第一多头感知注意力模块、第三多层感知机、第二激活函数、第二多头感知注意力模块；S3、将第一分支和第二分支处理得到的结果进行聚合连接，得到第一节点表征；S4、将第一节点表征经过带有低通滤波器功能的弹性图神经网络处理，得到第二节点表征；S5、将第二节点表征输入到softmax函数得到节点的最终分类结果。2.根据权利要求1所述的基于弹性图神经网络的文献分类方法，其特征在于，步骤S1中：设文献有m个节点、n个特征，得到的文献对应特征矩阵为X∈R
m
×
n
、文献对应邻接矩阵为A∈R
n
×
n
。3.根据权利要求1所述的基于弹性图神经网络的文献分类方法，其特征在于，步骤S2中处理流程的具体步骤为：(1)第一分支数据处理流程的具体为：经过第一多层感知机和第一激活函数处理，具体公式为：H＝ReLU(XW
h
+b
h
)；其中，X为文献对应的特征矩阵，H为隐藏层的输出，ReLU为线性整流函数，W
h
∈R
n
×
h
、b
h
∈R
m
×
h
分别为隐藏层的权重和偏差，m为文献节点的数量，n为特征个数，h为隐藏层的神经元个数；经过第二多层感知机处理，具体公式为：O＝HW
y
+b
y
其中，O为得到的输出向量，W
y
∈R
h
×
i
、b
y
∈R
m
×
i
分别为输出层的权重和偏差，i为输出Y的特征维度；(2)第二分支数据处理流程的具体为：将特征矩阵X与邻接矩阵A输入第一多头感知注意力模块，得到输出H
′
，第一多头感知注意力模块为8头感知注意力模块，具体公式为：H
′
＝H
′1||H
′2||H
′3||H
′4||H
′5||H
′6||H
′7||H
′8其中，H
′
j
是特征矩阵X与邻接矩阵A通过输入第j头感知注意力模块的输出，j＝1～8，|为并联操作；H
′
j
的计算公式为：H
′
j
＝α
j
W
j
AX其中，α
j
＝SPEattention(X)，SPEattention()选用带空间位置嵌入的自注意力机制，W
j
为可学习权重；带空间位置嵌入的自注意力值将空间位置信息引入到自注意力机制中，表达式如下所示：SPEattention(X)＝(softmax(FC1(X)FC2(X))+ReLU(CNN(E)))FC3(X)其中，Softmax为归一化指数函数，FC1为第一全连接函数，FC2为第二全连接函数，FC3为第三全连接函数，RuLU为带空间位置嵌入的自注意力机制中激活函数，CNN为一维卷积函
数，E为可学习向量；将H
′
依次输入第三多层感知机、第二激活函数，得到输出H
″
，具体公式为：H
″
＝ReLU(H
′
W
′
+b
′
)其中，W
′
为可学习权重，b
′
为可学习偏置；将H
″
输入第二多头感知注意力模块，得到输出H
″′
，第二多头感知注意力模块为8头感知注意力模块，具体公式为：H
″′
＝H
″1||H
″2||H
″3||H
″4||H
″5||H
″6||H
″7||H
″8其中，H
″
j
是以H
″
与邻接矩阵A为通过输入第j头感知注意力模块的输出；H
″
j
的计算公式为：H
″
j
＝α
′
j
W
′
j
AH
″
其中，α
′
j
＝SPEattention(H
″
)，W
′
j
为可学习权重。4.根据权利要求3所述的基于弹性图神经网络的文献分类方法，其特征在于，步骤S3的具体内容为：将第一分支得到的O和第二分支得到的H
″′
进行聚合连接得到第一节点表征X
in
，具体公式为：X
in
＝O||H
″′
。5.根据权利要求1所述的基于弹性图神经网络的文献分类方法，其特征在于，步骤S4中，将第一节点表征X
in
经过带低通滤波器功能的弹性图神经网络处理得到第二节点表征，具体步骤为：S401、以X
in
为输入，基于l
21
正则化得到图信号平滑公式，具体公式为：其中，n为节点个数；d为X
in
信号的特征维度；F为最终输出的信号；λ1和λ2是控制图平滑度的平衡的超参数；表示图拉普拉斯矩阵，I表示单位矩阵，表示正则化的图邻接矩阵，邻接矩阵，表示图的度矩阵，Α为图邻接矩阵；是的l
21
范数；表示的迹；ε表示平衡参数；V
i
表示各篇文献分别对应顶点间关联关系图的第i个顶点，V
j
表示各篇文献分别对应顶点间关联关系图的第j个顶点，d
i
表示各篇文献分别对应顶点间关联关系图中第i个顶点的度，d
j
表示各篇文献分别对应顶点间关联关系图中第j个顶点的度，Y
i
和Y
j
分别是Y的第i个和j个输出信号；引入低通滤波功能的正则项部分；S...

【专利技术属性】
技术研发人员：李渊铭，杨真真，杨永鹏，庄宇驰，张泽楷，林泽龙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：