基于注意力机制的异构图嵌入学习方法技术

本发明专利技术公开了一种基于注意力机制的异构图嵌入学习方法，包括如下步骤：步骤1，通过类型转换矩阵将异构图中的所有节点转换到统一的特征空间；步骤2，设计类型级注意力学习给定节点对于不同类别的邻居的注意力权重；步骤3，设计节点级注意力学习基于元路径的邻居节点注意力权重，并根据注意力权重进行加权聚合得到基于特定元路径的节点嵌入；步骤4，设计语义级注意力学习不同元路径的注意力权重，并根据注意力权重对基于不同元路径下的节点嵌入进行加权聚合，得到最终的节点嵌入；步骤5，对节点标签进行预测训练；步骤6，设计损失函数，利用反向传播算法进行模型优化训练。本发明专利技术的工作为如何将注意力机制应用到异构图提供了新的研究思路。的研究思路。的研究思路。

【技术实现步骤摘要】
基于注意力机制的异构图嵌入学习方法


[0001]本专利技术涉及一种基于注意力机制的异构图嵌入学习方法，属于图神经网络与人工智能领域。

技术介绍

[0002]近年来，一种特殊类型的图称为异构信息图(HIN)已成为网络挖掘研究的热点。杂边和节点的异构图形代表了复杂的关系，比如推荐系统,论文引用网络等。HIN最重要的特征是元路径，它反映了节点
‑
边缘元组中的语义关系。以论文引文网络为例，两篇论文的关系可以作为Paper
‑
Author
‑
Paper插图(合著者关系)和Paper
‑
Subject
‑
Paper(同主题关系)。从上面列出的元组中，可以看到在一个异构图中，不同的连接模式包含不同的关系，而传统的同构图深度网络无法处理异构网络中复杂的、跨模式的交互。注意力机制在深度学习中被广泛应用，它可以处理大小可变的数据，并使得模型倾向于关注数据中最显著的部分。图注意力网络(graph attention network，GAT)是一种专门用于处理图结构数据的神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的异构图嵌入学习方法，其特征在于：包括如下步骤：步骤1，通过类型转换矩阵将异构图中的所有节点转换到统一的特征空间；步骤2，设计类型级注意力学习给定节点对于不同类别的邻居的注意力权重；步骤3，设计节点级注意力学习基于元路径的邻居节点注意力权重，并根据注意力权重进行加权聚合得到基于特定元路径的节点嵌入；步骤4，设计语义级注意力学习不同元路径的注意力权重，并根据注意力权重对基于不同元路径下的节点嵌入进行加权聚合，得到最终的节点嵌入；步骤5，对节点标签进行预测训练；步骤6，设计损失函数，利用反向传播算法进行模型优化训练。2.根据权利要求1所述的基于注意力机制的异构图嵌入学习方法，其特征在于：所述步骤1中，由于异构图中包含不同类型的节点，通过类型转换矩阵将所有节点转换到统一的特征空间：h
′
i
＝M
τ
·
h
i
其中，M
τ
是投影特征，h
i
和h
′
i
分别是投影前后的节点特征。3.根据权利要求1所述的基于注意力机制的异构图嵌入学习方法，其特征在于：所述步骤2包括以下步骤：步骤21，给定节点v
i
，定义其关于类型τ的邻域嵌入表示为，定义其关于类型τ的邻域嵌入表示为即对节点v
i
的类型为τ的邻居节点特征求和，其中，为归一化后的邻接矩阵，v
j
表示v
i
的邻居节点，是节点v
i
的邻居节点中类型为τ的节点集合；步骤22，基于节点v
i
的投影后的节点特征h
′
i
和其关于类型τ的邻域嵌入表示计算节点v
i
关于τ类型邻域的注意力分数：其中，||表示连接操作，是τ类型的注意力向量，所有节点共享该注意力向量；σ(
·
)表示激活函数；上标T表示转置；步骤23，通过softmax函数对所有类型的注意力分数进行规范化，获得类型级别的注意权重：4.根据权利要求1所述的基于注意力机制的异构图嵌入学习方法，其特征在于：所述步骤3包括以下步骤：步骤31，基于自注意力(self
‑
attention)设计节点级别的注意力系数：给定通过元路径Φ连接的节点对(v
i
,v
j
)，通过将节点对的表示拼接起来并利用注意力向量来学习节点与其邻居间的重要性；
其中，att
node
表示计算节点级注意力的深层神经网络，节点对(v
i
,v
j
)的重要性分数表明了v
j
对v
i
的重要程度，是不对称的，即节点v
i
对节点v
j
的重要性和节点v
j
对节点v
i
的重要性可能有很大的不同；是节点对(v
i
,v
j
...

【专利技术属性】
技术研发人员：裴文江，包雅孟，夏亦犁，
申请(专利权)人：东南大学，
类型：发明
国别省市：