基于共同注意力的异质图表示学习方法技术

本发明专利技术提供一种基于共同注意力的异质图表示学习方法，包括：基于目标元路径的预设注意力参数向量、第一隐特征向量、第二隐特征向量及语义融合向量，确定目标元路径邻居节点的局部注意力分值；基于局部注意力分值、目标元路径邻居节点对应的其他元路径的数量及预设超参数，确定目标元路径邻居节点的全局注意力分值；基于全局注意力分值、第一隐特征向量、第二隐特征向量及语义融合向量，确定目标节点的更新语义表示向量；基于异质图中每一条目标元路径中节点的更新语义表示向量，确定每一条目标元路径的注意力权重，基于所述注意力权重及所述更新语义表示向量，确定目标节点的目标语义表示向量。通过上述方法，能够得到高质量的节点表示。节点表示。节点表示。

【技术实现步骤摘要】
基于共同注意力的异质图表示学习方法


[0001]本专利技术涉及异质图表示学习
，尤其涉及一种基于共同注意力的异质图表示学习方法。

技术介绍

[0002]图表示学习是一种将图数据映射到低维向量的方法，其旨在捕捉图上拓扑结构，学习节点或边在低维空间中的表示。近年来，异质图表示学习受到广泛关注。
[0003]图表示学习方法包括基于同质图的图表示学习及基于异质图的图表示学习，其中，同质图是由同一类型的节点和边构成的。在现实世界中，系统通常是由各种不同的组成部分彼此之间复杂的相互关系构成。传统基于同质图的图表示学习方法会造成大量异质信息损失，进而影响下游任务的效果。因此，越来越多的方法尝试将现实系统抽象成为异质图，即，异质图是通过多种类型的节点或边构成的；相较于同质图，异质图的优势在于可以集成更多信息。
[0004]然而，异质图具有复杂的拓扑结构，且节点和边具有异质性。在相关技术中，通常无法有效且充分的挖掘异质图上的语义信息，从而限制了异质图的语义表达能力。
[0005]因此，如何有效挖掘异质图中丰富的语义信息，是目前亟待解决的问题。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术实施例提供一种基于共同注意力的异质图表示学习方法。
[0007]本专利技术提供一种基于共同注意力的异质图表示学习方法，包括：
[0008]针对异质图中任意一条目标元路径的至少一个目标节点，基于所述目标元路径的预设注意力参数向量、第一隐特征向量、第二隐特征向量及所述目标节点与所述目标元路径邻居节点之间所有元路径实例的语义融合向量，确定所述目标元路径邻居节点的局部注意力分值；所述局部注意力分值用于表征所述目标元路径邻居节点基于所述目标元路径对所述目标节点的重要性程度；所述第一隐特征向量为所述目标节点的隐特征向量、所述第二隐特征向量为所述目标元路径邻居节点的隐特征向量；
[0009]基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，确定所述目标元路径邻居节点的全局注意力分值；所述全局注意力分值用于表征所述目标元路径邻居节点基于所述异质图中所有元路径对所述目标节点的重要性程度，所述超参数用于表征所述目标节点与所述目标元路径邻居节点之间所有元路径实例对所述目标节点的重要性程度；
[0010]基于所述全局注意力分值、所述第一隐特征向量、所述第二隐特征向量及所述语义融合向量，确定所述目标节点对应的更新语义表示向量；
[0011]基于所述异质图中每一条目标元路径中节点的更新语义表示向量，确定每一条目标元路径的注意力权重，基于每一条目标元路径的注意力权重及所述每一条目标元路径中
节点的更新语义表示向量，确定所述目标节点对应的目标语义表示向量。
[0012]可选地，所述基于所述全局注意力分值、所述第一隐特征向量、所述第二隐特征向量及所述语义融合向量，确定所述目标节点对应的更新语义表示向量，包括：
[0013]对所述全局注意力分值进行归一化处理，生成目标注意力分值；
[0014]将所述目标注意力分值、所述第二隐特征向量及所述语义融合向量进行聚合处理，得到所述目标节点对应的聚合消息向量；
[0015]基于所述聚合消息向量及所述第一隐特征向量，确定所述更新语义表示向量。
[0016]可选地，所述基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，确定所述目标元路径邻居节点的全局注意力分值，包括：
[0017]基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，利用公式(1)确定所述目标节点的全局注意力分值；所述公式(1)为：
[0018][0019]其中，表示所述全局注意力分值；N表示所述异质图中所述目标元路径邻居节点对应的其他元路径的数量；η表示所述预设超参数；表示所述局部注意力分值。
[0020]可选地，在所述基于所述目标元路径的预设注意力参数向量、第一隐特征向量、第二隐特征向量及所述目标节点与所述目标元路径邻居节点之间所有元路径实例的语义融合向量，确定所述目标元路径邻居节点的局部注意力分值之前，所述方法还包括：
[0021]获取所述目标元路径对应的至少一条元路径实例，各所述元路径实例的数据结构与所述目标元路径的数据结构相同；
[0022]将各所述元路径实例进行编码，生成各所述元路径实例的语义表示向量；
[0023]将各所述元路径实例的语义表示向量进行聚合处理，生成所述语义融合向量。
[0024]可选地，所述元路径实例包括L+1个子节点及L个关系边，L为正整数；
[0025]所述将各所述元路径实例进行编码，生成各所述元路径实例的语义表示向量，包括：
[0026]针对每一个元路径实例，生成所述元路径实例对应的子节点序列及关系边序列；所述子节点序列中包括L+1个子节点，所述关系边序列中包括L个关系边；
[0027]将子节点隐特征向量序列输入第一模型组，对所述子节点隐特征向量序列进行更新，得到所述子节点的更新隐特征向量；所述第一模型组包括第一循环神经网络模型RNN及第二RNN，所述第一RNN和所述第二RNN跳跃连接；所述子节点隐特征向量序列是基于所述子节点序列生成的；
[0028]将关系边隐特征向量序列输入所述第一模型组，对所述关系边隐特征向量序列进行更新，得到所述关系边的更新隐特征向量；所述关系边隐特征向量序列是基于所述子节点序列生成的；
[0029]基于所述子节点的更新隐特征向量及所述关系边的更新隐特征向量，生成所述目标元路径实例的语义表示向量。
[0030]可选地，在所述确定所述目标节点对应的目标语义表示向量之后，所述方法还包括：
[0031]将所述目标语义表示向量输入初始目标业务分类模型，利用预设损失函数对所述初始目标业务分类模型进行训练，直至所述初始目标业务分类模型收敛，得到训练好的目标业务分类模型以及所述目标业务分类模型输出的适用于目标业务的目标语义表示向量；
[0032]将所述适用于目标业务的目标语义表示向量输入所述训练好的目标业务分类模型，得到所述训练好的目标业务分类模型输出的针对目标业务的分类结果。
[0033]本专利技术提供的基于共同注意力的异质图表示学习方法，针对异质图中任意一条目标元路径的至少一个目标节点，基于目标元路径的预设注意力参数向量、目标节点的隐特征向量、目标元路径邻居节点的隐特征向量及目标节点与目标元路径邻居节点之间所有元路径实例的语义融合向量，可以确定出目标元路径邻居节点的局部注意力分值，其中，局部注意力分值用于表征目标元路径邻居节点基于目标元路径对目标节点重要性程度；然后基于局部注意力分值、异质图中目标元路径邻居节点对应的其他元路径的数量及预设超参数，可以确定出目标元路径邻居节点的全局注意力分值，其中，全局注意力分值用于表征目标元路径邻居节点基于异质图中所有元路径对目标节点的重要性程度；基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共同注意力的异质图表示学习方法，其特征在于，包括：针对异质图中任意一条目标元路径的至少一个目标节点，基于所述目标元路径的预设注意力参数向量、第一隐特征向量、第二隐特征向量及所述目标节点与所述目标元路径邻居节点之间所有元路径实例的语义融合向量，确定所述目标元路径邻居节点的局部注意力分值；所述局部注意力分值用于表征所述目标元路径邻居节点基于所述目标元路径对所述目标节点的重要性程度；所述第一隐特征向量为所述目标节点的隐特征向量、所述第二隐特征向量为所述目标元路径邻居节点的隐特征向量；基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，确定所述目标元路径邻居节点的全局注意力分值；所述全局注意力分值用于表征所述目标元路径邻居节点基于所述异质图中所有元路径对所述目标节点的重要性程度，所述超参数用于表征所述目标节点与所述目标元路径邻居节点之间所有元路径实例对所述目标节点的重要性程度；基于所述全局注意力分值、所述第一隐特征向量、所述第二隐特征向量及所述语义融合向量，确定所述目标节点对应的更新语义表示向量；基于所述异质图中每一条目标元路径中节点的更新语义表示向量，确定每一条目标元路径的注意力权重，基于每一条目标元路径的注意力权重及所述每一条目标元路径中节点的更新语义表示向量，确定所述目标节点对应的目标语义表示向量。2.根据权利要求1所述的基于共同注意力的异质图表示学习方法，其特征在于，所述基于所述全局注意力分值、所述第一隐特征向量、所述第二隐特征向量及所述语义融合向量，确定所述目标节点对应的更新语义表示向量，包括：对所述全局注意力分值进行归一化处理，生成目标注意力分值；将所述目标注意力分值、所述第二隐特征向量及所述语义融合向量进行聚合处理，得到所述目标节点对应的聚合消息向量；基于所述聚合消息向量及所述第一隐特征向量，确定所述更新语义表示向量。3.根据权利要求1所述的基于共同注意力的异质图表示学习方法，其特征在于，所述基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，确定所述目标元路径邻居节点的全局注意力分值，包括：基于所述局部注意力分值、所述异质图中所述目标元路径邻居节点对应的其他元路径的数量及预设超参数，利用公式(1)确定所述目标节点的全局注意力分值；所述公式(1)为：其中，表示所述全局注意力分值；N表...

【专利技术属性】
技术研发人员：张政，季颖生，佴湲坤，沈佳辰，陶振宇，蔡明，
申请(专利权)人：上海中亦图灵数字科技有限公司，
类型：发明
国别省市：