异质图神经网络属性补全方法技术

本发明专利技术公开了一种异质图神经网络属性补全方法，包括使用异质信息网络的嵌入方法对异质图网络进行节点嵌入，以形成拓扑网络结构；以拓扑结构为指导，通过残差注意力机制来聚合目标节点的邻居属性，对缺失属性的目标节点进行属性补全操作；将该方法与其他的异质网络模型相结合，计算模型的损失函数，并进行优化，达到一个端到端的效果。本发明专利技术可以与不同的异质图神经网络模型结合，并在真实的数据集上进行实验，针对属性缺失和训练过拟合问题，得到了更好的解决效果，明显的提高了预测的性能。明显的提高了预测的性能。明显的提高了预测的性能。

【技术实现步骤摘要】
异质图神经网络属性补全方法


[0001]本专利技术属于人工智能
，具体涉及一种异质图神经网络属性补全方法。

技术介绍

[0002]传统同质图数据中只存在一种节点和边，因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。而异质图中可以存在不只一种节点和边，因此允许不同类型的节点拥有不同维度的特征或属性。这一特点使得异质图的应用十分广泛，例如社交网络、购物系统、文献系统等等，这些数据都可以用异质图数据结构来进行表示。最近，有许多基于图神经网络的模型去处理异质图数据并实现了很好的性能，在处理异质图数据的过程中，节点本身所带的属性就显得尤为重要，而异质图不同数据节点中存在不同属性信息，但也有大量的节点是不带有属性信息，这使得异质图中属性补全的问题变得越来越重要。
[0003]因此，在解决这一问题的过程中现有的方法面临一些重要挑战。
[0004]一、在大多数的神经网络中，都是针对图结构中的节点进行操作，因此在处理节点过程中，需要学习节点的表示，因此节点的属性信息是必不可少的。在庞大的各种信息网络中，节点的属性都是多样的，在节点嵌入工作中并不会像同质图一样，可以将所有的节点视为一种类型，在一些前辈们的工作中针对异质图嵌入问题也提出了很多模型，比如使用元路径以及编码
‑
解码的方式等等，并不能保证在嵌入的过程中没有丢失重要信息。
[0005]二、在异质信息网络中，对于缺失属性的节点，与这些节点相邻的会存在一些已有属性的节点，所以我们可以通过研究这些带属性的节点来为缺失属性的节点进行属性补全工作，因此先前节点属性的研究，大多数都是通过手工制作的方式去给节点加入属性信息。拿MAGNN来说，对于DBLP数据集中的作者节点，在本数据集中并没有提供节点属性信息，就导致必须从带有原始属性并直接相连的论文节点中去获取节点属性，而信息的表达方式也同样是关键字的词包表示。而IMDB数据集中，导演节点属性是通过电影节点的关键的字词包的表达方式进行属性补全。最关键的一点，他们并没有使用计算机科学专门的预先训练的词向量和one
‑
hot表示作为节点的属性信息，这就导致可能会缺失信息的有效性。
[0006]三、聚合节点属性时，注意力是一个很重要的机制，并与异质图神经网络的结合在HAN中已经实现，考虑了节点和语义级别利用注意力机制来对邻居信息和语义信息进行加权融合，从而可以对节点信息表示的更加的全面，对学习节点表示展现出了更强的表达能力。但是这些基于图神经网络的异质网络模型在设计上并不能很深，原因是存在过拟合和梯度消失问题，这就导致模型的效果并不能很完美。
[0007]然而，以上这些方面的缺点阻碍了这些方法的进一步应用。

技术实现思路

[0008]针对以上问题，本专利技术提出了一种基于残差注意力机制的异质图神经网络属性补全方法。为解决以上技术问题，本专利技术所采用的技术方案如下：
[0009]异质图神经网络属性补全方法，包括如下步骤：
[0010]S1.将若干不同领域的数据集构建为相应的异质图；
[0011]所述异质图采用G表示，定义为G＝(V,E),V表示异质图中的节点集合，E表示异质图中节点之间所形成的边集合，不同数据集的节点集合V中，只有部分节点带有原始属性；
[0012]S2.利用异质信息网络嵌入方法对步骤S1所建立的异质图进行节点嵌入，获取每个节点的嵌入表示；
[0013]S3.利用残差注意力机制计算节点之间的贡献程度，并选择合适的节点属性进行聚合操作；
[0014]S4.对步骤S1中一部分带属性的节点进行属性丢失，使用步骤S3中的残差注意力机制进行属性聚合；
[0015]S5.将步骤S3和S4得到新的异质信息网络与其他基于异质网络的图神经网络模型结合计算损失函数并优化。
[0016]所述步骤S2包括如下步骤：
[0017]S2.1.利用类型转换矩阵将异质图中不同类型的节点映射到相同的特征空间中；
[0018]S2.2.将步骤S2.1转换后的节点特征，以拓普网络为指导，利用多条元路径，通过随机游走(Random Wal)模型获得全面的节点序列；
[0019]S2.3.将步骤S2.2得到的节点序列输入到Skip
‑
gram模型中，获取节点嵌入的词向量表示。
[0020]所述步骤S3包括如下步骤：
[0021]S3.1.根据嵌入后的拓扑网络选择出缺失属性的目标节点，进行属性补全；
[0022]由于第一阶的邻居节点与目标节点的属性更为相似，因此选择目标节点的第一阶带属性的邻居节点，为目标节点的属性进行补全；
[0023]S3.2.使用掩码注意力获得节点注意力分数，对于不同的层，添加了边残差连接进行聚合；
[0024]S3.3.由于节点特征维度相同，通过节点残差对输入节点特征进行预激活残差连接，并对节点特征进行聚合；
[0025]S3.4.利用步骤S3.2和S3.3对目标节点进行节点属性聚合，最后完成属性补全。
[0026]在步骤S3.2中，通过掩码注意力获得节点注意力分数的表达式为：
[0027][0028]式中，σ是激活函数，Φ表示一条元路径，h
′
i
和h
′
j
表示通过步骤S2.1所获得的映射之后的节点i的嵌入特征，W
′
表示的是一个参数矩阵。
[0029]在步骤S3.2中，通过边残差操作对不同的层进行聚合的表达式为：
[0030][0031]式中，表示在m+1层节点i和j聚合后的注意力分数，β表示一个范围在0～1之间的比例因子，表示在m+1层节点i和j初始的注意力分数，表示在m层节点i和j聚合后的注意力分数。
[0032]在步骤S3.3中，通过节点残差对节点特征进行聚合表示的表达式：
[0033][0034]式中，h
′
i(m+1)
表示节点i在第m+1层聚合后的节点特征，σ是一个激活函数，表示的是节点i和节点j之间的权重参数，和W
(m+1)
是一个可学习的线性转换矩阵来转换类型的嵌入，(h
′
j
)
m
和(h
′
i
)
m
是第m层节点i和节点j的节点特征。
[0035]在步骤S3.4中，对目标节点进行节点属性补全的表达式为：
[0036][0037]式中，表示补全后的缺失属性的节点，j表示的是节点i中带属性的一阶邻居节点，x
j
表示节点j的属性特征。
[0038]所述步骤S5包括如下步骤：
[0039]S5.1.将步骤S3得到的补全后的属性节点通过欧氏距离计算损失函数为属性的完成损失；
[0040]S5.2.将步骤S4得到的属性补全的属性节点与初始的属性节点进行对比，并通过欧氏距离计算得到的损失函数为标签的预测损失；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.异质图神经网络属性补全方法，其特征在于，包括以下步骤：S1.将若干不同领域的数据集构建为相应的异质图；所述异质图采用G表示，定义为G＝(V,E),V表示异质图中的节点集合，E表示异质图中节点之间所形成的边集合，不同数据集的节点集合V中，只有部分节点带有原始属性；S2.对步骤S1所建立的异质图利用异质信息网络嵌入方法进行节点嵌入，获取每个节点的嵌入表示；S3.利用残差注意力机制计算节点之间的贡献程度，并选择合适的节点属性进行聚合操作；S4.对步骤S1中一部分带属性的节点进行属性丢失，使用步骤S3中的残差注意力机制进行属性聚合；S5.将步骤S3和S4得到新的异质信息网络与其他基于异质网络的图神经网络模型结合计算损失函数并优化。2.根据权利要求1所述的异质图神经网络属性补全方法，其特征在于，所述步骤S2包括如下步骤：S2.1.利用类型转换矩阵将异质图中不同类型的节点映射到相同的特征空间中；S2.2.将步骤S2.1转换后的节点特征，以拓普网络为指导，利用多条元路径，通过随机游走模型获得全面的节点序列；S2.3.将步骤S2.2得到的节点序列输入到Skip
‑
gram模型中，获取节点嵌入的词向量表示。3.根据权利要求1所述的异质图神经网络属性补全方法，其特征在于，所述步骤S3包括如下步骤：S3.1.根据嵌入后的拓扑网络选择出缺失属性的目标节点，进行属性补全；S3.2.使用掩码注意力获得节点注意力分数，对于不同的层，添加了边残差连接进行聚合；S3.3.通过节点残差对输入节点特征进行预激活残差连接，并对节点特征进行聚合；S3.4.利用步骤S3.2和S3.3对目标节点进行节点属性聚合，最后完成属性补全。4.根据权利要求3所述的基于残差注意力机制的异质图神经网络属性补全方法，其特征在于，在步骤S3.3中，对节点特征进行聚合表示的表达式：式中，表示节点i在第m+1层聚合后的节点特征，σ是一个激活函数，表示的是节点i和节点j之间的权重参数，和W
(m+1)
是一个可学习的线性转换矩阵来转换类型的嵌入，(h
′
j
)
m
和(h
′
i
)
m
是第m层节点j和节点i的节...

【专利技术属性】
技术研发人员：刘兆伟，赵宗星，王莹洁，段培永，苏航，徐金东，宋永超，王占宇，王涛，
申请(专利权)人：烟台大学，
类型：发明
国别省市：