基于迭代深度图学习的局部特征增强的网络对齐方法技术

本发明专利技术公开了基于迭代深度图学习的局部特征增强的网络对齐方法，包括以下步骤：将原始节点特征或经过计算的节点嵌入特征作为两个输入向量，并进行相似性度量学习；将学习后的图与初始图通过超参数加权结合，得到最终学习的图；使用第一层图神经网络将原始节点特征映射到中间嵌入空间，使用第二层图神经网络将中间节点嵌入映射到输出空间；根据迭代深度图学习框架，通过混合损失函数来学习图结构和GNN参数；在所有迭代之后，整体损失通过所有先前的迭代反向传播以更新模型参数；输出新的网络对齐节点对。本发明专利技术结合编码器模块和解码器模型来解决网络结构噪声和数据稀疏性，并应用自举算法产生新的对齐方式用于模型训练。自举算法产生新的对齐方式用于模型训练。自举算法产生新的对齐方式用于模型训练。

【技术实现步骤摘要】
基于迭代深度图学习的局部特征增强的网络对齐方法


[0001]本专利技术属于人工智能
，尤其涉及基于迭代深度图学习的局部特征增强的网络对齐方法。

技术介绍

[0002]网络是一种自然而强大的结构，可以捕获许多领域中不同实体之间的关系，例如社交网络、推荐网络和生物信息学网络。网络分析，也称为网络科学，几十年来一直受到广泛关注，并且仍然是一个有吸引力的领域。虽然单个网络的分析对于各种应用(例如，链接预测、社区检测、用户建模)至关重要，但它不能充分解决需要考虑图之间关系的任务(例如，图聚类、图对齐)。因此，提出了网络科学的一个子领域来分析两个或多个图之间的关系，即解决比较图分析中的基本问题之一——网络对齐(NA)。
[0003]网络对齐的目标是识别不同网络中节点的对应关系，这在许多实际应用中起着重要作用。例如，有大量用户在不同的社交网络中拥有账户，网络对齐可以帮助识别不同社交网络中的相同用户，如图1所示，两个网络之间的黑线是锚链接，虚线是潜在的对齐节点。通过网络对齐建立的用户对应关系可以缓解稀疏问题单个社交网络，有利于链接预测和跨域推荐等应用。此外，网络对齐还可以帮助基于现有的垂直或跨语言知识库构建更紧凑的知识图谱，并实现更好的知识推理。此外，在生物信息学中，对齐来自不同物种的蛋白质
‑
蛋白质相互作用网络也被广泛研究，以识别共同的功能结构。
[0004]然而，网络对齐面临三个主要挑战：网络噪声、数据稀疏性和对齐效率。
[0005]对齐效率：一些NA工作将网络对齐描述为二值图的最大匹配问题，例如最大公共子图问题，但这些都是NP
‑
difficult问题。因此，许多方法采用矩阵分解公式，例如IsoRank、FINAL和REGAL。但是这些方法不能处理非常大的网络，因为所需的计算量会随着网络规模的增加而迅速增长。
[0006]网络噪声：由于数据测量或收集不可避免的错误，现实世界的网络通常是嘈杂的，甚至是不完整的。网络噪声来源于网络的拓扑结构和节点的特征矩阵。
[0007]数据稀疏性：与其他类型的大规模数据类似，大规模网络都服从长尾分布，存在严重的数据稀疏问题。对于长尾节点，只有很少的路径与它们相关联，因此它们的语义或推理表示非常不准确。

技术实现思路

[0008]为了提高对齐效率，本专利技术提出了基于网络表示学习的方法，例如PALE 和DeepLink。这些对齐技术可以利用图嵌入的可扩展性来处理大型网络，但这些方法仅依赖于拓扑信息并且容易受到结构噪声的影响，使得模型缺乏泛化能力。为了克服网络结构噪声，我们基于迭代深度图学习框架生成更好的网络结构表示。
[0009]此外，大多数网络对齐方法更关注网络的全局特征，而不重视局部结构特征。特别是在稀疏网络中，这种方法由于长尾分布而导致性能不佳。
[0010]网络对齐在不同领域发挥着重要作用，例如跨网络推荐和链接预测。网络对齐技术分为两类，谱方法和网络表示学习方法。谱方法的目标是基于邻接矩阵运算对齐两个网络。而网络表示学习方法需要中间步骤：将网络中的节点表示为嵌入。
[0011]而知识表示学习方法，如TransE、TransH、DistMult、ComplEx和RotatE 模型，可以很好地表征网络的局部结构。鉴于此，为了解决数据稀疏问题，我们使用各种图表示学习方法进行网络对齐以获得高质量的局部特征。
[0012]本专利技术提出了用于网络对齐(IDLFA)的具有局部特征增强的迭代深度图学习。该模型由编码器模块和解码器模块两部分组成。编码器模块通过迭代深度图学习模型学习节点结构嵌入。解码器模块将知识表示学习方法集成到对齐方法中以增强局部特征。并且在训练过程中，应用自举算法将新生成的对齐节点添加到训练集中，以进一步缓解数据稀疏问题。
[0013]本专利技术公开的基于迭代深度图学习的局部特征增强的网络对齐方法，所述网络对齐的任务是基于已知的网络对齐节点对来寻找新的网络对齐节点对，包括以下步骤：
[0014]获取网络对齐节点，将网络对齐节点的原始节点特征或经过计算的节点嵌入特征作为两个输入向量，对这两个向量进行相似性度量学习；
[0015]将学习后的图与初始图通过超参数加权结合，得到最终学习的图；
[0016]使用第一层图神经网络GNN1将原始节点特征X映射到中间嵌入空间，使用第二层图神经网络GNN2将中间节点嵌入Z映射到输出空间；
[0017]根据迭代深度图学习框架，通过最小化对齐预测损失和图正则化损失的混合损失函数来联合和迭代地学习图结构和GNN参数；
[0018]在所有迭代之后，整体损失通过所有先前的迭代反向传播以更新模型参数；
[0019]输出新的网络对齐节点对。
[0020]进一步的，给定两个网络G
s
＝(V
s
,E
s
)，G
t
＝(V
t
,E
t
)，其中G
s
表示源网络，G
t
表示目标网络，V
s
、V
t
是节点的集合，E
s
、E
t
是边的集合，网络对齐的任务就是将G
s
中的节点V
s
映射到G
t
的节点V
t
。
[0021]进一步的，使用加权余弦相似性进行相似性度量，并将相似性度量函数扩展到一个多头的版本：使用m个权重向量，每个权重向量代表一个视角，使用余弦相似性函数计算m个独立的相似性矩阵，并将其平均值作为最终相似性，公式如下所示：
[0022][0023]其中表示哈德曼积，w
p
是一个可学习的权重向量，其维数与输入向量v
i
和v
j
相同，并学习突出显示向量的不同维数，s
ij
计算第p个视角的两个输入向量v
i
和v
j
之间的余弦相似度，其中每个视角考虑的是在向量中捕获的语义的一部分。
[0024]进一步的，所述将学习后的图与初始图通过超参数加权结合，公式如下所示：
[0025][0026]其中，L
(0)
＝D
(0)
‑
1/2
A
(0)
D
(0)
‑
1/2
是初始图的归一化邻接矩阵，A
(t)
和A
(1)
分别是第t次和第1次迭代的两个邻接矩阵；对邻接矩阵进一步进行归一化，得到f(A)
ij
＝A
ij
/∑
j
A
ij
，其中A
(0)
根据原始的节点特征X计算得到，A
(t)
根据先前更新的节点嵌入Z
(t
‑
1)
计算得到，该节点
嵌入Z...

【技术保护点】

【技术特征摘要】
1.基于迭代深度图学习的局部特征增强的网络对齐方法，所述网络对齐的任务是基于已知的网络对齐节点对来寻找新的网络对齐节点对，其特征在于，包括以下步骤：获取网络对齐节点，将网络对齐节点的原始节点特征或经过计算的节点嵌入特征作为两个输入向量，对这两个向量进行相似性度量学习；将学习后的图与初始图通过超参数加权结合，得到最终学习的图；使用第一层图神经网络GNN1将原始节点特征X映射到中间嵌入空间，使用第二层图神经网络GNN2将中间节点嵌入Z映射到输出空间；根据迭代深度图学习框架，通过最小化对齐预测损失和图正则化损失的混合损失函数来联合和迭代地学习图结构和GNN参数；在所有迭代之后，整体损失通过所有先前的迭代反向传播以更新模型参数；输出新的网络对齐节点对。2.根据权利要求1所述的基于迭代深度图学习的局部特征增强的网络对齐方法，其特征在于，给定两个网络G
s
＝(V
s
,E
s
)，G
t
＝(V
t
,E
t
)，其中G
s
表示源网络，G
t
表示目标网络，V
s
、V
t
是节点的集合，E
s
、E
t
是边的集合，网络对齐的任务就是将G
s
中的节点V
s
映射到G
t
的节点V
t
。3.根据权利要求1所述的基于迭代深度图学习的局部特征增强的网络对齐方法，其特征在于，使用加权余弦相似性进行相似性度量，并将相似性度量函数扩展到一个多头的版本：使用m个权重向量，每个权重向量代表一个视角，使用余弦相似性函数计算m个独立的相似性矩阵，并将其平均值作为最终相似性，公式如下所示：其中表示哈德曼积，w
p
是一个可学习的权重向量，其维数与输入向量v
i
和v
j
相同，并学习突出显示向量的不同维数，s
ij
计算第p个视角的两个输入向量v
i
和v
j
之间的余弦相似度，其中每个视角考虑的是在向量中捕获的语义的一部分。4.根据权利要求1所述的基于迭代深度图学习的局部特征增强的网络对齐方法，其特征在于，所述将学习后的图与初始图通过超参数加权结合，公式如下所示：其中，L
(0)
＝D
(0)
‑
1/2
A
(0)
D
(0)
‑
1/2
是初始图的归一化邻接矩阵，A
(t)
和A
(1)
分别是第t次和第1次迭代的两个邻接矩阵；对邻接矩阵进一步进行归一化，得到f(A)
ij
＝A
ij
/∑
j
A
ij
，其中A
(0)
根据原始的节点特征X计算得到，A
(t)
根据先前更新的节点嵌入Z
(t
‑
1)
计算得到，该节点嵌入Z
(t
‑
1)
是针对对齐预测任务进行优化得到的；超参数η用于将第1次迭代的节点嵌入特征和第t次迭代的节点嵌入特征的加权得到学习的图，超参数λ用于平衡学习到的图结构和初始图结构之间的平衡。5.根据权利要求1所述的基于迭代深度图学习的局部特征增强的网络对齐方法，其特征在于，所述使用第一层图神经网络GNN1将原始节点特征X映射到中间嵌入空间，使用第二层图神经网络GNN2将中间节点嵌入Z映射到输出空间，数学表示如下：
其中，σ(
·
)和l(
·
)分别是任务相关的输出函数和损失函数，σ(
·
)是softmax函数，l(
·
)是计算预测损失的交叉熵函数，MP(
·
,
·
)是一个消息传递函数，用到了特征/嵌入矩阵F和规范化邻接矩阵W1和W2分别是学得的第一层和第二层图神经网络的权重向量，y是真实值，是估计值。6.根据权利要求1所述的基于迭代深度图学习的局部特征增强的网络对齐方法，其特征在于，所述混合损失函数为：L＝L
pred
+L
G
,其中L
G
是图正则化损失，L
pred

【专利技术属性】
技术研发人员：唐九阳，郭浩，曾维新，赵翔，谭真，王吉，方阳，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：