一种基于Transformer的动态异构网络链路预测方法技术

本发明专利技术公开了一种基于Transformer的动态异构网络链路预测方法，包括：步骤1，以节点和链接集合作为输入，根据定义的动态异构网络构建成一个动态异构网络；步骤2：以构建好的动态异构网络作为输入，通过信息网络的异构表示方法，得到节点在不同视图下的嵌入向量；步骤3：以构建好的动态异构网络作为输入，通过信息网络的动态编码方法，得到具有动态特征的节点嵌入向量；步骤4：整合具有异构特征和动态特征的节点嵌入向量，最小化交叉熵损失函数，得到预测模型；步骤5：通过预测模型获取测试时期网络中节点对的最终嵌入向量，计算相似性并预测链路。基于以上步骤，本发明专利技术验证了针对网络中的已知节点和新节点的链路预测具有良好的效果。已知节点和新节点的链路预测具有良好的效果。已知节点和新节点的链路预测具有良好的效果。

【技术实现步骤摘要】
一种基于Transformer的动态异构网络链路预测方法


[0001]本专利技术属于数据挖掘领域，涉及图神经网络技术，是一种基于Transformer的动态异构网络链路预测方法。

技术介绍

[0002]从社交网络、问答论坛到生物信息学等，研究者把这些领域中用户、商品等看作节点，节点间交互看作链接，这些节点和链接形成一个巨大的信息网络图。大多真实世界的信息网络图具有异构性和动态性，即网络由多类型的节点和链接组成，并且随着时间的推移，新链接及新节点的产生导致网络结构不断演变。链路预测即通过分析网络中异构特征及动态演变等信息，来预测未来时期网络中节点间的链接。链路预测在现实中有很多应用，如在问答论坛上分析信息的扩散规律。因此，对动态异构网络链路预测的探究具有重要的研究价值和实际意义。
[0003]链路预测方法通过对网络表示学习以得到节点嵌入向量，并计算节点向量相似性来预测链路。目前传统的链路预测方法，或忽略异构特征在网络中的重要作用，或忽略动态演变对网络结构的影响，对节点的特征表示不够全面。在此基础上，由于网络演变会产生全新的节点，这要求方法具有一定的归纳学习能力，以便对新节点进行链路预测。所以，在对动态异构网络的表示学习的基础上，设计出针对新节点的链路预测方法就有着非常重要的现实意义，通过学习网络的拓扑结构、异构特征和动态特征将新节点“对齐”到网络中已知的节点嵌入中，从而避免新节点链路预测的冷启动问题。
[0004]为了有效地完成未来时期动态异构网络中新节点的链路预测，需要先学习历史网络中的异构特征和动态特征，以得到已知节点的特征表达。在此基础上，方法需要适应变化的网络结构图，以自然地推广到新增的节点。其次方法需要将新增的节点“对齐”到训练中方法已经优化的节点嵌入，这要求方法具有更强的泛化能力及特征学习能力。因此，如何在动态异构网络的表示学习上进一步针对新节点设计合理有效的链路预测方法是目前亟需解决的难点问题之一。

技术实现思路

[0005]本专利技术提出一种基于Transformer的动态异构网络链路预测方法。方法将在基于图注意力网络分别结合分视图理论及时间编码函数学习节点的异构特征和动态特征的基础上，为了能对新节点归纳合适的嵌入表达，并有效地预测新节点间的链路，引入了 Transformer模型。首先，Transformer中的多头注意力、前馈神经网络结合残差网络，能增强模型的泛化能力和特征学习能力。其次，在信息网络的异构表示方法中邻居聚合的方式，方法将按照时间顺序采样得到邻居子图，基于Transformer进行邻居聚合，以节点序列的方式捕获邻居特征，并结合图注意力网络得到不同链接类型下的节点向量。最后，得到具有异构特征和动态特征的节点嵌入向量，通过计算节点在某种链接类型下的相似性来预测在该链接类型下的链路。因此，方法通过增强模型的泛化能力及特征学习能力，从而为新节点归
纳合适的嵌入，有效地预测新节点间的链路。
[0006]一种基于Transformer的动态异构网络链路预测方法，其中包括如下步骤：
[0007]步骤1，本专利技术提出了针对动态异构网络中新节点的链路预测方法，方法将分五部分完成。一是构建动态异构网络，二是信息网络的异构表示方法，三是信息网络的动态编码方法，四是最小化交叉熵损失函数，五是链路预测。
[0008]步骤2，信息网络的异构表示方法。异构特征提取中，根据链路类型将网络分成多个视图，每个视图包含一种类型的链接，并对各个视图基于Transformer进行邻居聚合，视图间基于图注意力网络互相融合以得到不同链接类型下的节点嵌入向量。
[0009]步骤3，信息网络的动态编码方法。为了提取动态特征，通过时间编码函数得到动态特征向量并融入节点特征表示，并结合图注意力网络聚合邻居特征以捕获网络的动态演变。
[0010]步骤4，最小化交叉熵损失函数。模型将不断根据下一时刻网络中节点间链路概率与正负样本之间的损失值，通过梯度下降函数反馈修正模型参数及节点嵌入向量，最终得到预测模型。
[0011]步骤5，链路预测。将具有动态特征的节点嵌入向量分别与不同链接类型下的节点嵌入向量整合，得到节点在不同链接类型下的最终嵌入向量；以节点对在某种链接类型下的最终嵌入向量作为输入，计算向量相似性并预测测试时期网络中节点对在该链接类型下的链路。
[0012]基于Transformer的动态异构网络链路预测方法，其中，信息网络中的异构表示方法中，按照链接类型分成多个视图，各个视图按照链接时间顺序采样邻居。以节点及节点特征向量集合作为输入，使用Transformer对邻居特征进行聚合，以得到各个视图下具有邻居特征的节点特征向量。Transformer是完全基于自注意力机制的一个深度学习模型，它使用多头注意力机制和前馈神经网络来充分捕获序列特征，并结合残差网络即归一化函数平衡模型带来的过度学习的问题，因此模型在性能上都要高于之前传统的循环神经网络。
[0013]基于Transformer的动态异构网络链路预测方法，其中，信息网络的异构特征方法中，视图间基于图注意力网络互相聚合，得到不同链接类型下的节点特征向量，这是通过视图间的不同影响力来区分网络异构性。
[0014]基于Transformer的动态异构网络链路预测方法，其中，信息网络中的动态编码方法中使用了时间编码函数对时间间隔进行特征向量表示，时间编码函数能将时域变化通过时间函数编码映射到连续可微函数域，根据链接之间的时间间隔得到动态特征向量。
[0015]基于Transformer的动态异构网络链路预测方法，其中，信息网络中的动态编码方法中，根据链路时间顺序采样得到邻居子图，将动态特征向量融入节点特征向量中，并通过图注意力网络计算邻居节点间的不同权重值以获得具有动态特征的节点特征向量。
[0016]本专利技术具有以下有益效果：本专利技术通过分别学习信息网络的异构特征和动态特征以丰富节点的特征向量，并引入Transformer以节点序列的方式进行邻居聚合，提高模型的泛化能力及特征学习能力。因此，对未来时期网络中的新节点归纳合适嵌入表达，适用于新节点的链路预测。
附图说明
[0017]图1为本专利技术所述一种基于Transformer的动态异构网络链路预测方法的流程示意图；
[0018]图2为本专利技术实施例一中构建动态异构网络的流程示意图；
[0019]图3为本专利技术实施例一中基于Transformer的邻居聚合的流程示意图；
[0020]图4为本专利技术实施例一中信息网络的异构表示方法的流程示意图；
[0021]图5为本专利技术实施例一中信息网络的动态编码方法的流程示意图；
[0022]图6为本专利技术实施例一中链路预测的流程示意图；
[0023]图7为本专利技术实施例二已知节点和新节点的链路预测的实验结果图；
具体实施方式
[0024]以下将结合附图详细介绍本专利技术的详细说明，所描述的实例仅用于解释本专利技术，并不限制本专利技术。
[0025]实施例一...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的动态异构网络链路预测方法，其特征在于，包括：步骤1：以节点和链接集合作为输入，根据定义的动态异构网络构建成一个动态异构网络；步骤2：以构建好的动态异构网络作为输入，通过信息网络的异构表示方法，得到节点在不同链接类型下的嵌入向量；步骤3：以构建好的动态异构网络作为输入，通过信息网络的动态编码方法，得到具有动态特征的节点嵌入向量；步骤4：将具有动态特征的节点嵌入向量分别与不同链接类型下的节点嵌入向量整合，得到节点在不同链接类型下的最终嵌入向量，通过最小化交叉熵损失函数，得到预测模型；步骤5：通过预测模型获取测试时期网络中节点对在某种链接类型下的最终嵌入向量，计算相似性并预测在该链接类型下的链路。2.根据权利要求1所述的一种基于Transformer的动态异构网络链路预测方法构建动态异构网络，其特征在于，对不同类型的节点和链接用不同的编号代替；此外，按照链接发生时间顺序对信息进行排序。3.根据权利要求1所述的一种基于Transformer的动态异构网络链路预测方法，其特征在于，信息网络的异构表示方法按照链接类型分成不同的视图，每个视图只包含一种...

【专利技术属性】
技术研发人员：竹翠，阮贝贝，朱文军，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：