基于两步式框架的有向超图链式预测方法技术

本发明专利技术公开了基于两步式框架的有向超图链式预测方法，获取具有多个实体间关系的有向超图；将有向超图输入神经网络模型进行训练，获取节点集中每个节点的嵌入向量后，利用基于Tucker分解的评分函数获得两种评分来评估超边是否存在；BiLSTM模型生成一个包含所有顺序信息的嵌入向量；同样的过程发生在反向隐藏层组中，得到两个不同的嵌入向量；将两个嵌入向量连接成一个向量，得到超边表示，发送到Softmax层获得方向分数；使用梯度下降法更新模型参数。本发明专利技术将Tucker分解推广到高维，引入张量环分解算法来降低模型的复杂度，从理论上证明了为超边评分的模积结果与参与计算的节点顺序无关。节点顺序无关。节点顺序无关。

【技术实现步骤摘要】
基于两步式框架的有向超图链式预测方法


[0001]本专利技术属于人工智能
，尤其涉及基于两步式框架的有向超图链式预测方法。

技术介绍

[0002]链式预测有助于放大图结构数据中的关系，受到学术界和工业界的广泛关注。现有的研究主要集中在简单图的链式预测上，用一条边来表示两个节点之间的关系，这在处理现实世界的实际情况时可能不够。在现实世界中一个关系(即边)可能涉及两个以上的实体(即节点)，例如化学反应、共同作者关系和社会网络等等。换句话说，这些是典型的高阶关系。图1(a)显示了一个玩具化学反应网络的例子。从图中可以看出，一个完整的反应由CuO、H2SO4、H2O、CuSO4等几个化合物组成，且化合物之间存在高阶关系，这种高阶关系定义了如下反应：
[0003]CuO+H2SO4→
H2O+CuSO4[0004]因此，最近的一种研究趋势是将高阶关系建模为超边，从而产生超图。可以看出，一个超边可以覆盖多个节点，如图1(a)中反应I的5个节点和反应II的4个节点。经过这样的扩展，图模型能够自适应地处理包含多个节点的高阶关系，而不仅仅是三元组的关系。
[0005]传统的面向简单图的链式预测方法无法捕捉到这种高阶关系，与简单图相比，它具有更大的挑战性。首先，链接中每个节点的表示对超链接的预测都有影响。因此，在进行预测时，一个好的表示模型需要考虑到一个链接中涉及的所有单个节点的表示。其次，由于对超图的人工标注大多数都十分复杂，因此很多情况下对超图的预测缺乏足够的训练数据，这就导致数据量不足以很好地训练大量的可学习参数。
[0006]针对这一问题，目前的研究主要分为两类:(1)基于转移的模型将简单图中的转移约束(即h+r≈t)推广到高阶，以m
‑
TransH和RAE为代表。由于这些模型建立在转移约束的基础上，一次只能考虑两个节点，因此无法捕捉超链接中节点的全局特征。(2)基于神经网络的模型利用超图的结构信息进行建模，典型的方法有NaLP、HGNN、HyperGCN和HyperSAGNN。由于神经网络中参数较多，这类模型由于训练数据的缺乏，容易出现过拟合现象。
[0007]此外，现有的方法主要关注无向超图预测，忽略了有价值的链接方向信息。例如，在图1(a)的Reaction II中，只是对于CuO、H2SO4、H2O和CuSO4之间是否存在超边进行预测是不够的，还需要借助方向信息来区分反应的反应物和生成物。当像图1(b)那样推断方向时，可以很容易地构造出化学反应方程。该任务称为有向超图链式预测。
[0008]动机：对于一个有向超边，可以根据超边的方向将超边中的节点分为头和尾两部分。这两个部分的顺序对于判断有向超边的方向很重要，相比之下，每个部分的具体顺序是无关紧要的。例如CuO和H2SO4应该在H2O和CuSO4前面，但是CuO和H2SO4(或H2O和CuSO4)之间的位置无关紧要。然而，现有的解决方案还没有体现出这一特性。
[0009]具体来说，最先进的能够处理有向超图模型NHP采用了两步方法，其性能并不是最优的。NHP采用GCN更新节点表示，GCN的训练是一个需要较大数据量的过程，超图的数据不
足容易导致模型过拟合。此外，它使用超边中节点表示的平均值来代表整个超边的表示向量，并通过两部分的乘积来计算一个分数来推断超边的方向。这可能是不够的，因为它忽略了节点语义和位置等信息。更重要的是，目前的平均嵌入方法对超边中的节点数量不敏感。这和四节点超边的意义与五节点超边的意义本质上不同的事实相矛盾。
[0010]二元图上的链式预测：大多数二元图上的链式预测方法可以分为两类，一类是通过分解三阶表示张量的线性数学方法，另一类是利用非线性卷积模型，如ConvE和HypER。近年来出现了许多线性数学的链接预测方法，如RESCAL、DistMult、ComplEx、SimplE。基于张量分解的RESCAL通过模型的潜在分量进行集体学习，提供了一种高效的分解计算算法。DisMult是RESCAL的一种特殊情况，它通过对角矩阵的关系来减少过拟合，而ComplEx将DisMult扩展到复域。SimplE基于Canonical Polyadic(CP)分解，其中同一实体的主语和宾语实体嵌入是独立的。TuckER是基于TuckER分解的一个简单而强大的模型；将核心张量视为参数张量，取实体嵌入向量、关系嵌入向量与核心张量之间的模积来定义评分函数。由于使用高阶张量来定义参数大大减少了计算过程中的信息损失，TuckER被证明是处理二元图上链式预测任务性能最好的模型。然而，它仅限于简单图，而不适用于超图。
[0011]无向超图的链式预测：无向超边预测的研究可以分为三种，即基于转移的方法、基于神经网络的方法和基于节点邻接矩阵的方法。基于转移的方法的代表模型是m
‑
TrnasH和RAE。m
‑
TransH将TransH推广到n阶关系情形，将实体投影到特定关系的超平面上，并将评分函数定义为投影结果的加权和。RAE考虑了n阶关系中实体之间共同出现的可能性，通过MLP建立关联模型，并在评分函数中反映出来。由于这些模型是由二元模型扩展而来的，对n阶关系的表示也进行了限制。NaLP、HyperGCN和Hyper
‑
SAGNN是三种基于神经网络的方法。HGNN是一种基于超图卷积运算的通用超图神经网络框架，能够整合多模态数据和复杂的数据相关性。HyperGCN提出了一种利用超图谱理论中的工具训练超图GCN的新方法，并将该方法应用于真实世界超图的SSL(基于超图的半监督学习)和组合优化问题。Hyper
‑
SAGNN开发了一种新的基于自注意的图神经网络，适用于具有可变超边大小的同质和异构超图。对于基于节点邻接矩阵的方法，坐标矩阵最小化(CMM)算法在超网络节点邻接空间中交替进行非负矩阵分解和最小二乘匹配。CMM使用期望最大化算法对超边预测任务进行优化，例如预测有机体代谢网络的缺失反应。C3MM改进了CMM预测任意大小和多个域的超边，该预测基于他们制定和测试的团闭假设(clique
‑
closure hypothesis,CCH)。
[0012]有向超图的链式预测：有向超图上的链接预测研究还不是很成熟，大多数方法都倾向于在预测完超边中包含的节点后再预测超边的方向。NHP模型基于GCN模板建立了两个评分函数来预测超边及其方向，将一个超边划分为两个子超边，并利用它们的嵌入向量来计算方向评分函数。但是，由于超边的嵌入向量来源于节点嵌入向量的平均值，从而丢失了节点及其位置的信息，使得模型的性能难以令人满意。

技术实现思路

[0013]为了更好地完成这一任务，本专利技术提出了一个简单而有效的模型，有向超图预测的两步式框架，即TF
‑
DHP。它提出了一个由两个特定模块组成的模型:基于Tucker分解的超边预测模块和基于BiLSTM的方向推理模块。为了预测超边，本专利技术利用Tucker分解对超边进行建模，本专利技术对二元关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于两步式框架的有向超图链式预测方法，其特征在于，包括以下步骤：获取具有多个实体间关系的有向超图，其中超图的一条边涉及两个以上的实体；将有向超图输入神经网络模型进行两个阶段的训练，其中第一阶段的训练以节点的初始嵌入向量及其标签为输入，获取节点集中每个节点的嵌入向量后，利用基于Tucker分解的评分函数获得两种评分来评估超边是否存在，并使用二元交叉熵损失函数以最大限度地提高两者的差距，模型训练的目标是使已有超边的得分大于不存在超边的节点集的得分；如果超边存在，根据每个节点的方向标签将节点集分成两组，将有向超边中的节点根据标签分为头尾两部分，并按照特定的顺序输入到BiLSTM层；在第一阶段的模型训练完成后，获取更新后的核心张量和嵌入向量，并利用这些嵌入量初始化第二阶段的BiLSTM模型，BiLSTM模型包括两组端到端但方向相反的LSTM隐藏层，在正向隐藏层组的隐藏层中，逐个计算超边中的节点嵌入向量的状态，同时在下一隐含层中计算前一隐含层的状态，并将隐藏层状态馈入相应隐藏层的节点嵌入向量的计算中；计算出所有隐藏层之后，生成一个包含所有顺序信息的嵌入向量；同样的过程发生在反向隐藏层组中，得到两个不同的嵌入向量；将两个嵌入向量连接成一个向量，得到超边表示，然后将其发送到Softmax层以获得方向分数；基于BiLSTM的模型使用梯度下降法更新模型参数以及节点和关系的嵌入，对输入的新有向超图，输出新有向超图中超边的存在和/或推断存在的超边的方向。2.根据权利要求1所述的基于两步式框架的有向超图链式预测方法，其特征在于，所述有向超图是一个化学信息学或生物信息学中的有序对H＝(V,E)，其中V＝{v1，
…
，v
l
}为节点集合，l为节点个数，E包括一组有指向的超边：E＝{(h1,t1),(h2,t2),
…
,(h
m
,t
m
)}E中的每个元素分成两个分量，其中h
m
为第m个元素的头，t
m
为第m个元素的尾，超边的方向是从头到尾；有向超边预测的目标是根据给定节点的相关性预测缺失超边的存在性和关联方向。3.根据权利要求1所述的基于两步式框架的有向超图链式预测方法，其特征在于，根据每组节点的顺序不影响方向的特点，对每组节点随机排序，增加训练数据；保持两个组分的顺序，并随机洗牌同一个组分中的节点；生成的实例数量取决于每个组件拥有的节点数量；给所有生成的数据实例一个正确的标签，以强制BiLSTM利用方向的特性。4.根据权利要求1所述的基于两步式框架的有向超图链式预测方法，其特征在于，所述Tucker分解将高阶张量分解为一个核心张量和几个因子矩阵，具体形式表示如下：X＝(Ω,U
(1)
,U
(2)
,...,U
(k)
)＝Ω
×1U
(1)
×2U
(2)
...
×
k
U
(k)
其中，X表示原始张量，Ω表示核心张量，k表示X的模态数，(U
(1)
，
…
，U
(1)
)表示因子矩阵集合，数学符号k表示沿第k阶模的张量积，核心张量的维数每一阶都比原始张量的维数小，因此将核张量视为原始张量的降维表示。5.根据权利要求1所述的基于两步式框架的有向超图链式预测方法，其特征在于，存在一个节点数最多为n的超图，将其定义为(n+1)阶张量Y，将Y分解为一个核心张量和几个矩阵的模积：y＝Z<...

【专利技术属性】
技术研发人员：肖冠辰，赵翔，谭真，廖劲智，葛斌，汤俊，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：