基于多关系循环事件图注意力的时态知识图谱推理方法技术

本案涉及一种基于多关系循环事件图注意力的时态知识图谱推理方法，用于解决现有时态知识图谱推理时未充分考虑多关系场景下邻域信息对目标实体影响的差异性，导致对邻域特征的学习能力有限，从而对未来事件的预测能力不足的问题。本案在对多关系循环事件进行时态知识图谱推理时，不仅考虑相邻事件间的时序相关性，还利用多关系邻域聚合器融合目标实体的邻域信息，并在融合过程中使用注意力机制考虑多关系场景下不同邻居节点对目标节点的不同贡献，从而良好地解决了时态知识图谱外推问题。进一步地，本案还采用了单层图注意力网络对静态信息进行聚合构建静态约束信息，以提高事件预测准确性。预测准确性。预测准确性。

【技术实现步骤摘要】
基于多关系循环事件图注意力的时态知识图谱推理方法


[0001]本案涉及信息
，具体地说是基于多关系循环事件图注意力的时态知识图谱推理方法。

技术介绍

[0002]时态知识图谱(Temporal knowledge graph)从知识的时效性出发，将知识或事实与时间关联起来，其在静态知识图谱基本单元三元组(s,r,o)的基础上加入时间信息，形成四元组(s,r,o,t)，代表在时间戳t时，头实体s与尾实体o之间存在关系r，进而利用时态知识图谱对事实演变过程进行推理与预测。
[0003]时态知识图谱推理可看成实体间的多组关系在时间序列上的交互过程，即相同时刻发生的多组事件间有或强或弱的因果关系，相邻时刻间发生的事件间也有很强的依赖性。时态知识图谱推理方法主要分为内插和外推，给定时态知识图谱时间戳[t0,t
N
]，内插旨在对发生在[t0,t
N
]的事实进行补全，外推则是预测发生在给定时间之后的事实，旨在推理出(？,r,o,t)或(s,r,？,t)，其中t>t
N
。
[0004]陆续有学者从图谱结构与时序演化两个维度对时态知识图谱进行建模，从而进行推理预测。Trivedi等提出一种基于神经网络的知识图谱Know
‑
Evolve来学习实体在不同时刻的表示，并使用Rayleigh时序点过程来描述事件之间的影响，但在实体表示的更新过程存在不足；Jin等提出RE
‑
NET模型，使用循环事件编码器对历史事件进行编码，使用近邻编码器捕获同一时刻事件的关联特征，并利用联合概率分布对未来事件进行预测；Li等提出RE
‑
GCN模型，从并发事实间的结构相关性及邻近事实的时序关联性对时态知识图谱进行建模与推理；Zhu等基于时间感知复制生成机制，提出了一种融合两种推理模式的模型CyGNET，可以基于历史词汇或者整个实体词汇进行预测。
[0005]以上方法在聚合邻域信息时常用的聚合器(如均值聚合器、最大池化聚合器、R
‑
GCN等)未充分考虑多关系场景下邻域信息对目标实体影响的差异性，导致对邻域特征的学习能力有限，从而对未来事件的预测能力有限。

技术实现思路

[0006]为了解决现有技术中存在的上述问题，本案的技术目的在于从多关系场景下不同邻居节点对目标节点的影响存在差异出发，引入注意力机制对这种差异进行区分，以更好地捕获邻域信息，从而提高对未来事件的预测效果，并提出基于多关系循环事件的推理模型。
[0007]为实现上述技术目的，本案的技术方案如下。
[0008]第一方面，本案提出一种基于多关系循环事件图注意力的时态知识图谱推理方法，所述方法包括下述步骤：
[0009]根据待预测的四元组(s,r,？,t+1)或(s,？,o,t+1)，利用基于多关系循环事件的推理模型，从包括时间戳t在内过去m个历史时态知识图谱序列，计算使得四元组(s,r,o,t+1)
成立的条件概率向量p(o|s,r,G
t
‑
m+1:t
)及p(r|s,o,G
t
‑
m+1:t
)，其中：s为头实体，r为关系，o为尾实体，t为时间戳；
[0010]基于多关系循环事件的推理模型，由m个进化单元串联构成，每个进化单元对应一个时间戳，每个进化单元包括多关系近邻聚合器、时序事件编码器、解码器；其中：
[0011]多关系近邻聚合器，利用注意力机制区分近邻事实对目标事实的不同影响力，获取融合的近邻信息；
[0012]时序事件编码器，在考虑融合的近邻信息的基础上，学习历史事实的时序依赖性，得到演化特征；
[0013]解码器，基于演化特征，得到所有候选实体o或关系r，实现对应的实体预测或关系预测。
[0014]在上述技术方案的一种实施方式中，多关系近邻聚合器先根据不同关系聚合不同的节点信息，计算R
‑
GCN的特征：
[0015][0016]其中：关系其中：关系为与目标节点i相连的关系集合，为与目标节点i通过关系r相连的邻居节点，为来自上一层的自身特征，为与目标节点i通过关系r相连的邻居节点特征，为关系r下的参数矩阵，为可人为设置或学习的参数；
[0017]再根据使用多头注意力机制对R
‑
GCN的关系权重进行二次区分，学习事实间的关联性，包括下述步骤：
[0018]将目标节点i的向量v
i
通过关系下的查询矩阵Q
r
投影到查询向量中:
[0019][0020]目标节点的邻居节点的向量表示v
j
通过关系r下的键矩阵K
r
投影到键向量
[0021][0022]计算出目标节点i对邻居节点j在关系r的注意力得分得到第k个头的实体表示
[0023][0024][0025]其中a()为缩放点积注意力评分函数；
[0026]使用B个注意力生成各自独立的实体表示，再将其组合起来输出为一个向量，计算方式如下:
[0027][0028][0029][0030]其中：
[0031]为第k个注意头生成的向量，concat为拼接符号；
[0032]W用于将拼接后的向量转换为原始维数；
[0033]通过这种方式，得到t时刻经ω层编码器处理后带有近邻特征的新节点表示
[0034]在上述技术方案的一种实施方式中，时序事件编码器在t时刻输出的实体嵌入矩阵，由t时刻的静态知识图谱经近邻编码器捕获的邻域信息与t
‑
1时刻输出的实体嵌入矩阵共同确定；
[0035]时序事件编码器在t时刻输出的关系嵌入矩阵，由t时刻静态知识图谱的关系嵌入矩阵和t
‑
1时刻输出的关系嵌入矩阵共同决定。
[0036]在上述技术方案的一种实施方式中，时序事件编码器采用GRU网络实现，通过更新门z
t
设置历史事实信息进入当前状态的比例，通过重置门u
t
设置历史事实信息的遗忘比例。
[0037]在上述技术方案的一种实施方式中，基于多关系循环事件的推理模型在训练时，损失函数为：
[0038]L＝λ1L
e
+λ2L
r
+L
st
[0039]其中：
[0040]L
e
为实体预测损失，L
r
为关系预测损失，λ1、λ2为损失系数，L
st
为静态损失。
[0041]在上述技术方案的一种实施方式中，静态损失计算步骤包括：
[0042]从m个历史时态知识图谱序列中获取静态信息，对静态信息进行聚合后作为静态约束信息；
[0043]计算同一实体的进化嵌入信息和静态约束信息的角度θ
x
：
[0044]θ
x
＝min(γ...

【技术保护点】

【技术特征摘要】
1.一种基于多关系循环事件图注意力的时态知识图谱推理方法，其特征在于，所述方法包括下述步骤：根据待预测的四元组(s，r，？，t+1)或(s，？，o，t+1)，利用基于多关系循环事件的推理模型，从包括时间戳t在过去m个历史时态知识图谱序列，计算使得四元组(s，r，o，t+1)成立的条件概率向量p(o|s，r，G
t
‑
m+1：t
)及p(r|s，o，G
t
‑
m+1：t
)，其中：s为头实体，r为关系，o为尾实体，t为时间戳；基于多关系循环事件的推理模型，由m个进化单元串联构成，每个进化单元对应一个时间戳，每个进化单元包括多关系近邻聚合器、时序事件编码器、解码器；其中：多关系近邻聚合器，利用注意力机制区分近邻事实对目标事实的不同影响力，获取融合的近邻信息；时序事件编码器，在考虑融合的近邻信息的基础上，学习历史事实的时序依赖性，得到演化特征；解码器，基于演化特征，得到所有候选实体
o
或关系r，实现对应的实体预测或关系预测。2.根据权利要求1所述的方法，其特征在于：多关系近邻聚合器，先根据不同关系聚合不同的节点信息，计算R
‑
GCN的特征：其中：关系其中：关系为与目标节点i相连的关系集合，为与目标节点i通过关系r相连的邻居节点，为来自上一层的自身特征，为与目标节点i通过关系r相连的邻居节点特征，为关系r下的参数矩阵，为可人为设置或学习的参数；再根据使用多头注意力机制对R
‑
GCN的关系权重进行二次区分，学习事实间的关联性，包括下述步骤：将目标节点i的向量v
i
通过关系下的查询矩阵Qr投影到查询向量中目标节点的邻居节点的向量表示v
j
通过关系r下的键矩阵K
r
投影到键向量投影到键向量计算出目标节点i对邻居节点j在关系r的注意力得分得到第k个头的实体表示示
其中a()为缩放点积注意力评分函数；使用B个注意力生成各自独立的实体表示，再将其组合起来输出为一个向量，计算方式如下：如下：如下：其中：为第k个注意头生成的向量，concat为拼接符号；W用于将拼接后的向量转换为原始维数；通过这种方式，得到t时刻经ω层编码器处理后带有近邻特征的新节点表示3.根据权利要求1所述的方法，其特征在于：时序事件编码器在t时刻输出的实体嵌入矩阵，由t时刻的静态知识图谱经近邻编码器捕获的邻域信息与t
‑
1时刻输出的实体嵌入矩阵共同确定；时序事件编码器在t时刻输出的关系嵌入矩阵...

【专利技术属性】
技术研发人员：罗崔月，凌卫青，
申请(专利权)人：同济大学，
类型：发明
国别省市：