基于注意力机制的时序知识图谱推理方法、装置和设备制造方法及图纸

本申请涉及一种基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。所述方法包括：通过构建时序知识图谱中每个时间段的知识图谱快照，得到每个时间段内每个实体的邻域信息；通过邻域聚合器对多个实体的全部关系对应的邻域信息进行聚合，得到每个实体的邻域特征表示；通过基于注意力机制的时序事件编码器根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，进而有选择地关注历史信息的时间实体表示序列，得到目标实体在当前时刻由时序事件编码器更新后的隐向量表示；通过前馈神经网络和多分类层网络根据隐向量表示对时序事件编码器进行编码打分，实现时序知识图谱推理。识图谱推理。识图谱推理。

【技术实现步骤摘要】
基于注意力机制的时序知识图谱推理方法、装置和设备


[0001]本申请涉及知识图谱
，特别是涉及一种基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。

技术介绍

[0002]近年来，知识图谱(Knowledge Graph，KG)作为结构化的语义知识库，用符号形式化的方式描述物理世界中概念及其相互关系，成为学界和业界的研究热点。然后，随着时间的推移，新的知识可能来源于各种新闻媒体以及社交软件中快速产生且不断演化的数据，需要将其不断的添加到KG当中，进而反映随时间推移知识库的演化发展。因此，如何记录随时间变化的事实以及研究其变化的趋势，具有重要意义。上述背景下的数据驱动的时序KG的知识推理，可以更具现有的KG和实时掌握知识变化的趋势。现有的模型的推理大体都是根据需推断的时间之前的真实事实进行推理的，例如最新的外推时序推理的模型Know
‑
Evolve，和其扩展模型DyRep。这些方法可以持续推理未来事件图的事实，然而，却无法模拟循环事件的发生以及关键事实对未来事件的影响推断。Jin提出循环事件网络(Recurrent Event Network,RE
‑
NET)，能较好地解决现有动态图谱模型难以对多个时间点上高并发事件进行推理的问题，并对动态图谱在全时间域内的时间相关性进行建模，但是在历史推理依赖RNN及其变体LSTM及其变体来模拟历史演变规律，并依赖于多关系邻域聚合并发事件的实体表示。然而，尽管可以很好的解释历史发展变化的规律，但是这些方法不能正确的根据具体的预测问题解释与之相关的推理历史依据，而且缺乏面临长历史依赖时历史推理能力变差的问题。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提升时序知识图谱推理效果的基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。
[0004]一种基于注意力机制的时序知识图谱推理方法，所述方法包括：
[0005]获取待推理的时序知识图谱，根据所述时序知识图谱中知识的时间标注，构建每个时间段的知识图谱快照，并进一步得到每个时间段内每个实体的邻域信息；
[0006]通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；
[0007]将所述时序知识图谱中各个时间段各个实体的邻域特征表示输入基于注意力机制的时序事件编码器中；所述基于注意力机制的时序事件编码器根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，通过所述注意力权重矩阵有选择地关注历史信息的时间实体表示序列，得到所述目标实体在当前时刻由时序事件编码器更新后的隐向量表示；
[0008]通过前馈神经网络和多分类层网络根据所述隐向量表示对所述时序事件编码器进行编码打分，实现时序知识图谱推理。
[0009]在其中一个实施例中，还包括：通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；所述邻域聚合器为多关系邻域聚合器、注意力聚合器或平均池化聚合器；
[0010]所述多关系邻域聚合器的模型结构为：
[0011][0012]其中，表示所述多关系邻域聚合器输出的实体的邻域特征表示，表示实体s的关系r在时刻t的邻居节点集合，c
s
表示实体s的在图中边的数量，用来作为归一化因子，l表示当前聚合器的层数，W
r
表示实体o和s之间与关系相关的可训练参数，W
o
表示实体s自循环的可训练参数，h
o
，h
s
分别表示实体o，s的嵌入向量通过多关系聚合器得到的中间层数的隐表示；
[0013]所述注意力聚合器的模型结构为：
[0014][0015]其中，表示所述注意力聚合器输出的实体的邻域特征表示，a
o
＝softmax(v
T
tanh(W(e
s
:e
r
:(h
o
+h
r
))))，e
s
表示当前预测实体嵌入向量，e
r
表示当前预测关系r的嵌入向量，h
r
表示实体e
s
和e
r
邻域信息对应的关系向量，e
o
表示实体o的可嵌入向量表示，softmax(
·
)为归一化指数函数，v
T
表示权值，W(
·
)表示可训练参数，tanh(
·
)表示tanh激活函数；
[0016]所述平均池化聚合器的模型结构为：
[0017][0018]其中，表示所述平均池化聚合器输出的实体的邻域特征表示。
[0019]在其中一个实施例中，还包括：获取目标实体在当前t时刻的邻域特征表示g
i,t
；
[0020]获取所述目标实体在每个时间步长历史时刻的邻域特征表示g
i,t
′
，t
′
∈{t
‑
τ,
…
,t}；
[0021]根据g
i,t
和g
i,t
′
确定包含多头信息的注意力权重矩阵，并进一步确定所述目标实体在当前t时刻由时序事件编码器更新后的隐向量表示：
[0022][0023]e
ij
＝q
ij
‑
(λ
z
Δt+b
z
)+M
ij
[0024][0025][0026]其中，W
q
,W
k
,表示预设的线性投影矩阵，表示包含多头信息的注意力矩阵权重，矩阵是掩码矩阵，Δt＝T
‑
t
′
，Δt为当前事件发生时间和预测任务时间的时间差，T表示当前预测任务对应的时间，|E|表示实体集合，q
ij
表示实体j对于实体i的注意力分布值，d表示输入信息的维度，λ
z
表示历史隐表示随时间衰减参数，b
z
表示衰减偏置，i,j,k为时间索引，j,k∈t
′
，h
i,t
为所述目标实体在当前t时刻由时序事件编码器更新后的隐向量表示。
[0027]在其中一个实施例中，还包括：通过前馈神经网络对实体及关系在当前t时刻由时序事件编码器更新后的隐向量表示进行解码；
[0028]通过softmax激活函数输出需要预测的实体或关系的概率分布。
[0029]在其中一个实施例中，还包括：根据实体的所述隐向量表示，得到关于实体历史信息的全局信息和局部信息；
[0030]根据所述全局信息和所述局部信息通过前馈神经网络和多分类层网络根据所述隐向量表示对所述时序事件编码器进行编码打分，实现时序知识图谱推理。
[0031]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的时序知识图谱推理方法，其特征在于，所述方法包括：获取待推理的时序知识图谱，根据所述时序知识图谱中知识的时间标注，构建每个时间段的知识图谱快照，并进一步得到每个时间段内每个实体的邻域信息；通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；将所述时序知识图谱中各个时间段各个实体的邻域特征表示输入基于注意力机制的时序事件编码器中；所述基于注意力机制的时序事件编码器用于根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，通过所述注意力权重矩阵有选择地关注历史信息的时间实体表示序列，得到所述目标实体在当前时刻由时序事件编码器更新后的隐向量表示；通过前馈神经网络和多分类层网络根据所述隐向量表示对所述时序事件编码器进行编码打分，实现时序知识图谱推理。2.根据权利要求1所述的方法，其特征在于，通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示，包括：通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；所述邻域聚合器为多关系邻域聚合器、注意力聚合器或平均池化聚合器；所述多关系邻域聚合器的模型结构为：其中，表示所述多关系邻域聚合器输出的实体的邻域特征表示，表示实体s的关系r在时刻t的邻居节点集合，c
s
表示实体s的在图中边的数量，用来作为归一化因子，l表示当前聚合器的层数，W
r
表示实体o和s之间与关系相关的可训练参数，W
o
表示实体s自循环的可训练参数，h
o
，h
s
分别表示实体o，s的嵌入向量通过多关系聚合器得到的中间层数的隐表示；所述注意力聚合器的模型结构为：其中，表示所述注意力聚合器输出的实体的邻域特征表示，a
o
＝softmax(v
T
tanh(W(e
s
:e
r
:(h
o
+h
r
))))，e
s
表示当前预测实体嵌入向量，e
r
表示当前预测关系r的嵌入向量，h
r
表示实体e
s
和e
r
邻域信息对应的关系向量，eo表示实体o的可嵌入向量表示，softmax(
·
)为归一化指数函数，v
T
表示权值，W(
·
)表示可训练参数，tanh(
·
)表示tanh激活函数；所述平均池化聚合器的模型结构为：其中，表示所述平均池化聚合器输出的实体的邻域特征表示。3.根据权利要求2所述的方法，其特征在于，将所述时序知识图谱中各个时间段各个实
体的邻域特征表示输入基于注意力机制的时序事件编码器中；所述基于注意力机制的时序事件编码器根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，通过所述注意力权重矩阵有选择地关注历史信息的时间实体表示序列，得到所述目标实体在当前时刻由时序事件编码器更新后的隐向量表示，包括：获取目标实体在当前t时刻的邻域特征表示g
i,t
；获取所述目标实体在每个时间步长历史时刻的邻域特征表示g
i,t
′
，t
′
∈{t
‑
τ,
…
,t}；根据g
i,t
和g
i,t
′
确定包含多头信息的注意力权重矩阵，并进一步确定所述目标实体在当前t时刻由时序事件编码器更新后的隐向量表示：e
ij
＝q
ij
‑
(λ
z
Δt+b
z
)+M
ijij
其中，W
q
,W
k
,表示预设的线性投影矩阵，表...

【专利技术属性】
技术研发人员：张骁雄，杨琴琴，刘浏，刘姗姗，田昊，丁鲲，蒋国权，刘茗，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：