基于分层强化学习的时序知识图谱多跳推理方法技术

本发明专利技术公开了一种基于分层强化学习的时序知识图谱多跳推理方法，包括：

【技术实现步骤摘要】
基于分层强化学习的时序知识图谱多跳推理方法


[0001]本专利技术涉及时序知识图谱
，具体涉及一种基于分层强化学习的时序知识图谱多跳推理方法
。

技术介绍

[0002]知识图谱是利用图结构来表示事物间的关系
。
它将事物抽象成图结构中的结点，将事物的关系抽象成连接这些结点的有向边
。
然而这些图谱中存在着大量一对多，多对多的关系类型，他们的数量远多于一对一的关系类型
。
这种类型的关系的大量存在将导致以关系和尾实体为组合的二元组动作空间发生空间爆炸
。
为了解决这一问题，现有方法中采取了限制动作空间的容量的办法，但是这个方法可能会将正确的预测目标排除在动作空间之外，从而降低模型的性能
。

技术实现思路

[0003]本专利技术的目的在于提供一种基于分层强化学习的时序知识图谱多跳推理方法，以有效缓解动作空间爆炸的问题
。
[0004]本专利技术解决上述技术问题的技术方案如下：
[0005]本专利技术提供一种基于分层强化学习的时序知识图谱多跳推理方法，所述基于分层强化学习的时序知识图谱多跳推理方法包括：
[0006]S1
：将输入问题进行实体关系抽取，得到时序知识图谱中的头实体和关系；
[0007]S2
：根据所述头实体和所述关系，利用分层框架推理模型对时序知识图谱的缺失信息进行路径推理，确定与所述输入问题最匹配的预测实体；
[0008]S3
：判断是否达到最大推理路径步数，若是，进入
S4
；否则，返回
S2
；
[0009]S4
：根据所述预测实体，利用奖励函数，计算奖励矩阵；
[0010]S5
：根据所述奖励矩阵调整所述分层框架推理模型的参数，优化推理模型选择策略，得到优化后的分层框架推理模型；
[0011]S6
：判断所述优化后的分层框架推理模型是否收敛，若是，进入
S7
，否则，返回
S1
；
[0012]S7
：根据用户输入问题，利用所述优化后的分层框架推理模型，得到与用户输入问题对应的推理结果
。
[0013]可选择地，所述
S2
包括：
[0014]S21
：根据所述关系，确定与所述头实体相关的初始历史信息；
[0015]S22
：根据所述头实体和当前推理步的历史信息，利用分层框架推理模型对时序知识图谱的缺失信息进行关系推理，得到关系推理结果；
[0016]S23
：根据所述头实体
、
所述当前推理步的历史信息和所述关系推理结果，确定与所述输入问题最匹配的预测实体
。
[0017]可选择地，所述
S22
包括：
[0018]S221
：根据所述当前推理步的历史信息，利用
LSTM
网络，生成历史路径编码；
[0019]S222
：根据所述关系和所述历史路径编码，生成关系推理状态；
[0020]S223
：根据所述关系推理状态，利用策略网络，生成当前推理步的预测关系；
[0021]S224
：将所述头实体的所有出边关系组成的集合作为关系动作空间；
[0022]S225
：计算所述预测关系和所述关系动作空间中每个候选关系的相似度；
[0023]S226
：根据所有相似度，确定与所述预测关系最匹配的候选关系，并将其作为关系推理结果输出
。
[0024]可选择地，所述
S223
中，
[0025]所述策略网络包括
MLP
网络，所述
MLP
网络包括两个全连接层和位于两个所述全连接层之间的
ReLU
激活函数层
。
[0026]可选择地，所述
S23
包括：
[0027]S231
：将所述当前推理步的历史信息和当前出发实体作为
LSTM
网络的输入，生成尾实体预测过程的历史路径编码；
[0028]S232
：根据所述头实体和所述尾实体预测过程中的历史路径编码，生成实体推理状态；
[0029]S233
：根据所述实体推理状态预测尾实体；
[0030]S234
：将所述当前出发实体经过所述关系推理结果能够到达尾实体所组成的集合作为尾实体动作空间；
[0031]S235
：计算所述预测尾实体和所述尾实体动作空间中每个候选实体的相似度；
[0032]S236
：根据所有相似度，确定与所述预测尾实体最匹配的候选尾实体；
[0033]S237
：将所述最匹配的候选尾实体作为与所述输入问题关系最匹配的预测实体输出
。
[0034]可选择地，所述
S4
中，所述奖励函数为：
[0035][0036]其中，
R
表示奖励函数，
e
p
表示预测出的尾实体，
e
qo
表示输入问题中的尾实体，
r
c
表示奖励因子，表示实体
e
和时间戳
t
的聚类对比结果的交集且
K
表示聚类操作，
e
P
表示推理路径的最终结果，就是终点实体，
e
qo
是目标终点实体，
K(e
P
)
表示对推理路径的最终结果进行聚类，其输出为聚类标签，
K(e
qo
)
表示对目标终点实体进行聚类，
K(e
P
)
＝＝
K(e
qo
)
表示对终点实体和目标终点实体的聚类标签进行比对，
I
表示二值化，返回的结果如果在同一聚类，经过二值化后表示为1，不在同一聚类的表示为0，
t
p
表示推理结果中的时间戳，
t
q
是目标时间戳，
K(t
p
)
表示对推理结果中的时间戳进行聚类，
K(t
q
)
表示对目标时间戳进行聚类，
K(t
p
)
＝＝
K(t
q
)
表示对推理结果中的时间戳和目标时间戳的聚类标签进行比对，表示实体
e
和时间戳
t
的聚类对比结果的交集
。
[0037]可选择地，所述
S5
中，根据所述奖励矩阵调整所述分层框架推理模型的参数包括：
[0038]所述分层框架推理模型的学习率
、
分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于分层强化学习的时序知识图谱多跳推理方法，其特征在于，所述基于分层强化学习的时序知识图谱多跳推理方法包括：
S1
：将输入问题进行实体关系抽取，得到时序知识图谱中的头实体和关系；
S2
：根据所述头实体和所述关系，利用分层框架推理模型对时序知识图谱的缺失信息进行路径推理，确定与所述输入问题最匹配的预测实体；
S3
：判断是否达到最大推理路径步数，若是，进入
S4
；否则，返回
S2
；
S4
：根据所述预测实体，利用奖励函数，计算奖励矩阵；
S5
：根据所述奖励矩阵调整所述分层框架推理模型的参数，优化推理模型选择策略，得到优化后的分层框架推理模型；
S6
：判断所述优化后的分层框架推理模型是否收敛，若是，进入
S7
，否则，返回
S1
；
S7
：根据用户输入问题，利用所述优化后的分层框架推理模型，得到与用户输入问题对应的推理结果
。2.
根据权利要求1所述的基于分层强化学习的时序知识图谱多跳推理方法，其特征在于，所述
S2
包括：
S21
：根据所述关系，确定与所述头实体相关的初始历史信息；
S22
：根据所述头实体和当前推理步的历史信息，利用分层框架推理模型对时序知识图谱的缺失信息进行关系推理，得到关系推理结果；
S23
：根据所述头实体
、
所述当前推理步的历史信息和所述关系推理结果，确定与所述输入问题最匹配的预测实体
。3.
根据权利要求2所述的基于分层强化学习的时序知识图谱多跳推理方法，其特征在于，所述
S22
包括：
S221
：根据所述当前推理步的历史信息，利用
LSTM
网络，生成历史路径编码；
S222
：根据所述关系和所述历史路径编码，生成关系推理状态；
S223
：根据所述关系推理状态，利用策略网络，生成当前推理步的预测关系；
S224
：将所述头实体的所有出边关系组成的集合作为关系动作空间；
S225
：计算所述预测关系和所述关系动作空间中每个候选关系的相似度；
S226
：根据所有相似度，确定与所述预测关系最匹配的候选关系，并将其作为关系推理结果输出
。4.
根据权利要求3所述的基于分层强化学习的时序知识图谱多跳推理方法，其特征在于，所述
S223
中，所述策略网络包括
MLP
网络，所述
MLP
网络包括两个全连接层和位于两个所述全连接层之间的
ReLU
激活函数层
。5.
根据权利要求2所述的基于分层强化学习的时序知识图谱多跳推理方法，其特征在于，所述
S23
包括：
S231
：将所述当前推理步的历史信息和当前出发实体作为
LSTM
网络的输入，生成尾实体预测过程的历史路径编码；
S232
：根据所述头实体和所述尾实体预测过程中的历史路径编码，生成实体推理状态；
S233
：根据所述实体推理状态预测尾实体；
S234
：将所述当前出发实体经过所述关系推理结果能够到达尾实体所组成的集合作为
尾实体动作...

【专利技术属性】
技术研发人员：邵杰，罗雪薇，王萌，朱安婕，张嘉昇，
申请(专利权)人：电子科技大学深圳高等研究院，
类型：发明
国别省市：