一种基于强化状态建模的知识图谱多跳推理方法技术

本发明专利技术公开了一种基于强化状态建模的知识图谱多跳推理方法，包括以下步骤：利用一组嵌入模型对知识图谱数据进行预训练，得到实体和关系的嵌入表示，并使用测试集评估各嵌入模型的预测性能，得到一组MRR指标；根据MRR指标计算模型权重，并对各嵌入模型进行排序，得到带权重的嵌入模型；根据带权重的嵌入模型，对每个查询计算对应的全局目标嵌入表示；根据全局目标嵌入表示，构建强化学习状态模型；对强化学习状态模型进行训练，并使用训练完成的强化学习状态模型进行知识图谱的推理补全工作，完成基于强化状态建模的知识图谱多跳推理。本发明专利技术解决了针对强化代理全局信息表征不足，在稀疏图谱上的推理缺乏依据，从而限制了模型链接预测性能的问题。接预测性能的问题。接预测性能的问题。

【技术实现步骤摘要】
一种基于强化状态建模的知识图谱多跳推理方法


[0001]本专利技术属于知识图谱补全
，具体涉及一种基于强化状态建模的知识图谱多跳推理方法。

技术介绍

[0002]近年来，知识图谱KG作为人类知识结构化表示的一种形式，在人工智能领域得到了广泛运用，为多样化的下游任务如问答、推荐和决策等提供了坚实基础。然而，随着对知识图谱KG研究的不断拓展，其固有的缺陷如不完整性和不充分性日益明显，这成为了限制知识图谱KG实际应用性能的关键因素。考虑到许多知识图谱是通过人工或者半自动方式构建的，因此，哪怕是大规模的知识图谱，其实体关系的挖掘程度仍然呈现稀疏特点。对于具有更丰富主题类型、更广泛应用场景的中小型或者领域知识图谱，稀疏性问题表现得更为突出。为此，行业从业者亟待找寻一种解决图谱稀疏性的方法。为了应对这一需求，知识图谱补全KGC技术，即链接预测技术应运而生。知识图谱补全KGC旨在对知识图谱中缺失的实体和关系进行预测，探究未知事实，从而尽量完善和丰富知识图谱的信息内容，这是提升知识图质量的关键手段。
[0003]最初，研究者采用基于嵌入的方法，通过将实体和关系映射到同一特征空间来进行知识图谱补全，但其预测结果缺乏解释性，并且无法对复杂关系路径进行建模。后来，基于路径的方法通过在图结构中添加路径信息进行编码，在一定程度上克服这个缺陷，然而受限于寻路随机性和路径爆炸的问题，其结果表现难以提高。最近，领域内逐步兴起了基于强化学习的多跳推理模型，该推理方法与人类推理过程和直觉相符，通过在知识图谱KG上进行有限步推理预测缺失的三元组，具有很强的可解释性。
[0004]尽管当前各种主流模型在状态建模的具体方法上存在细微差异，但它们基本上都遵循上述的框架模式，即将代理当前所处实体、寻路历史信息和全局查询信息三个嵌入进行拼接。这种状态建模方法虽然可以表示代理的当前情况，但却无法从全局信息出发有效地引导推理，导致代理在稀疏的图谱上缺乏推理依据，从而限制了模型的链接预测性能。

技术实现思路

[0005]本专利技术提供了一种基于强化状态建模的知识图谱多跳推理方法，解决了针对强化代理全局信息表征不足，在稀疏图谱上的推理缺乏依据，从而限制了模型链接预测性能的问题。
[0006]为了解决上述技术问题，本专利技术的技术方案为：一种基于强化状态建模的知识图谱多跳推理方法，包括以下步骤：
[0007]S1、利用一组嵌入模型对知识图谱数据进行预训练，得到实体和关系的嵌入表示，并使用测试集评估各嵌入模型的预测性能，得到一组MRR指标的集合MRRs；
[0008]S2、根据MRR指标，计算各个嵌入模型的模型权重，并按照嵌入模型的模型权重递减的顺序对各个嵌入模型进行重新排序，得到带权重的嵌入模型；
[0009]S3、根据带权重的嵌入模型，对每一个查询计算对应的全局目标嵌入表示；
[0010]S4、根据全局目标嵌入表示，构建强化学习状态模型；
[0011]S5、利用知识图谱对强化学习状态模型进行训练，并使用训练完成的强化学习状态模型进行知识图谱的推理补全工作，完成基于强化状态建模的知识图谱多跳推理。
[0012]本专利技术的有益效果是：本专利技术通过嵌入模型对知识图谱数据进行预训练，在不增加过多额外计算成本的前提下，计算得到全局目标嵌入表示，并拼接到强化学习模型中，从而指导代理进行寻路决策。因此，代理就可以参考预先计算得到的全局目标，并结合原本强化学习模型所学习得到的经验，综合做出更准确的多步推理决策，解决了针对强化代理全局信息表征不足，在稀疏图谱上的推理缺乏依据，从而限制了模型链接预测性能的问题。
[0013]所述步骤S2中计算各个嵌入模型的模型权重的公式为：
[0014][0015]其中，α
i
表示第i个嵌入模型的权重，MRR
i
表示第i个嵌入模型的MRR指标，k'表示集合内MRR元素的总个数。
[0016]上述进一步方案的有益效果为：嵌入模型的模型权重展示了每一个单独的嵌入模型对后续全局目标计算的贡献程度。对于预测性能良好的预测模型，其预测的答案实体更加准确，若以它为参考来构建全局目标，将会更为准确。
[0017]进一步地，所述步骤S3具体步骤为：
[0018]S31、将查询q输入至一组带权重的嵌入模型中，并通过每个带权重的嵌入模型分别对查询q进行预测，得到一组全局目标的集合Targets；
[0019]S32、将一组全局目标的集合Targets中的每个置信度分别乘上每个带权重嵌入模型对应的权重，将预测到相同答案实体的置信度累加，并将所有结果按照置信度递减的顺序排列，取前L个答案构成针对查询q的全局目标候选列表T0；
[0020]S33、利用置信度过滤器过滤掉全局目标候选列表T0中质量不优的答案，得到全局目标列表T1；
[0021]S34、基于全局目标列表T1，通过加权平均计算全局目标嵌入表示e
gt
。
[0022]上述进一步方案的有益效果为：通过带权重的嵌入模型，可以在不增加过多计算成本的前提下，为每一个查询计算预期的目标嵌入，从而补充到学习状态模型的全局信息中。此外，为了防止单一嵌入模型性能有限，会在一些情况对代理进行错误引导，因此采用了集成的组合模式，由多个嵌入模型共同生成。最后，为了防止置信度过低的劣质答案在全局目标表示生成时引入噪声，引入了置信度过滤器，来删除和最佳答案差距过多的实体。
[0023]进一步地，所述步骤S34中计算全局目标嵌入表示e
gt
的公式为：
[0024][0025]其中，e
gt
表示全局目标嵌入表示，N表示全局目标列表中的目标数量，e
i
表示第i个嵌入模型的答案实体的嵌入表示，p
i
表示由第i个嵌入模型输出的该实体对应的置信度。
[0026]进一步地，所述步骤S4具体步骤为：
[0027]S41、根据全局目标嵌入表示e
gt
，定义代理进行到第t个时间步时的状态；
[0028]S42、根据知识图谱定义行动空间，并基于行动空间进行代理；
[0029]S43、选取长短期记忆网络LSTM和全连接网络分别作为记忆网络和策略网络；
[0030]S44、在第t个时间步，由代理将状态输入至策略网络，并执行某个行动；
[0031]S45、在代理执行某个行动后，将代理移动到与这个行动连接的实体节点；
[0032]S46、定义代理的奖励值，完成学习状态模型的构建。
[0033]上述进一步方案的有益效果为：构建强化学习状态建模，从而表示代理在每一个时刻的状态，而每一个时刻的状态包含扩展的全局信息，有助于输入策略网络后进行寻路决策。
[0034]进一步地，所述步骤S41中定义代理进行到第t个时间步时的状态的表达式为：
[0035]s
t
＝(e
t
,h
t
,(e...

【技术保护点】

【技术特征摘要】
1.一种基于强化状态建模的知识图谱多跳推理方法，其特征在于，包括以下步骤：S1、利用一组嵌入模型对知识图谱数据进行预训练，得到实体和关系的嵌入表示，并使用测试集评估各嵌入模型的预测性能，得到一组MRR指标的集合MRRs；S2、根据MRR指标，计算各个嵌入模型的模型权重，并按照嵌入模型的模型权重递减的顺序对各个嵌入模型进行重新排序，得到带权重的嵌入模型；S3、根据带权重的嵌入模型，对每一个查询计算对应的全局目标嵌入表示；S4、根据全局目标嵌入表示，构建强化学习状态模型；S5、利用知识图谱对强化学习状态模型进行训练，并使用训练完成的强化学习状态模型进行知识图谱的推理补全工作，完成基于强化状态建模的知识图谱多跳推理。2.根据权利要求1所述的基于强化状态建模的知识图谱多跳推理方法，其特征在于，所述步骤S2中计算各个嵌入模型的模型权重的公式为：其中，α
i
表示第i个嵌入模型的权重，MRR
i
表示第i个嵌入模型的MRR指标，k'表示集合内MRR元素的总个数。3.根据权利要求1所述的基于强化状态建模的知识图谱多跳推理方法，其特征在于，所述步骤S3具体步骤为：S31、将查询q输入至一组带权重的嵌入模型中，并通过每个带权重的嵌入模型分别对查询q进行预测，得到一组全局目标的集合Targets；S32、将一组全局目标的集合Targets中的每个置信度分别乘上每个带权重嵌入模型对应的权重，将预测到相同答案实体的置信度累加，并将所有结果按照置信度递减的顺序排列，取前L个答案构成针对查询q的全局目标候选列表T0；S33、利用置信度过滤器过滤掉全局目标候选列表T0中质量不优的答案，得到全局目标列表T1；S34、基于全局目标列表T1，通过加权平均计算全局目标嵌入表示e
gt
。4.根据权利要求4所述的基于强化状态建模的知识图谱多跳推理方法，其特征在于，所述步骤S34中计算全局目标嵌入表示e
gt
的公式为：其中，e
gt
表示全局目标嵌入表示，N表示全局目标列表中的目标数量，e
i
表示第i个嵌入模型的答案实体的嵌入表示，p
i
表示由第i个嵌入模型输出的该实体对应的置信度。5.根据权利要求1所述的基于强化状态建模的知识图谱多跳推理方法，其特征在于，所述步骤S4具体步骤为：S41、根据全局目标嵌入表示e
gt
，定义代理进行到第t个时间步时的状态；S42、根据知识图谱定义行动空间，并基于行动空间进行代理；S43、选取长短期记忆网络LSTM和全连接网络分别作为记忆网络和策略网络；S44、在第t个时间步，由代理将状态输入至策略网络，并执行某个行动；S45、在代理执行某个行动后，将代理移动到与这个行动连接的实体节点；
S46、定义代理的奖励值，完成学习状态模型的构建。6.根据权利要求5所述的基于强化状态建模的知识图谱多跳推理方法，其特征在于，所述步骤S41中定义代理进行到第t个时间步时的状态的表达式为：s
t
＝(e
t
,h
t
,(e
s
,r
q
,e
gt
))其中，s
t
表示强化学习模型在第t个时间步下的状态，e
t
表示在第t个时间步时代理在知识图谱上的位置，h
t
表示在第t个时间步中代理经过长短期神经网络得到的历史决策信息，e
s
表示查询中的头实体，...

【专利技术属性】
技术研发人员：张栗粽，田玲，郑旭，尹晓宇，黄嘉豪，杨筠，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：