一种结合逻辑规则和碎片化知识的关系预测方法技术

本发明专利技术涉及一种结合逻辑规则和碎片化知识的关系预测方法。首先对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中；其次，结合碎片化知识，不断迭代更新，使得知识库变得越加完备。本发明专利技术对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中，实现更精准地预测。

A relationship prediction method combining logical rules and fragmented knowledge

【技术实现步骤摘要】
一种结合逻辑规则和碎片化知识的关系预测方法
本专利技术涉及一种结合逻辑规则和碎片化知识的关系预测方法。
技术介绍
在关系推理领域，以TransE[1]为代表的关系推理模型，因其简单而高效，同时具有良好的预测性能而成为近年来研究热点。TransE模型采用直接对知识库中的事实三元组(h,r,t)进行建模，其基本思路是将知识库中的实体和关系映射到一个低维连续向量空间中，从而简化知识库的相关计算。基本的表示学习模型虽然简单高效，但因仅仅考虑了知识库中的直接事实三元组(h,r,t)，而忽略了知识库中隐藏的语义信息，使得推理精度有限。近期的一些工作利用添加外部数据，比如实体类型、文本描述、逻辑规则等来进一步提升推理精度。文献[2]通过引入关系的定义域和值域来过滤掉一些错误样本，减少噪声数据对模型的影响。文献[3]则考虑向表示学习模型添加实体上下文信息，从而提升模型的语义表达能力。文献[4]通过对额外的文本信息和知识库中的直接事实三元组进行统一建模，从而提升其推理性能。文献[5]首先通过规则挖掘系统提取一组可表示知识库语义信息的Horn逻辑规则。随后通过基于规则的物化推理方法得到一组新的事实。文献[6]利用实体间存在的大量多跳关系路径来表示实体间的语义关系。随着互联网的快速发展，新的知识碎片也在源源不断地产生，知识库已不再是静态不变的。因此在应用关系推理技术实现知识库的自动化补全时，应该考虑知识库的动态增长情形。近年来，基于知识表示学习的关系推理获得了极大的关注。然而，大多数现有的知识表示学习方法仅仅使用事实三元组执行嵌入，忽略了知识网络中一些隐藏的语义信息，不仅使得学习到的向量不能准确的表达原知识库中的语义关系，而且不能充分利用碎片化知识所带来的价值。由此，本专利技术提出了一种结合逻辑规则和碎片化知识的关系预测方法。该方法首先对事实三元组和逻辑规则进行统一的建模，通过这种方式，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中。其次，结合碎片化知识，不断迭代更新，使得知识库变得越加完备，实现关系预测。
技术实现思路
本专利技术的目的在于提供一种结合逻辑规则和碎片化知识的关系预测方法，该方法对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中，实现更精准地预测。为实现上述目的，本专利技术的技术方案是：一种结合逻辑规则和碎片化知识的关系预测方法，首先对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中；其次，结合碎片化知识，不断迭代更新，使得知识库变得越加完备。在本专利技术一实施例中，该方法具体实现如下：第一阶段：对知识库中的直接事实三元组进行建模，得到知识库中所有实体和关系的向量表达，用于第三阶段计算规则间的语义关联度；第二阶段：通过规则挖掘算法挖掘出一组可代表知识库语义信息的逻辑规则；第三阶段：应用逻辑规则推理阶段，有两种方式：一是通过基于逻辑规则的物化推理，推理出新的事实并添加到知识库中，实现知识库的动态扩充；二是将事实三元组(h,r,t)中的关系r用逻辑规则取代表示，从而将逻辑规则嵌入到基于表示学习的关系推理模型中，h、t均表示实体；由于知识库中存在多条以关系r为规则头的推理规则，因此，提出以关系r为规则头的不同规则体与关系r之间语义关联度的方法；第四阶段：基于第一阶段至第三阶段三个阶段的输出作为第四阶段的输入，对事实三元组和逻辑规则进行统一建模，通过这一方式，将逻辑规则丰富的语义信息嵌入到基于表示学习的关系推理模型RTransE中，紧接着通过训练好的RTransE模型进行关系推理，实现对知识库的补全；第五阶段：结合动态知识碎片，不断迭代更新，使得知识库变得越加完备。在本专利技术一实施例中，第四阶段中，对事实三元组和逻辑规则进行统一建模的过程如下：给定一个三元组(h,r,t)，当三元组成立时，TransE模型满足以下关系：h+r≈t；在||h+r-t||1的基础上对三元组得分函数进行归一化改进，如下公式(1)所示：式(1)中D(h,r,t)＝||h+r-t||1为距离函数，可以很容易看出f(h,r,t)∈[0,1]，如果三元组成立，则f(h,r,t)应尽可能小，反之则尽可能大；该模型使用知识库中现有的事实三元组作为正例，随机替换头尾实体和关系产生的与知识库现有事实相矛盾的三元组作为负例进行训练，三元组建模损失函数如下公式(2)所示：式(2)中，S＝{s1,s2,...si,...sn}为事实三元组的集合，为正例三元组的集合，为负例三元组的集合，γ是表示一个可调整的超参数。在本专利技术一实施例中，第四阶段中，将逻辑规则丰富的语义信息嵌入到基于表示学习的关系推理模型RTransE的具体过程如下：嵌入逻辑规则联合表示的距离函数如下公式(3)所示：k为以关系r为规则头的第i条逻辑规则的规则体个数；Bi为第i条逻辑规则的规则体；如果逻辑规则能表示关系r的语义信息，则应尽可能接近于0，反之则尽可能大；嵌入逻辑规则的表示学习模型使用推理出的逻辑规则作为正例，随机替换规则头产生的与现有逻辑规则相矛盾的规则作为负例，逻辑规则的损失函数如下公式(4)所示：其中LR为逻辑规则的集合，为正例逻辑规则集合，为负例集合，γ是表示一个可调整的超参数，表示以关系r为规则头的第i条逻辑规则的置信度，表示以关系r为规则头的第i条逻辑规则与关系r的语义关联度；嵌入规逻辑规则的表示学习模型损失函数如下公式(5)所示：由式(5)可知，该模型损失函数由两部分组成，分别为知识库直接事实三元组距离函数和逻辑规则与关系r的距离函数。在本专利技术一实施例中，引入实体类型取代规则实例化中实体的嵌入表示将具有更强的预测性，因此：对式(1)中D(h,r,t)进行改进的结合实体类型的距离函数D(h,r,t,htype,ttype)，如下公式(6)所示：D(h,r,t,htype,ttype)＝||(h+htype)+r-(t+ttype)||1(6)式(6)中htype表示头实体h对应的实体类型，ttype表示尾实体t对应的实体类型；对式(2)的三元组建模损失函数进行改进的加入实体类型的三元组建模损失函数如下公式(7)所示式(7)中EL为实体类型标签集，实体标签集EL＝{El1,El2,...,Eln}，它表示可代表知识库中所有实体类别的标签集合，f(h,r,t,htype,ttype)为新的三元组得分函数，具体表示如下公式(8)所示：对式(3)进行改进的嵌入逻辑规则和实体类型联合表示的距离函数如下公式(9)所示：式(9)中Mie表示关系r的第i条规则的规则体的连接变量实体的类型向量相加；对式(4)进行改进的加入实体类型的逻辑规则损失函数如下公式(10)所示式(10)中Mie表示关系r的第i条规则的规则体的连接变量实体的类型向量相加；对式(5本文档来自技高网...

【技术保护点】
1.一种结合逻辑规则和碎片化知识的关系预测方法，其特征在于，首先对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中；其次，结合碎片化知识，不断迭代更新，使得知识库变得越加完备。/n

【技术特征摘要】
1.一种结合逻辑规则和碎片化知识的关系预测方法，其特征在于，首先对事实三元组和逻辑规则进行统一的建模，将隐藏的语义信息嵌入到基于知识表示的关系推理模型中；其次，结合碎片化知识，不断迭代更新，使得知识库变得越加完备。


2.根据权利要求1所述的一种结合逻辑规则和碎片化知识的关系预测方法，其特征在于，该方法具体实现如下：
第一阶段：对知识库中的直接事实三元组进行建模，得到知识库中所有实体和关系的向量表达，用于第三阶段计算规则间的语义关联度；
第二阶段：通过规则挖掘算法挖掘出一组可代表知识库语义信息的逻辑规则；
第三阶段：应用逻辑规则推理阶段，有两种方式：一是通过基于逻辑规则的物化推理，推理出新的事实并添加到知识库中，实现知识库的动态扩充；二是将事实三元组(h,r,t)中的关系r用逻辑规则取代表示，从而将逻辑规则嵌入到基于表示学习的关系推理模型中，h、t均表示实体；由于知识库中存在多条以关系r为规则头的推理规则，因此，提出以关系r为规则头的不同规则体与关系r之间语义关联度的方法；
第四阶段：基于第一阶段至第三阶段三个阶段的输出作为第四阶段的输入，对事实三元组和逻辑规则进行统一建模，通过这一方式，将逻辑规则丰富的语义信息嵌入到基于表示学习的关系推理模型RTransE中，紧接着通过训练好的RTransE模型进行关系推理，实现对知识库的补全；
第五阶段：结合动态知识碎片，不断迭代更新，使得知识库变得越加完备。


3.根据权利要求2所述的一种结合逻辑规则和碎片化知识的关系预测方法，其特征在于，第四阶段中，对事实三元组和逻辑规则进行统一建模的过程如下：
给定一个三元组(h,r,t)，当三元组成立时，TransE模型满足以下关系：h+r≈t；在||h+r-t||1的基础上对三元组得分函数进行归一化改进，如下公式(1)所示：



式(1)中D(h,r,t)＝||h+r-t||1为距离函数，可以很容易看出f(h,r,t)∈[0,1]，如果三元组成立，则f(h,r,t)应尽可能小，反之则尽可能大；
该模型使用知识库中现有的事实三元组作为正例，随机替换头尾实体和关系产生的与知识库现有事实相矛盾的三元组作为负例进行训练，三元组建模损失函数如下公式(2)所示：



式(2)中，S＝{s1,s2,...si,...sn}为事实三元组的集合，为正例三元组的集合，为负例三元组的集合，γ是表示一个可调整的超参数。


4.根据权利要求3所述的一种结合逻辑规则和碎片化知识的关系预测方法，其特征在于，第四阶段中，将逻辑规则丰富的语义信息嵌入到基于表示学习的关系推理模型RTransE的具体过程如下：
嵌入逻辑规则联合表示的距离函数如下公式(3)所示：



k为以关系r为规则头的第i条逻辑规则的规则体个数；Bi为第i条逻辑规则的规...

【专利技术属性】
技术研发人员：汪璟玢，张梨贤，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35