融合实体上下文和逻辑规则的知识推理方法技术

本发明专利技术提供了一种融合实体上下文和逻辑规则的知识推理方法，该方法包括实体上下文模块、逻辑规则模块和评分模块。实体上下文模块首先抽取目标三元组头尾实体的关系上下文，然后使用消息传递方式编码实体上下文为实体上下文向量。逻辑规则模块首先抽取目标三元组之间的路径，再根据路径得到逻辑规则，最后使用双向长短期记忆网络和规则注意力编码逻辑规则为规则向量。评分模块根据实体上下文向量、规则向量和目标关系向量对目标三元组评分。本发明专利技术在推理过程中融合了三元组周围的实体上下文和逻辑规则等结构信息，同时设计了基于注意力的方法编码逻辑规则，缓解了知识推理过程中结构信息利用不充分的问题，提高了在知识推理任务上的效果。理任务上的效果。理任务上的效果。

【技术实现步骤摘要】
融合实体上下文和逻辑规则的知识推理方法


[0001]本专利技术属于知识推理领域，尤其是涉及一种融合实体上下文和逻辑规则的知识推理方法。

技术介绍

[0002]知识图谱是谷歌公司于2012年提出的概念，被看作是一种反映客观世界的语义网络，其中蕴含丰富的关系模式，最初用来完善谷歌自身的搜索引擎。知识图谱往往被表述为<实体
‑
关系
‑
实体>或<实体
‑
属性
‑
属性值>的三元组形式，以<16舰
‑
搭载
‑
歼15>和<16舰
‑
完工时间
‑
2011年>为例，在第1个三元组中，头实体是“16舰”，尾实体是“歼15”，他们之间关系是“搭载”；第2个三元组中，实体是“16舰”，属性是“完工时间”，属性值为“2011年”。传统依赖人工的知识图谱构建方法不能很好地包含所有知识，同时存在噪声信息，导致图谱稀疏，并且可能存在错误三元组，大规模知识图谱YAGO通过抽样宣布其存在大约5％的错误三元组，因此需要对知识推理进行研究，从而识别知识图谱中的错误三元组，并挖掘潜在隐含三元组。
[0003]目前知识推理任务较为流行的模型可分为两大类。一类是基于表示学习的模型，其中比较有代表性的是TransE、DistMult等，这些模型往往先对知识图谱中的实体和关系进行特征表示，再利用表示后的结果进行知识推理。然而其也存在先天劣势，由于基于表示学习的推理方法往往是一个“黑盒”模型，获得推理后的结果但并不清楚具体的推理过程，导致可解释性较弱。另一类是基于逻辑规则的方法，其中比较有代表性的RuleN、Neural LP等，这些模型先从知识图谱中学习逻辑规则，然后利用学习到的逻辑规则进行推理。现有的基于逻辑规则的模型相比基于表示学习的模型具有可解释性，但仍然有以下不足：
[0004](1)规则编码方式较简单，不利于逻辑规则的充分利用。
[0005](2)只考虑规则特征未考虑三元组周围其他结构特征如实体上下文等。

技术实现思路

[0006]有鉴于此，本专利技术旨在提出一种融合实体上下文和逻辑规则的知识推理方法，以解决规则编码方式简单、未考虑实体上下文特征的问题，更好地建模结构特征，提升模型的整体效果。
[0007]为达到上述目的，本专利技术的技术方案是这样实现的：
[0008]一种融合实体上下文和逻辑规则的知识推理方法，是一种融合实体上下文和逻辑规则等三元组周围的结构特征进行知识推理的方法，包括：
[0009]实体上下文模块：该模块首先抽取目标头尾实体的实体上下文，然后使用消息传递编码实体上下文。
[0010]逻辑规则模块：该模块首先搜索目标头尾实体之间的所有路径，从路径中抽象出逻辑规则，接着把规则的关系向量输入BiLSTM，得到保存了顺序信息的关系向量，然后使用规则感知注意力聚合关系向量，最后基于置信度聚合逻辑规则。
[0011]评分模块：该模块聚合实体上下文向量、逻辑规则向量和目标关系向量对目标三元组评分。
[0012]进一步的，所述实体上下文模块中实体上下文指目标头尾实体n阶邻域内的关系类型和关系拓扑结构。首先抽取目标头尾实体的实体上下文，然后采用PathCon提出的消息传递方案进行实体上下文编码。边e的初始特征用e所属关系的特征向量表示为给定边的初始特征，通过迭代聚合来自其多跳邻居边的消息学习每个边的表示。在第i次迭代中，边的隐藏状态根据以下公式更新：
[0013][0014][0015]如公式(1)所示，对于每个节点v，将v连接的边的隐藏状态相加，得到消息其中N(v)表示节点相邻边的集合，N(e)表示边相邻节点的集合。在公式(2)中，聚合两个端点v和u以及e本身在第i次迭代的隐藏状态来计算e在第i+1次迭代时的隐藏状态。公式(2)中聚合操作被抽象为AGG
neighbor
(
·
)，其实现为：
[0016][0017]其中[
·
]表示连接操作，W
i
、b
i
和σ(
·
)表示参数矩阵、偏置和非线性激活函数。
[0018]使用上述消息传递方案计算目标头实体h
T
和目标尾实体t
T
的最终上下文消息和把和进一步聚合计算实体对(h
T
，t
T
)的上下文：
[0019][0020]其中，表示实体对(h
T
，t
T
)的实体上下文表示。
[0021]进一步的，所述逻辑规则模块中，考虑的逻辑路径规则形式为封闭路径规则。一条封闭路径规则r的形式为：
[0022]P1(x，z1)∧P2(z1，z2)∧...∧P
n
(z
n
‑1，y)
→
P
T
(x，y)
ꢀꢀꢀ
(5)
[0023]其中x，y和z是变量，P是关系，每个P(u，v)称为一个原子，u和v分别是P的头实体参数和尾实体参数。
[0024]实体对(h
T
，t
T
)之间的一条长度为3的路径形式为：
[0025]P1(h
T
，e1)，P2(e1，e2)，P3(e2，t
T
)
ꢀꢀꢀ
(6)
[0026]则该路径可看做规则P1(x，z1)∧P2(z1，z2)∧P3(z3，y)
→
P
T
(x，y)的实例化规则的规则体，且所有三元组都在知识图谱中，预测为目标三元组P
T
(h
T
，t
T
)。易知，目标三元组之间的所有路径即是所有预测为目标三元组P
T
(h
T
，t
T
)的实例化规则的规则体。因此首先搜索实体对(h
T
，t
T
)之间长度小于等于k的所有路径即预测为目标三元组的所有实例化规则的规则体，再把实例化规则中的实体用变量替代，合并相同的规则，则得到预测目标三元组P
T
(h
T
，t
T
)时规则体成立的所有长度小于等于k的规则。因为这组规则预测目标三元组P
T
(h
T
，t
T
)时规则体成立，所以可以利用这组规则和对应的规则置信度评估目标三元组P
T
(h
T
，t
T
)成立的概率。
[0027]主要从两个方面考虑建模规则，即规则体中关系的顺序和不同关系对规则的重要程度。首先把规则的关系向量输入BiLSTM，得到保存了顺序信息的关系向量，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合实体上下文和逻辑规则的知识推理方法，其特征在于：实体上下文模块：该模块首先抽取目标头尾实体的实体上下文，然后使用消息传递编码实体上下文；逻辑规则模块：该模块首先搜索目标头尾实体之间的所有路径，从路径中抽象出逻辑规则，接着把规则的关系向量输入BiLSTM，即Bidirectional Long Short
‑
Term Memory，得到保存了顺序信息的关系向量，然后使用规则感知注意力聚合关系向量，最后基于置信度聚合逻辑规则；评分模块：该模块聚合实体上下文向量、逻辑规则向量和目标关系向量对目标三元组评分。2.根据权利要求1所述的融合实体上下文和逻辑规则的知识推理方法，其特征在于：所述实体上下文模块采用PathCon所提出的消息传递方案，它首先利用边e所属关系的特征向量初始化边e的特征向量然后在第i次迭代中，聚合相邻边的信息得到边e的隐藏状态最后实体对的最终上下文消息得到实体对的上下文表示计算如公式(1)
‑
(4)所示：所示：所示：所示：其中N(v)表示节点相邻边的集合，N(e)表示边相邻节点的集合，[
·
]表示连接操作，W
i
、b
i
和σ(
·
)表示参数矩阵、偏置和非线性激活函数，表示实体对(h
T
,t
T
)的实体上下文表示。3.根据权利要求1所述的融合实体上下文和逻辑规则的知识推理方法，其特征在于：所述逻辑规则模块首先把规则的关系向量输入BiLSTM，得到保存了顺序信息的关系向量，然后使用规则感知注意力聚合...

【专利技术属性】
技术研发人员：王利琴，耿智雷，姚爽，李英双，董永峰，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：