一种基于交替归纳的知识图谱关系预测方法技术

本发明专利技术提出了一种基于交替归纳的知识图谱关系预测方法，其步骤如下：初始化知识图谱中每个实体的子图；使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。本发明专利技术通过在知识图谱中学习候选实体周围的子图来预测关系，避免学习嵌入任何特定实体，可以在推理阶段处理新的看不见的实体；通过学习单个子图中层级之间的潜在关联和不同子图之间的共性来预测推测未知实体之间的关系，提高了知识图谱关系预测的效果和效率，提高了知识图谱质量。提高了知识图谱质量。提高了知识图谱质量。

【技术实现步骤摘要】
一种基于交替归纳的知识图谱关系预测方法


[0001]本专利技术涉及知识图谱的
，尤其涉及一种基于交替归纳的知识图谱关系预测方法。

技术介绍

[0002]知识图谱是由三元组(头实体、关系、尾实体)组成的集合，它广泛应用于各种自然语言处理任务中，如自动问答、智能推荐和常识推理等等。然而，目前许多知识图谱存在不完整问题，尤其涉及实体之间的缺失关系。因此，越来越多的研究者致力于预测实体之间缺失的关系，并提出了许多方法。这些方法可以大致分为基于直推的方法和基于归纳的方法。
[0003]基于直推的方法指的是传统的知识图谱嵌入方法，可分为基于翻译的方法、基于语义匹配的方法、基于路径的方法、基于图的方法。尽管存在多种不同的形式，但基于直推的方法主要致力于学习知识图谱中实体和关系之间的匹配度分数。尽管许多基于直推的方法在预测实体之间的关系方面被证明是有效的，但它们需要费时费力的重新训练来推断未知实体之间的关系。而对于正在不断添加新实体的真实知识图谱来说，重新训练是不现实的。
[0004]与基于直推的方法不同，基于归纳的方法旨在学习实体的子图结构来推断知识图谱中实体之间的关系，其中一些实体在训练过程中可以是不可见的或未知的。比如，Teru等人提出GraIL方法来根据这两个节点周围的子图结构预测两个节点之间的关系。Xu等人提出SNRI方法通过全局方式将完整的关系信息纳入封闭的稀疏子图，来进行关系预测。Chen等人提出TACT方法来通过以实体独立的方式学习关系之间的拓扑感知相关性，来预测缺失的关系。然而，这些方法仅考虑了每层子图中的关系，而未考虑不同层次之间的前后向关联，因此失去了全局性。此外，上述方法仅仅提取两个子图的交集，并删除了独立的节点或远距离的节点，来建模子图之间的共性来预测关系，但通常情况下交集只占到两个子图中的很少部分，这忽略了子图中许多关系类型。

技术实现思路

[0005]针对现有知识图谱关系预测的方法需要重新训练，未考虑不同层次之间的前后向关联的技术问题，本专利技术提出一种基于交替归纳的知识图谱关系预测方法，能够预测知识图谱中实体之间缺失的关系，提高知识图谱关系预测的效果和效率，进而提高了知识图谱的质量。
[0006]为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于交替归纳的知识图谱关系预测方法，其步骤如下：
[0007]S1、初始化知识图谱中每个实体的子图；
[0008]S2、使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；
[0009]S3、使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；
[0010]S4、使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。
[0011]优选地，所述步骤S1中初始化每个实体的子图的方法为：从任意实体e的第一层邻域开始，随机采集最多N个关系邻居作为子图的第一层，并添加到子图中；与关系邻居连接的实体，采样每个实体的最多N个邻居关系作为子图的第二层并添加到子图中，以此类推，持续L次。
[0012]优选地，对于任意实体e，输出的子图为：其中，实体e∈{s,o}，s为头实体，o为尾实体，G
r
(e)是输出的子图，且子图的第i层是i∈[1,L]，{r1,r2,...,r
N
}表示第i层子图的N个关系。
[0013]优选地，所述子图序列化模型将子图G
r
(e)视为由状态组成的序列，在序列中，状态的前向层和后向层分别提供历史特征和未来特征，其中n∈[1,N]；将每个状态投影成向量即将状态中的每个关系都以所属关系类型的One
‑
hot向量表示；选择双向循环神经网络Bi
‑
GRU对序列中的状态编码先前的信息和后面的信息，捕获状态之间上下文依赖，子图G
r
(e)转化为状态序列。
[0014]优选地，所述子图G
r
(e)的状态序列为其中，状态序列中的第i个状态是双向循环神经网络Bi
‑
GRU的输出，Concat(
·
)是拼接操作；L为子图的总数；
[0015]且前向隐藏层状态序列和后向隐藏层状态序列分别为：
[0016][0017][0018][0019]其中，x
j
是子图中第j个关系r
j
的One
‑
hot向量表示，j∈[1,m]，并且m≤N是子图中关系的数量，是向量映射操作。
[0020]优选地，所述步骤S3的实现方法为：将头实体s和尾实体o的子图和输入至偏好强化模型中，得到子图和的共同偏好权重：
[0021][0022]其中，λ是平滑因子，用于平衡受偏好的共现关系与不受偏好的其他关系。当平滑因子λ越大，共同偏好权重越有利于共现关系，子图交集占的比重很大，平滑因子λ越小，共同偏好权重越有利于其他关系；
[0023]对于头实体s和尾实体o的子图，头实体s和尾实体o的第i层的受偏好的潜在子图表示为：
[0024][0025][0026]其中，和分别指的是头实体s和尾实体o的第i个状态的潜在节点表示。
[0027]优选地，使用交替聚合模型归纳头实体s和尾实体o的第i层子图，得到头实体s和尾实体o的归纳子图表示：
[0028][0029][0030][0031][0032][0033]其中，和分别表示第i次交替归纳时头实体s和尾实体o的潜在语义特征；和分别表示第i次迭代时头实体s和尾实体o的第i子图的归纳表示；和分别表示第i
‑
1次迭代时头实体s和尾实体o的第i子图的归纳表示；和分别表示第i
‑
1次交替归纳时头实体s和尾实体o的潜在语义特征；和为权重参数，b是偏置参数；δ(
·
)是Sigmoid激活函数，f(
·
)是元素级交互操作，(e
i
)
(1)
和(e
i
)
(d)
分别表示第i个实体e
i
的第1个维度和第d个维度。
[0034]优选地，将归纳子图进一步组合得到头实体s和尾实体o的得分为：
[0035][0036]其中，δ(
·
)是Sigmoid激活函数，W是权重参数，b是偏置参数；分别为第L次交替归纳时头实体s和尾实体o的潜在语义特征。
[0037]与现有技术相比，本专利技术的有益效果：首先提出了一个子图序列化模型，将实体的子图转换为由层级组成的层级序列，并使用双向循环神经网络Bi
‑
GRU对实体子图的层级序列进行编码，以建模子图的层次结构并捕获历史和未来特征。然后，提出了一个偏好强化模型，用于学习两个子图中每个关系的重要性，并为共享的关系赋予更高的权重；为避免过度偏好某些关系，偏好强化模型添加了平滑因子以平衡受偏好和不受偏好的关系。最终，为每个邻居本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交替归纳的知识图谱关系预测方法，其特征在于，其步骤如下：S1、初始化知识图谱中每个实体的子图；S2、使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；S3、使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；S4、使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。2.根据权利要求1所述的基于交替归纳的知识图谱关系预测方法，其特征在于，所述步骤S1中初始化每个实体的子图的方法为：从任意实体e的第一层邻域开始，随机采集最多N个关系邻居作为子图的第一层，并添加到子图中；与关系邻居连接的实体，采样每个实体的最多N个邻居关系作为子图的第二层并添加到子图中，以此类推，持续L次。3.根据权利要求2所述的基于交替归纳的知识图谱关系预测方法，其特征在于，对于任意实体e，输出的子图为：其中，实体e∈{s,o}，s为头实体，o为尾实体，G
r
(e)是输出的子图，且子图的第i层是{r1,r2,...,r
N
}表示第i层子图的N个关系。4.根据权利要求1
‑
3中任意一项所述的基于交替归纳的知识图谱关系预测方法，其特征在于，所述子图序列化模型将子图G
r
(e)视为由状态组成的序列，在序列中，状态的前向层和后向层分别提供历史特征和未来特征，其中n∈[1,N]；将每个状态投影成向量即将状态中的每个关系都以所属关系类型的One
‑
hot向量表示；选择双向循环神经网络Bi
‑
GRU对序列中的状态编码先前的信息和后面的信息，捕获状态之间上下文依赖，子图G
r
(e)转化为状态序列。5.根据权利要求4所述的基于交替归纳的知识图谱关系预测方法，其特征在于，所述子图G
r
(e)的状态序列为其中，状态序列中的第i个状态是双向循环神经网络Bi
‑
GRU的输出，Concat(
·
)是拼接操作；L为子图的总数；且前向隐藏层状态序列和后向隐藏层状态序列分别为：分别为：分别为：x
j
＝One<...

【专利技术属性】
技术研发人员：马江涛，周辰宇，王艳军，李祖贺，张秋闻，庾骏，李璞，李玉华，张勋才，马宇科，李霆，晋文朵，程佳，刘博，李坤霖，孙一帆，卫梦屹，付一龙，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：