一种基于仿射变换与偏置建模的知识图谱推理方法与系统技术方案

本发明专利技术公开了一种基于仿射变换与偏置建模的知识图谱推理方法与系统，其获取来自用户的问题(包含实体e和关系r)，输入训练好的知识图谱嵌入模型中，以得到预测结果。本发明专利技术给出了实体和关系的具体表示，将实体映射到实域空间，并为每个实体学习一个偏置，用以解决实体不确定性。将关系表示为两个向量，对解决实体不确定性后的头实体进行仿射变换。本发明专利技术通过引入偏置和仿射变换来对知识图谱进行建模表示，能够解决当前嵌入模型无法有效地学习和推理知识图谱中各种关系模式的问题，从而能够有效提升实体和关系的表示能力和知识图谱链接预测的准确性。预测的准确性。预测的准确性。

【技术实现步骤摘要】
一种基于仿射变换与偏置建模的知识图谱推理方法与系统


[0001]本专利技术属于知识图谱嵌入领域，更具体地，涉及一种基于仿射变换与偏置建模的知识图谱推理方法与系统。

技术介绍

[0002]知识图谱(Knowledge Graph,简称KG)是一个由事实三元组组成的多关系有向图。在一个三元组(h,r,t)中，我们分别用h和t表示头实体和尾实体，而r则是头实体和尾实体之间的关系。因此，在一个多关系的有向图中，头实体通过关系指向尾实体。近年来，研究人员构建了许多大规模的知识图谱，如WordNet、YAGO和Freebase，这些图谱捕捉了各个领域的知识。经过预处理，它们可以很好地用于自然语言处理(NLP)的各种下游任务，包括问题回答、推荐和对话系统等等。然而，由于现实的复杂性，知识图谱仍然缺乏大量的事实三元组，根据已知的事实三要元组推断实体之间缺失的链接的任务被称为链接预测，它已被广泛用于知识图谱完成(Knowledge Graph Completion,简称KGC)中。
[0003]链接预测的一个有效方法是知识图谱嵌入(Knowledge Graph Embedding，简称KGE)。它的关键思想是将KG中的实体和关系映射到一个连续的矢量空间，以简化操作，同时保留知识图谱的固有语义和结构。现有的知识图谱嵌入方法包括浅层语义模型方法和深度学习模型方法；针对基于浅层语义模型的主流方法而言，在初始化实体和向量之后，通过设计一个有效的评分函数，来充分地拟合各种关系模式，保证低复杂度也能得到更好的性能；针对基于深度学习的主流方法而言，通过引入卷积神经网络、注意力机制、图神经网络等优秀的模型，来捕捉实体和关系之间更加丰富的特征，然后使用有效的评分函数进行衡量。
[0004]然而，上述知识图谱嵌入方法仍然存在一些不可忽视的缺陷：现有的浅层语义模型虽然开始隐式或显式地对多种关系模式进行建模，但是它们都有局限性，不能将现有的关系模型都进行建模，导致精度偏低；基于深度学习的方法则需要大量的参数和非线性操作，复杂度过大，而且最终评分仍然依赖于浅层语义模型中设计的评分函数。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于仿射变换与偏置建模的知识图谱推理方法与系统，其目的在于，解决现有浅层语义模型由于无法将现有的关系模型都进行建模导致精度偏低的技术问题，以及现有基于深度学习的方法由于需要大量的参数和非线性操作，导致复杂度过大，并且最终评分仍然依赖于浅层语义模型中设计的评分函数的技术问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于仿射变换与偏置建模的知识图谱推理方法，包括以下步骤：
[0007](1)获取头实体h和关系r；
[0008](2)将步骤(1)得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表；
[0009](3)将步骤(2)得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与步骤(1)中得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。
[0010]优选地，知识图谱嵌入模型是通过以下方法训练得到的：
[0011](2
‑
1)获取知识图谱数据集，并将知识图谱数据集随机划分为训练集、验证集和测试集，每个知识图谱数据是由头实体h、关系r以及尾实体t组成的三元组(h，r，t)构成，所有实体构成实体集合E，所有关系构成关系集合R；
[0012](2
‑
2)对步骤(2
‑
1)得到的训练集中的实体集合E和关系集合R进行随机初始化，以获得每一个实体的嵌入表示和每一个关系的嵌入表示；
[0013](2
‑
3)将步骤(2
‑
2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入模型中，并使用基于自对抗负采样的方法对知识图谱嵌入模型中实体的嵌入表示和关系的嵌入表示进行迭代训练，直到该知识图谱嵌入模型收敛为止，从而得到训练好的知识图谱嵌入模型。
[0014](2
‑
4)根据步骤(2
‑
1)得到的知识图谱验证集对初步训练好的知识图谱嵌入模型进行验证，直到得到的基于自对抗负采样的最小化排名目标达到最优为止，从而得到训练好的知识图谱嵌入模型。
[0015]优选地，知识图谱数据集是公开的知识图谱数据集FB15k
‑
237、WN18RR或YAGO3
‑
10。
[0016]优选地，步骤(2
‑
2)中，每一个实体和每一个关系的嵌入表示的大小均为2d，d的取值范围为1～1000，每一个嵌入表示均满足均匀分布；其中，实体的前d维嵌入表示为e(h或者t)，后d维嵌入表示为该实体的偏置b
e
(b
h
或者b
t
)；而关系的前d维嵌入表示是该关系的权重w
r
，后d维嵌入表示是该关系的偏置b
r
；
[0017]优选地，步骤(2
‑
3)具体为：
[0018]首先，根据步骤(2
‑
2)得到的训练集中所有实体的嵌入表示和关系的嵌入构建打分函数：
[0019][0020]其中，h表示头实体h的嵌入表示，t表示尾实体t的嵌入表示，b
h
表示头实体h的偏置，b
t
表示尾实体t的偏置，w
r
表示关系r的权重的嵌入表示，b
r
表示关系r的偏置的嵌入表示，表示正则化操作，d
r
(h,t)表示头实体h、关系r以及尾实体t组成的三元组对应的分数。
[0021]随后，根据步骤(2
‑
1)中得到的训练集中所有三元组构成的三元组集合T构建负三元组集合T
′
：
[0022][0023]其中h
′
是从实体集合E中随机选择作为头实体、使得其与r、t构成的三元组不属于三元组集合T的一个实体；t
′
是从E中随机选择作为尾实体、使得其与h、r构成的三元组不属于三元组集合T的一个实体。
[0024]然后，根据负三元组集合T
′
和训练集中的三元组集合T使得基于自对抗负采样的损失函数L最小化，从而得到初步训练好的知识图谱嵌入模型。
[0025]优选地，损失函数L具体为：
[0026][0027]其中||
·
||2表示L2正则化，[
·
]表示向量之间的拼接操作，λ是正则项的惩罚因子，其取值范围是0到0.1，γ是边界值，其取值范围是1到24，e表示实体集合E中所有实体的嵌入表示，b
e
表示实体集合E中所有实体的偏置的嵌入表示，p(h
j
′
,r,t
j
′
)表示第j个(其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，包括以下步骤：(1)获取头实体h和关系r；(2)将步骤(1)得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表；(3)将步骤(2)得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与步骤(1)中得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。2.根据权利要求1所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，知识图谱嵌入模型是通过以下方法训练得到的：(2
‑
1)获取知识图谱数据集，并将知识图谱数据集随机划分为训练集、验证集和测试集，每个知识图谱数据是由头实体h、关系r以及尾实体t组成的三元组(h，r，t)构成，所有实体构成实体集合E，所有关系构成关系集合R；(2
‑
2)对步骤(2
‑
1)得到的训练集中的实体集合E和关系集合R进行随机初始化，以获得每一个实体的嵌入表示和每一个关系的嵌入表示；(2
‑
3)将步骤(2
‑
2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入模型中，并使用基于自对抗负采样的方法对知识图谱嵌入模型中实体的嵌入表示和关系的嵌入表示进行迭代训练，直到该知识图谱嵌入模型收敛为止，从而得到训练好的知识图谱嵌入模型。(2
‑
4)根据步骤(2
‑
1)得到的知识图谱验证集对初步训练好的知识图谱嵌入模型进行验证，直到得到的基于自对抗负采样的最小化排名目标达到最优为止，从而得到训练好的知识图谱嵌入模型。3.根据权利要求1或2所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，知识图谱数据集是公开的知识图谱数据集FB15k
‑
237、WN18RR或YAGO3
‑
10。4.根据权利要求1至3中任意一项所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，步骤(2
‑
2)中，每一个实体和每一个关系的嵌入表示的大小均为2d，d的取值范围为1～1000，每一个嵌入表示均满足均匀分布；其中，实体的前d维嵌入表示为e(h或者t)，后d维嵌入表示为该实体的偏置b
e
(b
h
或者b
t
)；而关系的前d维嵌入表示是该关系的权重w
r
，后d维嵌入表示是该关系的偏置b
r
。5.根据权利要求1或2所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，步骤(2
‑
3)具体为：首先，根据步骤(2
‑
...

【专利技术属性】
技术研发人员：宋勃升，苏祥，曾湘祥，
申请(专利权)人：湖南大学，
类型：发明
国别省市：