基于关系特定门过滤的开放世界知识补全方法及系统技术方案

本发明专利技术涉及一种基于关系特定门过滤的开放世界知识补全方法，包括以下步骤：步骤S1:通过关系感知注意力聚合器获得实体的文本嵌入，利用封闭世界知识补全模型获得实体的结构嵌入，并将文本嵌入通过关系特定门过滤的对齐模块对齐到结构空间；步骤S2:训练关系感知注意力聚合器、对齐函数和关系特定门中的参数;步骤S3:通过封闭世界知识补全模型对三元组进行评分，实现开放世界背景下的知识补全。本发明专利技术考虑关系对文本描述和实体的影响，优化实体的文本嵌入和实体嵌入，实现开放世界背景下的知识补全。识补全。识补全。

【技术实现步骤摘要】
基于关系特定门过滤的开放世界知识补全方法及系统


[0001]本专利技术涉及知识图谱补全领域，具体涉及一种基于关系特定门过滤的开放世界知识补全方法及系统。

技术介绍

[0002]目前大多数知识表示学习方法都只适用于封闭世界，其中，基于翻译的表示学习模型TransE是最基本和最广泛使用的模型，TransE将关系视为头实体到尾实体的一种平移变换，即，其中h、r、t分别是头实体、关系、尾实体的嵌入表示。基于平移思想，许多模型在TransE的基础上进行了扩展并获得了不错的性能，TransH通过引入关系超平面，将实体的向量投影到不同关系构成的超平面上，解决了TransE无法处理复杂关系的问题，TransR、TransD、TransG等模型思想类似，都是从不同的角度优化TransE。为了解决数据稀疏性问题，近年来有许多工作通过融合外部信息来增强实体表示，比如实体类型、关系路径和文本描述等，其中典型的模型有TKRL、PTransE和DKRL等。外部信息的引入能够获得更精确的实体表示，进一步提高知识表示的区分能力。
[0003]上述模型虽然在知识补全任务上取得了显著的成果，但是存在一个关键问题，即无法扩展到动态知识图谱中。现在大多数的知识图谱并不是静态不变的，而是会随着互联网数据量的增长，不断地添加新的实体和关系。如果使用上述的封闭世界知识补全模型，我们在加入新实体或关系时必须反复重新训练模型，否则无法获得新实体或关系的嵌入表示，更无法对它们进行预测。现如今互联网数据快速膨胀，知识图谱以更快的速度更新与扩张，反复重新训练模型显然是不切实际的。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于关系特定门过滤的开放世界知识补全方法及系统，考虑关系对文本描述和实体的影响，优化实体的文本嵌入和实体嵌入，实现开放世界背景下的知识补全。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于关系特定门过滤的开放世界知识补全方法，包括以下步骤：
[0007]步骤S1:通过关系感知注意力聚合器获得实体的文本嵌入，利用封闭世界知识补全模型获得实体的结构嵌入，并将文本嵌入通过关系特定门过滤的对齐模块对齐到结构空间；
[0008]步骤S2:训练关系感知注意力聚合器、对齐函数和关系特定门中的参数；
[0009]步骤S3:通过封闭世界知识补全模型对三元组进行评分，实现开放世界背景下的知识补全。
[0010]进一步的，所述步骤S1具体为：
[0011]步骤S11:将实体e的名称和描述进行编码得到文本向量v
e
，同时利用封闭世界的知识补全模型编码实体和关系的结构向量e和r；
[0012]步骤S12:文本向量v
e
通过对齐函数得到结构空间中的向量e
′
；其次，e和e
′
分别通过一个关系特定门和关系向量r作用，发掘特定关系下实体的共同特征，对相同关系下的头尾实体进行约束，得到优化后的实体嵌入e
r
和e
′
r
。
[0013]进一步的，所述编码包括结构向量编码和文本向量编码；所述结构向量编码，通过封闭世界的知识补全模型来学习知识库中实体和关系的结构向量；所述文本向量编码，具体为：对于一个实体e，将与之对应的实体名称和实体描述连接成一个单词序列W(e)＝(w
e,1
,w
e,2
,...,w
e,l
)，然后将单词序列W(e)通过单词嵌入层转换为一个单词嵌入序列(w
e,1
,w
e,2
,...,w
e,l
)。
[0014]进一步的，所述实体e的文本向量v
e
定义如下：
[0015][0016][0017]其中，σ表示激活函数,w
e,i
表示实体e的文本描述中第i个单词的嵌入，此外，z
r
表示关系特定的注意力参数，和和一样，都是通过学习得到。
[0018]进一步的，所述对齐函数包括两种对齐函数，具体如下
[0019]关系特定线性对齐函数：对于文本向量v
e
，首先经过一个不带偏置的线性变换，再将变换后的结果输入到双曲正切激活函数tanh()中，得到实体e在结构空间中的表示，计算过程如公式(4)所示：
[0020]e
′
＝Align(v
e
)＝tanh(W
r
·
v
e
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0021]其中，W
r
是特定于关系的变换矩阵；
[0022]关系特定仿射对齐函数：对于文本向量v
e
，首先经过一个全连接层，再将输出的结果输入到tanh()中，得到实体e在结构空间中的表示，计算过程如公式(5)所示：
[0023]e
′
＝Align(v
e
)＝tanh(W
r
·
v
e
+b
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0024]其中，W
r
是特定于关系的矩阵，b
r
是特定于关系的偏置。
[0025]进一步的，所述关系特定门过滤，具体为：
[0026]将实体的结构嵌入e和关系嵌入r进行拼接操作，经过一个全连接层后输入到门的sigmoid层中，让实体和关系充分交互；其次，将sigmoid激活后的输出与实体结构嵌入e相乘，实现关系特定信息的保留；特定于关系的实体嵌入定义如下：
[0027][0028]其中，W
e
是与实体e相关的权重矩阵，b
e
是与实体e相关的偏置，[；]表示连接操作,
⊙
表示哈达玛乘积操作，σ表示sigmoid激活函数；
[0029]与实体的结构嵌入类似，对齐后实体的文本嵌入e
′
也通过一个关系特定的门捕获其实体共性；最终得到特定于关系的文本嵌入为：
[0030][0031]其中，是与实体e相关的权重矩阵，是与实体e相关的偏置，[；]表示连接操作,
⊙
表示哈达玛乘积，σ表示sigmoid激活函数。
[0032]进一步的，所述步骤S2，具体为：
[0033]首先在封闭世界数据集上训练一个链路预测模型，得到实体的结构嵌入{e1,e2,...,e
n
}，经过关系特定门优化后获得特定于关系的结构嵌入{e
1r
,e
2r
,...,e
nr
}，然后，选择所有具有文本数据的实体{e1,e2,...,e
m
}，并利用关系感知注意力聚合器和关系特定门来生成特定于关系的文本嵌入{e
′
1r
,e本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关系特定门过滤的开放世界知识补全方法，其特征在于，包括以下步骤：步骤S1:通过关系感知注意力聚合器获得实体的文本嵌入，利用封闭世界知识补全模型获得实体的结构嵌入，并将文本嵌入通过关系特定门过滤的对齐模块对齐到结构空间；步骤S2:训练关系感知注意力聚合器、对齐函数和关系特定门中的参数；步骤S3:通过封闭世界知识补全模型对三元组进行评分，实现开放世界背景下的知识补全。2.根据权利要求1所述的基于关系特定门过滤的开放世界知识补全方法，其特征在于，所述步骤S1具体为：步骤S11:将实体e的名称和描述进行编码得到文本向量v
e
，同时利用封闭世界的知识补全模型编码实体和关系的结构向量e和r；步骤S12:文本向量v
e
通过对齐函数得到结构空间中的向量e
′
；其次，e和e
′
分别通过一个关系特定门和关系向量r作用，发掘特定关系下实体的共同特征，对相同关系下的头尾实体进行约束，得到优化后的实体嵌入e
r
和e
′
r
。3.根据权利要求1所述的基于关系特定门过滤的开放世界知识补全方法，其特征在于，所述编码包括结构向量编码和文本向量编码；所述结构向量编码，通过封闭世界的知识补全模型来学习知识库中实体和关系的结构向量；所述文本向量编码，具体为：对于一个实体e，将与之对应的实体名称和实体描述连接成一个单词序列W(e)＝(w
e,1
,w
e,2
,...,w
e,l
)，然后将单词序列W(e)通过单词嵌入层转换为一个单词嵌入序列(w
e,1
,w
e,2
,...,w
e,l
)，再利用关系感知注意力聚合器得到实体的文本嵌入。4.根据权利要求2所述的基于关系特定门过滤的开放世界知识补全方法，其特征在于，所述实体e的文本向量v
e
定义如下：定义如下：其中，σ表示激活函数,w
e,i
表示实体e的文本描述中第i个单词的嵌入，此外，z
r
表示关系特定的注意力参数，和和一样，都是通过学习得到。5.根据权利要求2所述的基于关系特定门过滤的开放世界知识补全方法，其特征在于，所述对齐函数包括两种对齐函数，具体如下关系特定线性对齐函数：对于文本向量v
e
，首先经过一个不带偏置的线性变换，再将变换后的结果输入到双曲正切激活函数tanh()中，得到实体e在结构空间中的表示，计算过程如公式(4)所示：e
′
＝Align(v
e
)＝tanh(W
r
·
v
e
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，W
r
是特定于关系的变换矩阵；关系特定仿射对齐函数：对于文本向量v
e
，首先经过一个全连接层，再将输出的结果输入到tanh()中，得到实体e在结构空间中的表示，计算过程如公式(5)所示：e
′
＝Align(v
e
)＝tanh(W
r
·
v
e
+b
r
)
ꢀꢀꢀꢀꢀꢀ
(5)
其中，W
r
是特定于关系的矩阵，b
r
是特定于关系的偏置。6.根据权利要求2所述的基于关系特定门过滤的开放世界知识补全方法，其特征在于，所述关系特定门过滤，具体为：将实体的结构嵌入e和关系嵌入r进...

【专利技术属性】
技术研发人员：汪璟玢，雷晶，
申请(专利权)人：福州大学，
类型：发明
国别省市：