一种基于三元组注意力及类型空间增强的实体对齐方法技术

本发明专利技术涉及一种基于三元组注意力及类型空间增强的实体对齐方法，所述实体对齐方法包括以下步骤：扩展知识图谱中实体的邻接关系，并获取知识图谱的拓扑结构信息；整体利用三元组所携带信息，在语义空间中使用三元组注意力获取语义空间整体三元组表示；利用类型空间的全局关系三元组对语义空间表示再次加强，形成类型空间加强的三元组融合表示；利用三元组融合表示对头尾实体注意力，分别形成头尾实体的表示并在头尾实体表示阶段相互加强，形成最终的实体表示，实现知识图谱的实体对齐。与现有技术相比，本发明专利技术避免了外部属性及空间变换带来的噪声，并且使用类型加强的三元组整体表示及头尾实体角色特征能更好地进行跨语种实体对齐。对齐。对齐。

【技术实现步骤摘要】
一种基于三元组注意力及类型空间增强的实体对齐方法


[0001]本专利技术涉及多语言和跨语种自然语言处理
，尤其是涉及一种基于三元组注意力与类型空间增强的跨语种实体对齐方法。

技术介绍

[0002]随着社会风险事件的持续发酵、扩散，事件及其元素信息逐渐呈现出跨语种、多领域交叉的特性，特别是移动互联网的兴起，使得社会风险事件的传播变得更加碎片化、分散化，使得对社会风险事件的感知和监管变得越发复杂。此外，由于不同领域的特异性使得相同要素在不同领域中有着不同的表征，且不同领域的知识被整合进不同的知识图谱中，跨领域跨语种的知识图谱往往包含着表征不一但语义相同的风险事件要素，因此，如何对跨领域跨语种的风险事件知识进行统一化表征是我们研究的关注重点，而跨知识图谱的实体对齐是事件统一表征的元素级研究重点。
[0003]跨语种的实体对齐始终是自然语言处理与知识融合的研究热点之一，目前的跨语种实体对齐方法以基于Embedding的表示方法为核心，可分为是否使用外部属性信息两大类型，不使用外部属性的方法主要包括1)基于TransE及其变体的实体对关系的翻译过程实现对实体的关注关系的更新，2)使用图神经网络(GNNs)及其变体融合知识图谱(KGs)的拓扑结构信息，试图反映出实体间的关联关系以加强对实体的表示。使用外部属性的方法多以融合实体名、实体描述等的外部语义加强对实体的表示，辅以拓扑结构的内部信息增强对实体的融合表示。
[0004]在这些已有的技术方案中，受限于一些领域的外部知识属性并不可用或并不可信，使得使用外部属性知识的方法无法适用于通用领域知识中。而在不使用外部属性知识的相关研究中，主要以实体表示关系再将关系映射到对实体的表示中，从而优化对实体的表示，然而这些方法中多是将三元组中的组件独立化，极少有对三元组的整体的表征，从而忽略了三元组内部头实体
‑
关系
‑
尾实体所存在的语义关系及类型三元组对语义的增强作用。因此，探索三元组内部关联，以整体三元组表征对齐知识也是本专利技术研究的重要问题。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三元组注意力及类型空间增强的实体对齐方法。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于三元组注意力及类型空间增强的实体对齐方法，所述实体对齐方法包括以下步骤：
[0008]扩展知识图谱中实体的邻接关系，并获取知识图谱的拓扑结构信息；
[0009]整体利用三元组所携带信息，在语义空间中使用三元组注意力获取语义空间整体三元组表示；
[0010]利用类型空间的全局关系三元组对语义空间表示再次加强，形成类型空间加强的
三元组融合表示；
[0011]利用三元组融合表示对头尾实体注意力，分别形成头尾实体的表示并在头尾实体表示阶段相互加强，形成最终的实体表示，实现知识图谱的实体对齐。
[0012]进一步的，所述扩展知识图谱中实体的邻接关系的步骤包括：
[0013]使用Glove词向量模型获取基于实体名的嵌入，并将每个知识图谱中关系扩展为原始关系、反转关系及自关系的组合。
[0014]进一步的，所述获取知识图谱的拓扑信息步骤包括：
[0015]采用图卷积神经网络表征实体间的拓扑结构，其计算方式如下：
[0016][0017]其中，表示实体邻接矩阵，I表示单位矩阵，表示的度矩阵，X
(l)
表示第l层实体表示；ReLU表示relu激活函数；
[0018]使用高速网络来均衡拓扑结构与原有实体特征，其计算方法如下：
[0019][0020][0021]其中，T(
·
)表示Highway网络的转换器，σ表示sigmod激活函数，W
(l)
,b
(l)
表示相关可训练参数。
[0022]进一步的，所述在语义空间中使用三元组整体注意力获取语义空间三元组表示：
[0023]在语义空间中将三元组语义表示看作整体，考虑三元组内部关系间的关联，将头实体、尾实体及三元组关系采用三元组注意力获取深层表示；并结合原三元组语义以保留三元组的特有关系，形成对三元组的语义空间表示。
[0024]进一步的，所述在语义空间中使用三元组注意力获取语义空间整体三元组表示的具体步骤包括：
[0025]对于一个特定三元组(e
i
,r,e
j
)，其中e
i
，e
j
分别表示关系为r的三元组的头尾实体，首先将头尾实体的拼接作为此特定三元组关系的初步表示，其表示方式如下：
[0026][0027]其中，e
i
，e
j
分别表示关系为r的三元组的头尾实体嵌入；||表示拼接操作；W
sr
,b
sr
表示全连接层参数；σ表示全连接层激活函数；
[0028]使用三元组注意力机制，获取语义空间中三元组的加强表示，具体表示方式如下：
[0029]头实体对三元组注意力计算如下：
[0030][0031][0032][0033]其中，W
h
,W
hT
分别表示头实体和三元组的注意力参数；h
r
表示三元组中含有固定关系r的头实体集合；表示特定三元组关系的初步表示；T
r
表示关系为r的三元组集合；表示三元组的头实体表示；
[0034]尾实体对三元组注意力计算如下：
[0035][0036][0037]其中，W
t
,W
tT
分别表示尾实体和三元组的注意力参数；t
r
表示三元组中含有固定关系r的尾实体集合；表示三元组的尾实体表示；
[0038]关系对三元组注意力计算如下：
[0039][0040][0041]其中，W
ij
,W
rT
分别表示三元组和关系的注意力参数；表示三元组的关系表示；
[0042]保留每个三元组本身所携带的表征自己特异性的特征，三元组特异性的注意力计算方式如下：
[0043][0044][0045]其中，W
sp
,b
sp
表示全连接层的参数；σ表示全连接层激活函数；表示关系为r的三元组的全局特征；为三元组(e
i
,r,e
j
)的全局特异性特征表示；
[0046]将原三元组特征表示与注意力获得的三元组表示融合，形成语义空间三元组表示，具体计算方式如下：
[0047][0048]其中，为三元组的头实体表示；为三元组的尾实体表示；为三元组的关系表示；为三元组的全局特异性特征表示；S
irj
为语义空间三元组表示。
[0049]进一步的，所述利用类型空间的全局关系三元组对语义空间表示再本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三元组注意力及类型空间增强的实体对齐方法，其特征在于，所述实体对齐方法包括以下步骤：扩展知识图谱中实体的邻接关系，并获取知识图谱的拓扑结构信息；整体利用三元组所携带信息，在语义空间中使用三元组注意力获取语义空间整体三元组表示；利用类型空间的全局关系三元组对语义空间表示再次加强，形成类型空间加强的三元组融合表示；利用三元组融合表示对头尾实体注意力，分别形成头尾实体的表示并在头尾实体表示阶段相互加强，形成最终的实体表示，实现知识图谱的实体对齐。2.根据权利要求1所述的一种基于三元组注意力及类型空间增强的实体对齐方法，其特征在于，所述扩展知识图谱中实体的邻接关系的步骤包括：使用Glove词向量模型获取基于实体名的嵌入，并将每个知识图谱中关系扩展为原始关系、反转关系及自关系的组合。3.根据权利要求1所述的一种基于三元组注意力及类型空间增强的实体对齐方法，其特征在于，所述获取知识图谱的拓扑信息步骤包括：采用图卷积神经网络表征实体间的拓扑结构，其计算方式如下：其中，A表示实体邻接矩阵，I表示单位矩阵，表示的度矩阵，X
(l)
表示第l层实体表示；ReLU表示relu激活函数；使用高速网络来均衡拓扑结构与原有实体特征，其计算方法如下：T(X
(l)
)＝σ(X
(l)
W
(l)
+b
(l)
)X
(l+1)
＝T(X
(l)
)
·
X
(l+1)
+(1
‑
T(X
(l)
))
·
X
(l)
其中，T(
·
)表示Highway网络的转换器，σ表示sigmod激活函数，W
(l)
,b
(l)
表示相关可训练参数。4.根据权利要求1所述的一种基于三元组注意力及类型空间增强的实体对齐方法，其特征在于，所述在语义空间中使用三元组整体注意力获取语义空间三元组表示：在语义空间中将三元组语义表示看作整体，考虑三元组内部关系间的关联，将头实体、尾实体及三元组关系采用三元组注意力获取深层表示；并结合原三元组语义以保留三元组的特有关系，形成对三元组的语义空间表示。5.根据权利要求4所述的一种基于三元组注意力及类型空间增强的实体对齐方法，其特征在于，所述在语义空间中使用三元组注意力获取语义空间整体三元组表示的具体步骤包括：对于一个特定三元组(e
i
,r,e
j
)，其中e
i
，e
j
分别表示关系为r的三元组的头尾实体，首先将头尾实体的拼接作为此特定三元组关系的初步表示，其表示方式如下：其中，e
i
，e
j
分别表示关系为r的三元组的头尾实体嵌入；||表示拼接操作；W
sr
,b
sr
表示全连接层参数；σ表示全连接层激活函数；
使用三元组注意力机制，获取语义空间中三元组的加强表示，具体表示方式如下：头实体对三元组注意力计算如下：头实体对三元组注意力计算如下：头实体对三元组注意力计算如下：其中，W
h
,W
hT
分别表示头实体和三元组的注意力参数；h
r
表示三元组中含有固定关系r的头实体集合；表示特定三元组关系的初步表示；T
r
表示关系为r的三元组集合；表示三元组的头实体表示；尾实体对三元组注意力计算如下：尾实体对三元组注意力计算如下：其中，W
t
,W
tT
分别表示尾实体和三元组的注意力参数；t
r
表示三元组中含有固定关系r的尾实体集合；表示三元组的尾实体表示；关系对三元组注意力计算如下：关系对三元组注意力计算如下：其中，W
ij
,W
rT
分别表示三元组和关系的注意力参数；表示三元组的关系表示；保留每个三元组本身所携带的表征自己特异性的特征，三元组特异性的注意力计算方式如下：式如下：其中，W
sp
,b
sp
表示全连接层的参数；σ表示全连接层激活函数；表示关系为r的三元组的全局特征；为三元组(e
i
,r,e
j
)的全局特异性特征表示；将原三元组特征表示与注意力获得的三元组表示融合，形成语义空间三元组表示，具体计算方式如下：
其中，为三元组的头实体表示；为三元组的尾实体表示；为三元组的关系表示；为三元组的全局特异性特征表示；S
irj
为语义空间三元组表示。6.根据权利要求1所述的一种基于三元组注意力及...

【专利技术属性】
技术研发人员：谭成翔，张智硕，赵雪延，杨敏，
申请(专利权)人：同济大学，
类型：发明
国别省市：