【技术实现步骤摘要】
一种基于关系路径与双层注意力的知识图谱嵌入方法
[0001]本专利技术涉及一种知识图谱嵌入方法，具体涉及一种基于关系路径与双层注意力的知识图谱嵌入方法。
技术介绍
[0002]知识图谱嵌入(Knowledge Graph Embedding，KGE)属于表示学习的范畴，关键思想是将实体和关系嵌入到低维连续的向量空间中，在保留知识图谱固有结构的同时简化操作，学到的嵌入表示可以进一步用于各种任务中，如知识库补全、推荐系统等。知识图谱表示学习领域已提出了大量相关模型，尽管已有的基于深度学习的KGE模型比浅层模型很大程度地提升了嵌入的表达能力，但仍然存在一些问题：(1)它们通过堆叠多个网络层传播高阶邻域内的信息，容易发生过度平滑，即模型过深时高阶邻域中的信息会剧减，从而无法充分提取知识图谱中的语义信息；(2)它们通常仅利用知识图谱中存在的三元组事实，并且往往只考虑实体之间的直接关系，忽略了“间接关系”的重要性。实际上实体之间存在着大量的多步路径，并且蕴含了丰富的推理模式；(3)知识图谱中的关系是至关重要的，但是以往模型通常利用权重矩...
【技术保护点】
【技术特征摘要】
1.一种基于关系路径与双层注意力的知识图谱嵌入方法，其特征在于，该方法依次包括以下顺序执行的步骤：步骤1.构建双层注意力编码器，包含三元组级别和路径级别，首先在三元组级别学习实体嵌入和关系嵌入，通过注意力机制计算三元组的权重系数后更新实体表示，以获取邻域内邻居节点对中心实体的不同影响，然后将学得的嵌入表示输入到下一层；然后在路径级别根据对应关系与路径之间的语义相似性筛选路径，紧接着基于三元组级别的嵌入建模路径表示，并通过注意力机制计算路径的权重后进一步更新关系嵌入，解码器进一步提取三元组和路径中的信息，并维持三元组的平移特性；步骤2.根据步骤1得到的嵌入表示，引入生成对抗网络对学得的嵌入表示施加正则化约束。2.根据权利要求1所述的基于关系路径与双层注意力的知识图谱嵌入方法，其特征在于，步骤1中所述双层注意力编码器基于图注意力网络构建，具体包括如下步骤：步骤1.1.在三元组级别，对GAT加以改进，在计算邻域中不同三元组对中心实体的影响时考虑关系：针对每个中心实体，首先在头实体、尾实体和关系的初始表示上执行线性转换，然后使用激活函数以确保注意力非负即获得每个三元组的嵌入表示：其中，和分别表示头实体、尾实体和关系的初始表示，σ表示激活函数，包括ReLU、LeakyReLU，ω1为线性转换矩阵，||表示拼接操作，即三元组的嵌入表示；步骤1.2.获得每个三元组的嵌入表示后按式(2)得到邻域内每个三元组的相对注意力系数：其中，α
hrt
是三元组(h,r,t)的注意力系数，h表示头实体，r表示关系，t表示尾实体，exp表示e的指数，ω2为线性转换参数矩阵，N
h
表示头实体h邻域内的所有实体，R
ht
即h和t之间的关系集合；步骤1.3.进一步使用多头注意力机制更新实体的嵌入表示：其中，M表示使用注意力机制的总次数，||表示拼接，是第m次注意力机制下的归一化注意力系数，表示第m次注意力机制下线性转换后的三元组嵌入表示，则是每个注意力层聚合更新后的实体表示；步骤1.4.在三元组级别的最后一层注意力网络上，采用平均操作聚合嵌入表示：
其中，表示用平均操作聚合嵌入表示后的实体表示；经过堆叠多层注意力后的实体嵌入表示矩阵为n为实体的邻域阶数，D为最终的嵌入维度，如式(5)所示：将初始的实体嵌入矩阵进行特征转换，聚合与转换后的实体嵌入得到最终的实体嵌入矩阵ω3为初始表示的权重矩阵：同时，在输入的关系嵌入上使用参数矩阵ω
R
更新表示：其中，表示更新后的关系嵌入，是输入的关系嵌入；步骤1.5.在路径级别，获取到知识图谱中的所有路径后，首先基于直接关系与对应路径之间语义相似性的方法筛选出可靠的路径，对于实体对(h,t)之间的任意一条路径p
i
＝{r1,r2,..,r
l
}，r
i
表示第i个关系，l表示路径p
i
中包含的关系数，首先根据输入的初始关系向量矩阵，采用加法操作建模路径表示：其中，是路径p
i
的嵌入表示，是第i个关系的嵌入表示；步骤1.6.在拼接路径表示与对应关系r的表示后执行线性变换，再使用激活函数σ计算路径p
i
的分数得到每条路径与关系的相似性得分其中δ为线性转换的参数矩阵：其中，是关系r的嵌入表示；得到每条路径与关系的相似性得分后，过滤掉分数小于阈值的路径即为最终参与训练的路径P
filter
＝{p1,p2,...,p
s
}，s为过滤后路径的数量；步骤1.7.得到最终参与训练的路径后，基于三元组级别学到的嵌入表示，进一步更新关系嵌入，在注意力层匹配实体对之间的直接关系和路径，按照式(9)(10)计算每条路径的相对注意力系数：相对注意力系数：其中，W，V为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。