一种引入实体类型自动化表示的知识图谱嵌入与推理方法技术

本发明专利技术公开了一种引入实体类型自动化表示的知识图谱嵌入与推理方法，包括定义三元组关于实体类型表示的能量函数，按照实体类型的语义相关性对头实体和尾实体的实体类型表示分别进行约束；对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示；联合建立评价函数，通过最小化评价函数，得到实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；联合实体类型表示的能量函数和实体表示的能量函数构建两阶段推理策略，实现知识图谱的推理。本发明专利技术对任何知识图谱都可自动学习出实体类型表示，能够过滤不满足三元组关于实体类型约束的实体，并能够建模和推理对称关系和复杂关系，提高了知识图谱推理的精度。

A knowledge map embedding and reasoning method with entity type automatic representation

【技术实现步骤摘要】
一种引入实体类型自动化表示的知识图谱嵌入与推理方法
本专利技术涉及自然语言处理和知识图谱
，更具体的说是涉及一种对于任何知识图谱都通用的引入实体类型自动化表示的知识图谱嵌入方法。
技术介绍
知识图谱以图结构存储和组织由实体和关系构成的知识，并能够根据需求提供查询和推理等功能，成为人工智能领域实现认知系统的重要技术之一。目前，知识图谱已在智慧公安、金融反欺诈和智能医疗等领域发挥重要作用。由于一般情况下构建的知识图谱规模巨大，不可避免会出现知识图谱信息不全的情况，例如一些三元组缺少其中的一个实体或关系，因此需要在知识图谱上进行推理补全缺失的知识。传统基于符号的方法的复杂度随着知识图谱的规模急剧增加，无法满足现有的大规模知识图谱的推理任务。知识图谱嵌入旨在将知识图谱中的实体和关系嵌入到低维向量空间，借助于低维向量表示的知识图谱推理具有较高的计算效率和泛化性能。如何得到对于任何知识图谱都通用的知识图谱向量表示并实现精确的推理任务是知识图谱嵌入的重点和难点，而仅利用三元组本身的信息来进行知识图谱嵌入难以准确表示知识图谱中实体和关系，需要学习更多的语义信息来辅助表示知识图谱并进行推理。同时，大多数知识图谱中存在对称关系和一对多，多对一和多对多的复杂关系，因此需要设计相应的知识图谱嵌入策略来解决这些问题。针对上述问题，国内外已有相关方法用于知识图谱嵌入。专利CN201911036820.5设计了一种基于隐式翻译模型的知识图谱嵌入方法，将关系表示为两层全连接神经网络，但这种方法仅考虑了单独的三元组信息，无法得到语义信息更加丰富的知识图谱表示，进一步影响知识图谱的推理性能；专利CN201610350225.9充分利用特定知识图谱中存在的具有层次结构的实体类型信息，使得实体通过关于不同实体类型的映射矩阵得到不同的表示，专利CN201510947068.5基于连续词袋模型和卷积神经网络构建实体描述的表示，然而，以上两种方法依赖于给定的实体类型或实体描述，无法适用于知识图谱中不存在实体类型和无法直接得到实体描述信息的情况，限制了这两种方法的通用性。因此，如何提供一种引入实体类型自动化表示的知识图谱嵌入与推理方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种引入实体类型自动化表示的知识图谱嵌入与推理方法，由于现有技术无法从不带有实体类型的知识图谱中得到实体类型表示，且难以同时解决对称关系和一对多，多对一和多对多的复杂关系的推理问题，本专利技术提供一种引入实体类型自动化表示的知识图谱嵌入与推理方法，针对任意存在或不存在实体类型的知识图谱，通过定义三元组分别关于实体类型表示和实体表示的能量函数，并按照实体类型间的语义相关性进行实体类型表示的语义约束，得到实体和关系的表示并自动学习实体类型表示，以提高知识图谱嵌入的性能和知识图谱推理的准确性。为了实现上述目的，本专利技术提供如下技术方案：一种引入实体类型自动化表示的知识图谱嵌入与推理方法，具体步骤如下：步骤一：针对任何知识图谱中的每个实体，利用三元组构建关于实体类型表示的能量函数；基于实体类型表示的能量函数，按照实体类型的语义相关性对三元组中头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；步骤二：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；步骤三：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；步骤四：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。优选的，所述步骤一的具体步骤为：针对任何知识图谱中的每个实体，无论知识图谱中是否已经给出其类型，都可以用向量来表示其类型，因此对于任意由头实体h，尾实体t和这二者之间的关系r组成的三元组(h,r,t)，定义三元组关于实体类型表示的能量函数E1(h,r,t)为：E1(h,r,t)＝||Mryh+yr-Mryt||其中，yh∈Rd，yr∈Rd，yt∈Rd分别是头实体h的实体类型，关系r和尾实体t的实体类型在实数空间下的表示，且均为维度为d的实值向量；Mr∈Rd×d是实体类型表示关于关系r的注意力权重矩阵，且维度是d×d的实数矩阵；当r为对称关系时，yr＝0，保证头实体和尾实体具有相同的实体类型表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系，通过不同的注意力权重矩阵Mr使其均能满足Mryh+yr＝Mryt的目标。基于步骤一中的实体类型表示，当两个实体同时作为知识图谱中两个三元组的头实体或尾实体时，如果对应相同的关系，则这两个实体类型具有更高的语义相关性，反之，这两个实体类型具有更低的语义相关性；因此对于两个三元组(h1,r1,t1)和(h2,r2,t2)，定义衡量这两个三元组中实体类型的语义相关度的能量函数E2((h1,r1,t1),(h2,r2,t2))为：其中，h1和h2为头实体，r1和r2为关系，t1和t2为尾实体；和分别是实体类型表示关于关系r1和关系r2的两个注意力权重矩阵；和分别为头实体h1和h2的实体类型表示，和分别为尾实体t1和t2的实体类型表示。优选的，所述步骤二的具体步骤为：为了提高实体的表示能力，并能够建模和推理对称关系，定义三元组(h,r,t)关于实体表示的能量函数E3(h,r,t)为：E3(h,r,t)＝||eh,rοr-et,r||,eh,r＝h-hΤwrh,et,r＝t-tΤwrt其中，h∈Ck，r∈Ck和t∈Ck分别为头实体h，关系r和尾实体t在复数空间下的表示，且均为维度为k的复数向量；wr∈Ck表示关于关系r的关系超平面；eh,r∈Ck和et,r∈Ck分别为头实体h和尾实体t投影到关系超平面wr的实体表示；ο表示哈达玛积，hΤ和tΤ分别表示实体表示h和t的转置；基于所述步骤二中的实体表示和关系表示，当建模和推理对称关系时，关系r在复数空间下的表示r的任何一个元素ri都应该满足ri＝±1,i＝1,2,...,k，并且至少有一个元素值为-1以保证头实体和尾实体具有不同的表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系的情况，通过不同的关系超平面wr使其均能满足eh,rοr＝et,r的目标。优选的，所述步骤三的具体步骤为：基于步骤一和步骤二分别得到的三个能量函数E1(h,r,t)，E2((h1,r1,t1),(h2,r2,t2))，E3(h,r,t)，构建基于边际的评价函数，具体公式如下所示：L1＝max[本文档来自技高网...

【技术保护点】
1.一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，具体步骤如下：/n步骤一：针对任何知识图谱中的每个实体，利用三元组构建关于实体类型表示的能量函数；基于实体类型表示的能量函数，按照实体类型的语义相关性对三元组中头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；/n步骤二：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；/n步骤三：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；/n步骤四：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。/n

【技术特征摘要】
1.一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，具体步骤如下：
步骤一：针对任何知识图谱中的每个实体，利用三元组构建关于实体类型表示的能量函数；基于实体类型表示的能量函数，按照实体类型的语义相关性对三元组中头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；
步骤二：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；
步骤三：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；
步骤四：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。


2.根据权利要求1所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤一中，针对任何知识图谱中的实体，利用由头实体h，尾实体t和这二者之间的关系r组成的三元组(h,r,t)，定义三元组关于实体类型表示的能量函数E1(h,r,t)为：
E1(h,r,t)＝||Mryh+yr-Mryt||
其中，yh∈Rd，yr∈Rd，yt∈Rd分别是头实体h的实体类型，关系r和尾实体t的实体类型在实数空间下的表示，且均为维度为d的实值向量；Mr∈Rd×d是实体类型表示关于关系r的注意力权重矩阵，且维度是d×d的实数矩阵；当r为对称关系时，yr＝0，保证头实体和尾实体具有相同的实体类型表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体之间存在多种不同关系的情况，通过关于不同关系的注意力权重矩阵Mr使其均满足Mryh+yr＝Mryt的目标；
基于实体类型表示，对于两个三元组(h1,r1,t1)和(h2,r2,t2)，如果这两个三元组具有相同的关系，则其中的两个头实体h1和h2或两个尾实体t1和t2具有更高的语义相似度，如果如果这两个三元组具有不同的关系，则其中的两个头实体h1和h2或尾实体t1和t2具有更低的语义相似度，定义衡量这两个三元组中实体类型的语义相关度的能量函数E2((h1,r1,t1),(h2,r2,t2))为：



其中，h1和h2为头实体，r1和r2为关系，t1和t2为尾实体；和分别是实体类型表示关于关系r1和关系r2的两个注意力权重矩阵；和分别为头实体h1和h2的实体类型表示，和分别为尾实体t1和t2的实体类型表示。


3.根据权利要求2所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤二中，定义三元组(h,r,t)关于实体表示的能量函数E3(h,r,t)为：

【专利技术属性】
技术研发人员：李波，牛广林，张永飞，李晶阳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11