一种基于注意力机制的知识图谱嵌入方法技术

本发明专利技术公开一种基于注意力机制的知识图谱嵌入方法，包括以下步骤：(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。利用本发明专利技术能更好的处理以前算法不能很好处理的复杂关系，如一对多，多对一和多对多的关系，得到的实体向量能很好的反应类别信息，并且在关系判断时可以将注意力集中在与关系相关的部分维度上，提高判断的准确性。

A knowledge map embedding method based on attention mechanism

The invention discloses an embedding method of knowledge atlas based on attention mechanism, which includes the following steps: (1) input the data set of knowledge atlas to be completed, initialize the data set of knowledge atlas based on attention mechanism; (2) update the embedding representation based on attention mechanism, and obtain the embedding representation result and attention machine. Making parameters; (3) completing the knowledge map data set according to the embedded representation result and the attention mechanism parameter. The method can better deal with complex relationships that previous algorithms can not deal with very well, such as one-to-many, many-to-one and many-to-many relationships, and the obtained entity vectors can well reflect the category information, and can focus on some dimensions related to the relationship when judging the relationship, so as to improve the accuracy of judgment.

【技术实现步骤摘要】
一种基于注意力机制的知识图谱嵌入方法
本专利技术涉及知识图谱嵌入领域，具体涉及一种基于注意力机制的知识图谱嵌入方法。
技术介绍
知识图谱是由实体作为节点和关系作为边构成的有向图。通常，一个知识图谱会编码数百万个实体的结构化信息和数十亿个关系事实。但这样还不够完备，需要对知识图谱进行补全。知识图谱补全的目的就是根据现有的知识图谱中的信息来预测没有边连接的实体之间是否存在关系，即连接预测。一类知识图谱补全的方法是基于嵌入的，这类方法会将知识图谱中的每个对象编码成一个连续空间中的向量。最近这类方法在知识图谱补全上展现出了强大的效果。因此这种方法变得越来越流行。在这类方法中，基于转化的方法因为简单和有效大受青睐。他们有着目前最好的连接预测表现。在2013年的国际机器学习顶级会议Advancesinneuralinformationprocessingsystems中，论文《Translatingembeddingsformodelingmulti-relationaldata》，第2787页到第2795页公开了一种叫TransE的基于转化的方法，它受到最近大获成功的词嵌入方法的启发，将实体和关系分别嵌入到向量空间当中。对于一个三元组(h，r，t)，它表示头实体h与尾实体t具有关系r。基于转化的方法的基本思想是这个三元组会诱导一个嵌入的向量空间中的函数关系，例如h+r≈t。由于TransE模型不能很好的解决一对多、多对一和多对多的关系，研究者们陆续提出了一系列工作来弥补它的缺点，比如TransH，TransR和TranSparse。在2014年的国际人工智能顶级会议AssociationfortheAdvancementofArtificialIntelligence中，论文《KnowledgeGraphEmbeddingbyTranslatingonHyperplanes》，第1112页到第1119页公开了一种叫TransH的知识图谱嵌入方法。它通过引入关系相关的投影向量和并将实体投影到关系相关的超平面上来解决问题。然而不同的关系可能只关注实体的部分属性，在2015年的国际人工智能顶级会议AssociationfortheAdvancementofArtificialIntelligence中，论文《Learningentityandrelationembeddingsforknowledgegraphcompletion》，第2181页到第2187页公开了一种叫TransR的知识图谱嵌入方法，它通过引入关系相关的变换矩阵并将实体向量转换到不同的关系空间来解决问题。除此之外，关系还具有异质性，在2015年的国际人工智能顶级会议AssociationfortheAdvancementofArtificialIntelligence中，论文《Knowledgegraphcompletionwithadaptivesparsetransfermatrix》，第985页到第991页公开了一种叫TranSparse的知识图谱嵌入方法，它通过引入更加复杂的关系相关的变换矩阵来解决这个问题。尽管这些工作也有提到不同的关系可能只关注实体的几个不同的属性，并采用与关系相关的实体嵌入来使不同的关系在不同的空间中计算转化结果，但它们实际上并没做到不同的关系只关注实体的几个不同的属性。即之前的工作都不存在真正意义上的注意力机制。但实际上和某个关系相关的只是实体的部分属性，比如判断(司机，的工作是，种地)和(农民，的工作是，种地)这两个三元组我们只用关注司机和农民的职业技能属性，不用关注他们的平均收入等属性。能不能将模型的注意力集中在这些相关属性上是知识图谱补全中的一个重要问题。
技术实现思路
本专利技术提供了一种基于注意力机制的知识图谱嵌入方法，通过注意力机制每个关系可以只关注实体与该关系相关的部分属性，从而排除无关属性的干扰，提高知识图谱补全的准确度，学到更好的知识图谱嵌入表示。一种基于注意力机制的知识图谱嵌入方法，包括以下步骤：(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。步骤(1)中，所述初始化的具体步骤为：(1-1)随机初始化数据集中所有的关系与实体对应的向量，得到初始的关系向量与实体向量。(1-2)对于每个关系向量r，将出现在训练条目头部的实体加入到头实体集合SHr，将出现在训练条目尾部的实体加入到尾实体集合STr。(1-3)将每个关系向量r的头实体集合SHr与尾实体集合STr分别加入到候选头实体集合Hr与候选尾实体集合Tr，将候选头实体集合Hr和候选尾实体集合Tr初始化为整个实体集合E。初始化的时候不知道实体的类别信息，所以认为整个头实体集合SHr都为候选头实体集合Hr，整个尾实体集合STr都为候选尾实体集合，之后在注意力机制更新部分会更新Hr和Tr。(1-4)将每个关系r的注意力向量ar初始化为每一维都是1的向量。知识图谱里的每一个词条都是文本或者其他不能做运算的形式，嵌入就是把它们映射到一个多维实数空间中，表示成一个向量。这个向量就是那个词条的嵌入表示。步骤(2)中，所述基于注意力机制对嵌入表示进行更新的具体步骤为：(2-1)从数据集的训练集中采样固定大小的一批数据Δbatch；(2-2)对Δbatch中的每一个三元组(h，r，t)随机生成一个错误的三元组(h′，r，t′)，用三元组对{(h，r，t)，(h′，r，t′)}构成当前迭代所用的训练数据Tbatch；(2-3)计算整个算法的损失函数，并采用随机梯度下降算法更新嵌入表示；所述损失函数的公式为：其中，h，r，t，h′，t′为三元组对{(h，r，t)，(h′，r，t′)}的嵌入表示；用代表式中的fr(h,t)＝||ar*h+r-ar*t||，fr(h,t)为评估函数，ar关系注意力向量；Hr为候选头实体集合，Tr为候选尾实体集合，α为两部分损失的权重系数，γ为正负样例之间的最小间隔，[x]+表示取正，当x<0时结果为0。(2-4)当迭代次数达到预定值M，则更新注意力机制相关的参变量Hr，Tr，ar；所述更新注意力机制相关的参变量的算法包括：(2-4-1)利用Kmeans算法将所有实体向量聚成c类，C1,…,Cc；(2-4-2)根据以下两个表达式分别得到Hr和Tr；其中，Cj为聚类得到的第j个类别的实体集合，SHr为头实体集合，STr为尾实体集合；(2-4-3)对于每一个关系向量r，计算Hr与Tr中所有实体向量的方差与若或者的第j维大于临界值δ，则ar,j＝1；否则，ar,j＝0。(2-5)重复步骤2-1～步骤2-4，直至整个算法收敛。步骤(3)中，所述补全知识图谱数据集的具体步骤为：(3-1)对于一个关系三元组(h，r，t)，首先检查h是否属于Hr，t是否属于Tr，不属于的话，那么h或t的类别就不适合作为关系r的头实体或尾实体，这个三元组不成立，如果属于的话，则执行下一步；(3-2)将h和t的表示向量分别乘以注意力向量ar；(3-3)计算评估函数fr(h,t)＝||arh+r-art本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。

【技术特征摘要】
1.一种基于注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。2.根据权利要求1所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(1)中，所述初始化的具体步骤为：(1-1)随机初始化数据集中所有的关系与实体对应的向量，得到初始的关系向量与实体向量；(1-2)对于每个关系向量r，将出现在训练条目头部的实体加入到头实体集合SHr，将出现在训练条目尾部的实体加入到尾实体集合STr；(1-3)将每个关系向量r的头实体集合SHr与尾实体集合STr分别加入到候选头实体集合Hr与候选尾实体集合Tr，将候选头实体集合Hr和候选尾实体集合Tr初始化为整个实体集合E；(1-4)将每个关系r的注意力向量ar初始化为每一维都是1的向量。3.根据权利要求1所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(2)中，所述基于注意力机制对嵌入表示进行更新的具体步骤为：(2-1)从数据集的训练集中采样固定大小的一批数据Δbatch；(2-2)对Δbatch中的每一个三元组(h，r，t)随机生成一个错误的三元组(h＇，r，t＇)，用三元组对{(h，r，t)，(h′，r，t′)}构成当前迭代所用的训练数据Tbatch；(2-3)计算整个算法的损失函数，并采用随机梯度下降算法更新嵌入表示；(2-4)当迭代次数达到预定值M，则更新注意力机制相关的参变量Hr，Tr，ar；(2-5)重复步骤2-1～步骤2-4，直至整个算法...

【专利技术属性】
技术研发人员：钱炜，蔡登，付聪，祝宇，何晓飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33