一种基于多样图注意力机制的知识图谱嵌入方法技术

本发明专利技术提出一种基于多样图注意力机制的知识图谱嵌入方法，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，建立实体注意力机制，所述建立实体注意力机制方式为通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上来学习实体的向量表示；步骤3，建立关系注意力机制，所述建立关系注意力机制通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练，获得知识图谱中所有关系的向量化表示。

【技术实现步骤摘要】
一种基于多样图注意力机制的知识图谱嵌入方法
本专利技术涉及一种知识图谱嵌入方法，具体涉及一种基于多样图注意力机制的知识图谱嵌入方法。
技术介绍
在2012年，谷歌提出了知识图谱概念，其本质是一种图结构表示的知识库。现有的常用知识图谱包括但不限于Freebase，DBPedia和YAGO。存储在知识图谱中的多关系数据已作为一组先验规则或约束应用于大量机器学习任务中，例如，信息检索，问答系统和自然语言处理。为了促进和标准化下游任务中的知识应用，一些工作尝试以更可计算的形式对这些数据进行建模。其中，许多知识图谱嵌入方法已得到广泛研究和重点关注。通常，知识图谱中的知识存储为标准三元组，即(头部实体，关系，尾部实体)。由Trans家族为代表的翻译模型将每个三元组视为训练样本并通过将实体和关系投影到一个连续向量空间以获取相应的知识表示，在投影过程中要遵循基本原理(h+r≈t，其中h，r，t是三元组的嵌入向量)和各种约束。通过充分考虑丰富的外部信息，例如多跳路径，实体图像或实体描述，许多特征模型已被不断地提出。此外，还有一些模型收集三元组以形成一个图，其点是实体，其边是实体之间的关系，同时获得更多通过结合图结构和点的特征来综合知识图谱嵌入。显然，现有的各种方法并不适用于多关系数据，因为它们总是直接进行推理计算而不考虑样本的邻域三元组或者不加区别地将所有环境因素结合。特别是，当存在大量不同类型的候选实体或单个给定实体对之间存在多重关系时，现有方法的效果将显著降低。此外，由于数据收集不完整，知识图谱往往稀疏且不完整，这将直接影响知识图谱嵌入的质量。此外，一些现有模型通常无法迁移，即训练模型不能直接应用于未涉及的知识图谱。知识图谱(KnowledgeGraphs)利用图结构来表示多关系数据，被广泛用于推理和预测任务，并在最近吸引了大量的研究工作。然而，现有技术仍然集中在以简单直观的方式学习知识图谱嵌入，而不考虑知识的背景。通常，每个知识单元(即三元组)可以从其部分周围的三元组中导出，这意味着独立地处理单个三元组或不加区分地考虑所有周围的三元组都是片面的。
技术实现思路
本专利技术提供了一种基于多样图注意力机制的知识图谱嵌入方法，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，实体嵌入表示学习—实体注意力机制：通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上来学习实体的向量表示；步骤3，实体嵌入表示学习—关系注意力机制，通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练：获得知识图谱中所有关系的向量化表示。为了实现该嵌入方法，需要在Linux环境下部署和配置python3.5+tensorflow1.8.0运行环境。由于过程可以在相关官网进行查阅，本文不再赘述。本专利技术提出的一个基于多样图注意力机制的知识图谱实体嵌入模型，在模型中引入了多样图注意力机制，为学习知识图谱嵌入提供更丰富，更细粒度的信息。该模型的基本思想是通过选择性地合并来自邻近实体的信息来获取不同信道中实体的隐层表示，并利用分解函数来确定候选三元组为事实的概率。它将知识图谱表示为一个不规则的图，并通过整合来自多个独立通道的图结构信息来探索特定的知识组合。为了从不同角度测量实体之间的相关性，本专利技术提出了两种基于不同来源和实现的注意力度量方法，进一步展示用于获得候选知识单元概率的分解函数，通过使用训练好的实体嵌入来丰富候选的知识单元可以获得显着的效果改善。本专利技术的有益效果：通过处理多通道中的输入信息实现更合理和可解释的知识图谱嵌入；根据不同来源(实体对或关系)计算不同的注意力系数；通过迭代或堆叠图注意层，可以实现多跳信息的获取；它的并行性和迁移性意味着可以在任意大规模知识图谱数据集上推广我们的模型。附图说明图1为本专利技术的整体流程图；图2所示为一实施例的更新实体嵌入的流程图图3所示为实体注意力机制模型；图4所示为关系注意力机制模型具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术提供了一种基于多样图注意力机制的知识图谱嵌入方法。如图1所示为本法专利技术的流程图，该方法包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，实体嵌入表示学习—实体注意力机制：通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上来学习实体的向量表示；步骤3，实体嵌入表示学习—关系注意力机制，通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练：获得知识图谱中所有关系的向量化表示。所述n是正整数。在所述步骤1中，首先对不同领域的知识图谱数据进行预处理。本专利技术将传统知识图谱预处理为10个文件，所述处理后的文件包括x(训练集实体特征)、y(训练集实体标签)、tx(测试集实体特征)、ty(测试集实体标签)、allx(全集实体特征)、ally(全集实体标签)、test.index(测试集实体的ID)、graph(整个知识图谱的邻接图)、rel(全体关系的特征)和relation(全体关系特征的图表示)。本专利技术提出的知识图谱领域的多头图注意力网络是一种对图结构数据进行操作的新型神经网络体系结构，能够利用自我注意力层来解决基于图形卷积或其近似的现有方法的缺点。通过堆叠不同邻接结点的特征，隐式地为邻接的不同结点指定不同的权重，而不需要任何类型的代价高昂的矩阵操作。为了实现多通道特征学习，通过使用多头注意框架来扩展图注意力机制。具体地，对应于K个特征学习通道，该执行K个独立的注意力头机制以完成相应的特征学习，并将它们连接在一起(直接拼接或求平均)以形成嵌入输出。如图2所示为一实施例的在图注意力层利用三个注意力头更新一个实体嵌入的更新流程。图二表示hi节点在三个独立的图注意力机制下的一次更新过程，hi节点的所有邻居在三种不同的注意力机制下分别提供了不同权重的信息并形成了三种不同的hi表示，进而通过将这些表示串联或平均后获得hi节点的新的表示。其中权重的确定有两种方式：实体注意力、关系注意力。在所述步骤2中，获得知识图谱中的实体嵌入是建模多关系数据的初始步骤，所述可以通过从其邻接实体及其自身中的部分信息来学习，每个信息源的学习规模由实体对(ei,ej)之间的关注系数cij确定。将输入实体特征转换为高级嵌入，通过使用加性注意力实现所述关注系数cij的计算,i,j为正整数，其中，a是加性的自注意力机制，用来表示实体ei到实体ej之间的重要程度，所述a的计算为：所述ReLU表示激活函数，W表示注意力机制的参数，所述||符号表示将向量首尾相连，形成新的向量。为了更容易比较不同的实体对之间的注意力系数，正则化了cij：所述Softmax是归一化函数，exp表示以自然常数e为底的指数函数；为了生成输出的实体嵌入，本文档来自技高网...

【技术保护点】
1.一种基于多样图注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，建立实体注意力机制，所述建立实体注意力机制方式为通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上学习实体的向量表示；步骤3，建立关系注意力机制，所述建立关系注意力机制通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练，获得知识图谱中所有关系的向量化表示。

【技术特征摘要】
1.一种基于多样图注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，建立实体注意力机制，所述建立实体注意力机制方式为通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上学习实体的向量表示；步骤3，建立关系注意力机制，所述建立关系注意力机制通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练，获得知识图谱中所有关系的向量化表示。2.如权利要求1所述的方法，其特征在于，在所述步骤1中，首先对不同领域的知识图谱数据进行预处理为10个文件，所述处理后的文件包括训练集实体特征，训练集实体标签，测试集实体特征，测试集实体标签，全集实体特征，全集实体标签，测试集实体的ID，整个知识图谱的邻接图，全体关系的特征，全体关系特征的图。3.如权利要求2所述的方法，其特征在于，在所述步骤2中建立实体注意力机制的具体方式为，获得知识图谱中的实体嵌入是实体嵌入建模多关系数据的初始步骤，所述通过从其邻接实体及其自身中的部分信息学习，每个信息源的学习规模由实体对(ei,ej)之间的关注系数cij确定，将输入实体特征转换为高级嵌入，通过使用加性注意力实现所述关注系数cij的计算,所述i,j为正整数，其中，所述a是加性的自注意力机制，用来表示实体ei到实体ej之间的重要程度，所述a的计算为：，所述ReLU表示激活函数，W表示注意力机...

【专利技术属性】
技术研发人员：李建欣，李晨，林子崴，张帅，张日崇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11