一种基于本体语义的图卷积网络学习模型的构建制造技术

本发明专利技术公开了一种基于本体语义的图卷积网络学习模型的构建，其步骤包括：输入知识图谱数据；关系图卷积神经网络计算；实体嵌入E：DistMult解码器计算：关系嵌入R：进行规则推理：判断是否达到目标迭代次数：训练后的知识图谱：本发明专利技术通过构建的IterG模型，可消除规则学习与图卷积网络的界限，通过规则学习将本体语义信息有机无缝的融入到图卷积网络模型之中。

【技术实现步骤摘要】
一种基于本体语义的图卷积网络学习模型的构建
本专利技术涉及知识图谱表示学习领域，具体来说，涉及一种基于本体语义的图卷积网络学习模型的构建。
技术介绍
随着人工智能的快速发展，知识图谱(KnowledgeGraph)已被广泛认为是许多人工智能技术和系统中的重要组成部分。大量的知识图谱，例如YAGO、WordNet和Freebase已经被开发出来。知识图谱包含大量的先验知识，并且可以高效的管理数据。它们已被广泛用于问答系统、搜索引擎和推荐系统。知识图谱能够挖掘、组织和有效管理来自大规模数据的知识，从而提高信息服务的质量并为用户提供更智能的服务。所有这些方面都依赖于知识推理而非知识图谱的支持，因此知识图谱是推理领域的核心技术之一。知识图谱上的知识推理拥有非常好的研究前景，已成为了工业界和学术界的研究热点。但其本质仍然是一个比较难的问题，面临着上文所述的一些问题挑战。针对这些挑战，在传统规则推理的基础上，通过图卷积神经网络强大的图结构特征信息提取能力，将知识图谱中实体使用向量表示，之后借鉴嵌入学习的思想，将知识图谱中原有离散的、无结构的三元组信息用连续的、实值的、低维度的向量表示。由此将三种方法有机无缝的结合起来，使得它们的优势互补，更好地完成知识推理任务。推理对于大型知识图谱的开发至关重要，知识图谱补全和去噪是知识推理的两大基础应用，尤其是对于知识图谱的补全而言，推理的目的是基于现有的三元组来推断新的三元组。除了知识图谱补全与去噪，知识推理在垂直搜索、智能问答、机器翻译等领域也发挥了重要作用，在疾病诊断、金融反欺诈、数据异常分析等诸多不同的领域已展示出良好的应用前景。因此通过已有的知识推理方法，设计高效高准确率的大规模知识图谱上的知识推理方案，对增强知识图谱应用效果具有重要意义。知识图谱推理可以根据现有知识推论新知识并检查知识的一致性。知识图谱推理最常见的三种学习方法是基于规则的推理、基于嵌入的推理和基于神经网络的推理。基于规则的知识推理模型的基本思想是通过应用简单规则或统计特征对知识图谱进行推理。NELLS(Never-EndingLanguageLearningsystem)的推理学习概率规则，在手动筛选后实例化规则，最后从其他学习到的关系实例中推断出个新的关系实体。Spas-YAGO通过将三元组抽象为等效规则类来扩展知识图谱。Paulheim和Bizer提出了SDTYPE和SDValidate，它们利用属性和类型的统计分布来进行类型完成和错误检测。SDTYPE使用属性的头实体和尾实体位置中类型的统计分布来预测实体的类型。Jang和Megawati提出了一种评估知识图谱质量的新方法。他们选择出现频率更高的模式作为生成的测试模式，以评估产品的质量，分析数据模式后的知识图谱。Wang和Cohen支持使用个性化Pagerank(ProPPR)进行编程，以对知识图谱进行推理。规则学习方法旨在学习演绎和可解释的推理规则。基于规则的推理非常精确，可以为推理结果提供见解。在大规模知识图谱中，由于实体和关系的复杂性和多样性，很难穷尽所有推理模式。所以规则学习的主要困难是确定规则结构和搜索支持三元组时的巨大搜索空间，不适合大规模推理。近些年来，基于图卷积网络的知识推理也受到了广泛的关注。作为一种重要的机器学习算法，神经网络基本上可以模仿人的大脑进行感知和认知。它己被广泛用于自然语言处理领域，并取得了显著成绩。神经网络具有强大的功能捕获能力。它可以通过非线性变换将输入数据的特征分布从原始空间转换为另一个特征空间，并自动学习特征表示。因此，它适用于抽象任务，例如知识推理。基于神经网络的推理方法试图利用神经网络的强大学习能力来表示知识图中的三元组，从而获得更好的推理能力。基于神经网络的知识推理利用神经网络直接建模知识图谱事实元组，推理能力较强，相较于嵌入学习，复杂度更高，可解释性更弱。简而言之，基于神经网络的单步推理尝试使用神经网络的强大学习能力来为知识图谱的事实图元组建模，从而获得良好的推理和泛化能力。但是，知识图谱的应用仍然存在神经网络固有的可解释性问题。如何正确解释神经网络的推理能力是一个难点，如何解释神经网络的推理能力值得研究。迄今为止，关于基于神经网络的推理方法的研究很少。但是，它在其他领域的强大表现能力和出色表现有望带来广阔的前景。如何将现有的神经网络方法扩展到知识图推理领域是一个将来值得探索的问题。
技术实现思路
本专利技术的目的在于克服上述现有技术中的不足，提供一种通过构建IterG模型消除规则学习与图卷积网络的界限，通过规则学习将本体语义信息有机无缝的融入到图卷积网络模型之中。本专利技术通过下述技术方案予以实现：一种基于本体语义的图卷积网络学习模型的构建，包括下述步骤：步骤一、输入知识图谱数据：本步骤对知识图谱数据进行读取，包括实体集合、关系集合、训练三元组、有效三元组和测试三元组，之后对读取的数据进行初始化操作；步骤二、关系图卷积神经网络计算：通过两层的关系图卷积神经网络获取知识图谱中节点的嵌入，即节点的向量表示；关系图卷积神经网络的主要动机是将在本地图邻域上运行的图卷积网络扩展为大型关系数据，关系图卷积神经网络可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括图卷积网络，所述的图卷积神经网络模型，其消息传递函数如下所示：其中是节点vi在神经网络第l层的隐藏状态，其中d(l)是该层表示的维数。形式为gm(·,·)的传入消息被累积并通过激活函数gm(·,·)传递，基于这些架构，图卷积网络模型使用消息传递架构用于计算有向关系多重图中以vi表示的实体或节点的前向更新，该规则将来自节点本地邻居的信息聚合，然后将聚合的信息转发到下一层。R-GCN信息传播规则如下函数所示：其中表示关系r∈R下节点i的邻居索引集。ci,r是特定于问题的规范化常数，可以预先学习或选择(例如)；步骤三、实体嵌入E：所述步骤一中，随机初始化操作的实体向量表示为E，经过两层关系卷积神经计算之后，可以将每个实体vi∈V映射到实值向量得到知识图谱中的实体嵌入E；步骤四、DistMult解码器计算：在经过关系图卷积网络对知识图谱中的节点特征信息计算之后，采取DistMult作为解码器。DistMult是一种基于线性映射假设的方法，在DistMult中，每个关系r与一个对角矩阵相关联并且三元组(h,r,t)通过以下公式计算得分：步骤五、关系嵌入R：本步骤通过DistMult对实体嵌入E进行解码，训练时，与之前的因式分解方法相同，使用负采样来训练模型，对于每个示例，对其进行ω负采样，通过随机破坏每个准确示例的主题或对象来进行采样，之后通过针对交叉熵损失进行优化使模型中的三元组得分高于负采样中的三元组，通过最小化交叉熵损失来得到知识图谱中实体与关系的嵌入，交叉熵损失函数如下：其中T是所有三元组的总集合，l是激活函数，y是一个指示符，当y＝1时表示正三元组，y＝0时表示负三元组，此外，使用全批次梯度下降技术训练模型本文档来自技高网...

【技术保护点】
1.一种基于本体语义的图卷积网络学习模型的构建，其特征在于，包括下述步骤：/n步骤一、输入知识图谱数据：本步骤对知识图谱数据进行读取，包括实体集合、关系集合、训练三元组、有效三元组和测试三元组，之后对读取的数据进行初始化操作；/n步骤二、关系图卷积神经网络计算：通过两层的关系图卷积神经网络获取知识图谱中节点的嵌入，即节点的向量表示；关系图卷积神经网络的主要动机是将在本地图邻域上运行的图卷积网络扩展为大型关系数据，关系图卷积神经网络可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括图卷积网络，所述的图卷积神经网络模型，其消息传递函数如下所示：/n

【技术特征摘要】
1.一种基于本体语义的图卷积网络学习模型的构建，其特征在于，包括下述步骤：
步骤一、输入知识图谱数据：本步骤对知识图谱数据进行读取，包括实体集合、关系集合、训练三元组、有效三元组和测试三元组，之后对读取的数据进行初始化操作；
步骤二、关系图卷积神经网络计算：通过两层的关系图卷积神经网络获取知识图谱中节点的嵌入，即节点的向量表示；关系图卷积神经网络的主要动机是将在本地图邻域上运行的图卷积网络扩展为大型关系数据，关系图卷积神经网络可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括图卷积网络，所述的图卷积神经网络模型，其消息传递函数如下所示：



其中是节点vi在神经网络第l层的隐藏状态，其中d(l)是该层表示的维数。形式为gm(·,·)的传入消息被累积并通过激活函数gm(·,·)传递，
基于这些架构，图卷积网络模型使用消息传递架构用于计算有向关系多重图中以vi表示的实体或节点的前向更新，该规则将来自节点本地邻居的信息聚合，然后将聚合的信息转发到下一层。R-GCN信息传播规则如下函数所示：

其中表示关系r∈R下节点i的邻居索引集。ci,r是特定于问题的规范化常数，可以预先学习或选择(例如)；
步骤三、实体嵌入E：所述步骤一中，随机初始化操作的实体向量表示为E，经过两层关系卷积神经计算之后，可以将每个实体vi∈V映射到实值向量得到知识图谱中的实体嵌入E；
步骤四、DistMult解码器计算：在经过关系图卷积网络对知识图谱中的节点特征信息计算之后，采取DistMult作为解码器。DistMult是一种基于线性映射假设的方法，在DistMult中，每个关系r与一个对角矩阵相关联并且三元组(h,r,t)通过以下公式计算得分：
步骤五、关系嵌入R：本步骤通过DistMult对实体嵌入E进行解码，训练时，与之前的因式分解方法相同，使用负采样来...

【专利技术属性】
技术研发人员：王鑫，梁兴亚，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12