一种基于多视角推理的弱监督知识图谱问答方法技术

本发明专利技术公开了一种基于多视角推理的弱监督知识图谱问答方法，主要通过解决知识图谱问答在弱监督条件下的长路径推理和伪路径问题。首先利用自然语言问题中涉及的知识图谱实体获取知识图谱子图。然后，利用知识图谱表示学习算法将知识图谱三元组映射为向量表示，同时在预训练语言模型的基础上将问题和子图中的关系映射为向量表示。接着，计算问题的向量表示与关系向量表示的语义匹配度和问题向量表示在知识图谱三元组中的结构匹配度。最后，通过监督学习的方法先优化与问题语义相似的关系，再优化与问题语义最相近的关系，得到一种在弱监督条件下的知识图谱问答核心路径推理模型。模型。模型。

【技术实现步骤摘要】
一种基于多视角推理的弱监督知识图谱问答方法


[0001]本专利技术涉及一种基于多视角推理的弱监督知识图谱问答方法，属于自然语言处理


技术介绍

[0002]随着DBpedia、Freebase和WikiData等知识图谱的发展，它们的规模变得非常庞大。没有专业知识的普通人想要从大规模的知识图谱中查找知识是很困难的事情，于是人们越来越重视寻找有效便捷的方法来获取这些宝贵的知识资源。知识图谱问答又称知识库问答（KnowledgeBaseQuestionAnswering，KBQA），它以自然语言作为查询语言，是一种非常人性化的解决方案，使得它成为了近年来的研究热点。尽管有大量的研究，但KBQA仍然是具有挑战的任务，即使在研究得很好的领域，如英语中的开放领域KBQA，现有的方法也很难与人类对问题的理解相匹配。KBQA存在的挑战包括：1）表达差异，即自然语言问题的表达形式可能与KB中表达形式完全不同，导致自然语言问题到KB的映射变得困难；2）歧义，同一个词汇可能代表不同的实体，如“苹果”可能是水果，也可能是手机品牌。此外，由于训练数据的标注成本昂贵并且可能涉及专业知识来构造查询形式，尤其是在一些非英语的低资源语言上和一些专业的领域如法律或生物医学，它们给数据标注带来额外的成本。所以最近一些工作考虑在只给定问题和最终答案的这种弱监督情况下进行问答，因为只获取最终答案相比需要构造查询形式来说是更简单的。
[0003] KBQA中有两个关键的子任务，分别是实体链接（EntityLinking，EL）和路径推理（PathReasoning，PR）。EL的目的将自然语言问题链接到KB中的实体，它通常涉及两个步骤，主语检测和实体消歧。首先通过主语检测识别出自然语言问题中的主语提及，它近似于KB实体的名称，然后将主题提及链接到KB中获得候选主语实体，然后利用实体消歧方法对候选主语实体进行筛选。PR的目的是将自然语言问题映射到KB中的路径上，路径由一跳或者多跳关系组成。通过这条路径能够从KB中检索出问题的答案。
[0004]随着人工智能技术的发展，利用神经网络进行KBQA的方法也得到了发展并且展现出了光明的前景。一般来说，目前最流行的KBQA方法主要分为两类：基于语义分析和基于信息检索。基于语义分析的方法首先设计一个语义解析器将问题映射到逻辑形式，例如λ
‑
DCS、可执行SPARQL或SQL查询、基于图结构的查询。然后利用一个执行模块来执行知识库中的查询。基于信息检索的方法首先标识主题实体，然后从知识图谱中检索距离主题实体一跳或多跳的子图作为候选答案，接下来设计各类特征将候选答案映射到低维的向量空间中，然后进行比较排序。

技术实现思路

[0005]本专利技术从现有KBQA工作在弱监督条件下，面对多跳的复杂问题难以正确理解问题语义进行推理的情况出发，依据多个角度的匹配约束，基于神经模型自身的迭代训练过程提出了一种基于多视角推理的弱监督知识图谱问答方法。该方法首先从文本语义匹配和知
识图谱结构匹配两个角度逐步地对齐问题与路径，然后再利用两阶段优化方法，先优化与问题相似的路径再优化与问题最匹配的路径来训练模型。这样提出的路径推理模型能够更加准确地理解问题语义，推理出合理的通往答案的知识图谱路径而不是伪路径。
[0006]本方案公开了一种新的基于多视角推理的弱监督知识图谱问答方法，主要用于开放领域的知识图谱问答任务。本方案首先利用实体链接算法获取自然语言问题中涉及的知识图谱实体，然后检索以该实体为中心的知识图谱子图。然后，利用知识图谱表示学习算法将知识图谱三元组映射到低维空间的向量表示，同时在预训练语言模型的基础上将问题和子图中的关系进行编码，映射为向量表示。接着，计算问题的向量表示与关系向量表示的语义匹配度和问题向量表示在知识图谱三元组中的结构匹配度。最后，通过监督学习的方法先优化与问题语义相似的关系，再优化与问题语义最相近的关系，得到一种在弱监督条件下的知识图谱问答核心路径推理模型。该方案依据自然语言问题和知识图谱的语义和结构匹配信息，提出从多视角推理知识图谱问答的核心路径，并进行两个阶段的监督学习优化。
[0007]为了实现上述目的，本专利技术的技术方案如下：一种基于多视角推理的弱监督知识图谱问答方法，具体步骤如下：步骤1）通过实体链接算法将自然语言问题链接到知识图谱中的实体，并使用实体查询知识图谱获取以该实体为中心的问题对应子图；步骤2）通过知识图谱表示学习算法TransE将知识图谱中的三元组映射到向量空间，学习每个实体和关系和向量表示；步骤3）通过预训练模型BERT获取自然语言问题的句子向量表示和步骤1）中子图的每个关系向量表示；步骤4）通过步骤3）中的句子向量表示获取特定部分语义向量；步骤5）通过计算步骤4）给出的特定部分语义向量与步骤3）给出的关系向量的相似度得分，以及特定部分语义向量在步骤2）中学习到的知识图谱表示学习算法的得分；步骤6）利用步骤5）给出的相似度得分和表示学习算法得分计算在步骤1）中子图里的每条推理路径的联合推理概率；步骤7）在大量数据上，通过mini
‑
batch梯度下降的方式来训练初始模型，利用核采样算法选择步骤6）给出的概率和大于阈值的推理路径集合来计算损失分数更新参数，获得经过第一阶段优化的核心路径推理模型；步骤8）在大量数据上，通过mini
‑
batch梯度下降的方式来训练通过步骤7）给出的模型，通过步骤6）的模型概率计算公式，计算得到步骤7）核采样路径中概率最大的路径，利用该路径来计算损失分数更新参数，获得第二阶段优化的核心路径推理模型。
[0008]其中，在步骤1）利用实体链接算法将自然语言问题链接到知识图谱中的实体，然后利用实体在知识图谱中检索，获取T跳以内的子图。
[0009]步骤2）中，通过知识图谱表示学习算法TransE将知识图谱中的实体和关系映射到低维的向量空间中，获得每个实体和关系和向量表示。对于知识图谱中的正确三元组（h，l，t）和负采样的错误三元组（h
’
，l，t
’
），可以通过代价函数在每个mini
‑
batch更新的实体h、t和关系l的向量：
；d()表示距离计算函数。
[0010]步骤3）通过预训练模型BERT获取自然语言问题q的句子向量表示E
q
和步骤1）中子图的每个关系r的向量表示E
r
。自然语言问题q和关系r都由多个单词组成，E
q
和E
r
为单词向量之和取平均。
[0011]步骤4）在步骤3）的基础上，利用给出的句子向量表示获取特定部分语义向量。特定部分语义向量表示C
t
第t步推理关注的问题特定语义信息，它由一个记忆单元决定：；将获得第t步的特定部分语义向量C
t
。其中W
z
、W
r
和W为随机初始化的权重矩阵，sigmoid和tanh为非线性激活函数。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角推理的弱监督知识图谱问答方法，其特征在于，该方法包含以下步骤：步骤1）将自然语言问题链接到知识图谱中的实体，并通过实体查询知识图谱获取问题对应的子图；步骤2）通过知识图谱表示学习算法TransE将知识图谱中的三元组映射到向量空间，学习每个实体和关系和向量表示；步骤3）通过预训练模型BERT获取自然语言问题的句子向量表示和步骤1）中子图的每个关系向量表示；步骤4）通过步骤3）中的句子向量表示获取部分语义向量；步骤5）通过计算步骤4）给出的部分语义向量与步骤3）给出的关系向量的相似度得分，以及部分语义向量在步骤2）中学习到的知识图谱表示学习算法的得分；步骤6）利用步骤5）给出的相似度得分和表示学习算法得分计算在步骤1）中子图里的每条推理路径的联合推理概率；步骤7）在大量数据上，通过mini
‑
batch梯度下降的方式来训练初始模型，利用核采样算法选择步骤6）给出的概率和大于阈值的推理路径集合来计算损失分数更新参数，获得经过第一阶段优化的核心路径推理模型；步骤8）在大量数据上，通过mini
‑
batch梯度下降的方式来训练通过步骤7）给出的模型，通过步骤6）的模型概率计算公式，计算得到步骤7）核采样路径中概率最大的路径，利用该路径来计算损失分数更新参数，获得第二阶段优化的核心路径推理模型。2.根据权利要求1所述的基于多视角推理的弱监督知识图谱问答方法，其特征在于，步骤1）中将自然语言问题利用实体链接算法链接到知识图谱中的实体，然后利用实体在知识图谱中检索，获取T跳以内的子图。3.根据权利要求1所述的基于多视角推理的弱监督知识图谱问答方法，其特征在于，步骤2）中，通过知识图谱表示学习算法TransE将知识图谱中的实体和关系映射到低维的向量空间中，获得每个实体和关系和向量表示，对于知识图谱中的正确三元组（h，l，t）和负采样的错误三元组（h
’
，l，t
’
），通过代价函数在每个mini
‑
batch更新的实体h、t和关系l的向量：d()表示距离计算函数。4.根据权利要求1所述的基于多视角推理的弱监督知识图谱问答方法，其特征在于，步骤3）通过预训练模型BERT获取自然语言问题q的句子向量表示E
q
和步骤1）中子图的每个关系r的向量表示E
r
，自然语言问题q和关系r都由多个单词组成，E
q
和E
r
为单词向量之和取平均。5.根据权利要求1所述的基于多视角推理的弱监督知识图谱问答方法，其特征在于，步骤4）对步骤3）中的句子向量表示E
q
获取部分语义向量C
t
，部分语义向量C
t
表示第t步推理关注的问题语义信息，它由一个记忆单元决定，部分语义向量C
t
的计算公式为：
其中W
z
、W
r
和W为随机初始化的权重矩阵，sigmo...

【专利技术属性】
技术研发人员：胡楠，漆桂林，
申请(专利权)人：东南大学，
类型：发明
国别省市：