一种基于深度学习的知识图谱复杂问答系统及方法技术方案

本发明专利技术涉及一种基于深度学习的知识图谱复杂问答系统，包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱；所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系；所述逐跳关系预测模型，将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型，采用延伸和聚合操作分别解决链式问题与多实体问题；基于逐跳关系预测模型输出数据，对知识图谱进行查找、推理获取相应的答案。本发明专利技术问答系统具有更高的效率，更强的专业性和准确性。更强的专业性和准确性。更强的专业性和准确性。

【技术实现步骤摘要】
一种基于深度学习的知识图谱复杂问答系统及方法


[0001]本专利技术涉及智能问答领域，具体涉及一种基于深度学习的知识图谱复杂问答系统及方法。

技术介绍

[0002]近年来，作为实现Web 3.0知识互联的基础，大量高质量、覆盖大量知识的知识图谱被构建出来，为知识搜索提供了有力的支撑，也已经成为互联网认知智能服务的基础设施。谷歌公司提出知识图谱的初衷，是对搜索引擎提供语义支持，以此来提高搜索引擎的质量，为用户提供细粒度的知识，满足用户日益增长的信息需求。传统的搜索方式，仍然是基于关键字匹配的方式搜索的相关信息，并没有具备“理解”问题的能力，即没有涉及深层次的语义理解。并且，知识图谱中往往包含了海量的知识条目，且条目之间存在着复杂的拓扑结构关系，对于普通用户而言，如何从一个庞大复杂的知识图谱中搜索自己所需要的知识，是一个很大的挑战。
[0003]为了能够降低用户检索知识图谱的门槛，并且能够精确地、细粒度地返回用户所询的相关信息，知识图谱问答(Knowledge Base Question Answering，KBQA)——一种高级的信息检索方式、桥接人类用户与机器智能进行信息交换的接口——被研究者们提出。问答系统旨在理解用户所提出的问题意图，并将自然语言问题转化为标准的结构化查询，通过在知识图谱上执行结构化查询，而得到知识图谱中的相关实体、属性值等信息，作为问题的答案返回给用户，以此来方便用户检索知识图谱来获取所需要的知识。问答系统将问题理解、知识查询、推理答案等具体实现细节都隐藏在内部，而对外提供简单的使用接口，用户只需要提出自然语言问题(Natural Language Question，NLQ)，就可以获得细粒度的、准确的答案。
[0004]目前，知识图谱问答已经成为推动人机交互与互联网语义搜索的重要驱动力之一，也在众多实际智能应用中体现出强大的作用。近几年来，深度学习方法己经在不同领域取得了重大突破，包括图像处理和NLP等，而且在不同任务上得到了广泛的研宄和应用。目前最常用的两种深度学习模型是卷积神经网络网(Convolutional Neural Network，CNN)和循环神经网络(Recurrent Neural Network，RNN)，它们都具有较强的句子表征能力。随着注意力机制Attention Mechanism)的引入，各种任务的性能也得到了极大的提升。最近NLP领域的学者纷纷开始研宄基于语言建模的神经网络模型，比如ELMo、GPT和BERT等，可以从大量的语料中学习潜在的语义特征和句法特征。
[0005]随着用户对于信息检索的要求越来越高，以一个三元组为知识载体的简单事实性知识图谱问答，已经难以满足用户复杂的信息需求。人们在面对知识图谱进行信息检索时，可能会产生需要满足特定约束(constraints)、检索大量三元组、并进行相应推理才能得到答案的复杂问题。所以，面向大规模知识图谱的复杂问题问答方法变得越来越重要。但是，复杂问题问答任务本身所具有的特性，导致解决该任务具有一定的挑战性。设计一种有效的复杂问题问答方法，来理解用户提出的自然语言问题的意图，并精确地从知识图谱元素
中检索出用户所询的细粒度知识，是具有重要实际意义与研究价值的。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种基于深度学习的知识图谱复杂问答系统及方法，旨在解决上述问题。
[0007]为实现上述目的，本专利技术采用如下技术方案：
[0008]一种基于深度学习的知识图谱复杂问答系统，包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱；所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系；所述逐跳关系预测模型，将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型，采用延伸和聚合操作分别解决链式问题与多实体问题；基于逐跳关系预测模型输出数据，对知识图谱进行查找、推理获取相应的答案。
[0009]进一步的，所基于多头注意力机制的信息抽取模型包括RNN共享编码层、SR子模型和O子模型；所述SR子模型抽取出输入文本中主实体S的同时，并给出主实体对应的关系R；所述O子模型则根据RNN共享编码层输出的张量、SR抽取的主实体及对应的关系，输出客实体O。
[0010]进一步的，所述SR子模型包括一层自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层；所述输入文本通过RNN共享编码层输出的张量，依次通过自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层，得到每个主实体S及S对应的所有关系R。
[0011]进一步的，所述O子模型包括多头注意力机制、带6层残差学习的膨胀卷积层及两层全连接层。
[0012]进一步的，所述停止决策模型，用于判断当前路径是否应该执行延伸操作，进行下一跳的路径转移，其输入是问题文本序列和当前的路径序列，输出为真或假，具体如下：
[0013]问句和路径表示层：构建孪生网络的结构，使用共享权重的预训练语言模型BERT来分别对问题Q和候选路径P编码表示，对BERT输出的隐层向量表示取平均，作为问题和候选路径的向量表示H
Q
和H
P
，如下式所示：
[0014]H
Q
＝Meanpooling(BERT(x
Q
))
[0015]x
Q
＝[[CLS]，q1，
…
，q
n
，[SEP]][0016]H
P
＝Meanpooling(BERT(x
P
))
[0017]x
P
＝[[CLS]，p1，
…
，p
m
，[SEP]][0018]其中，q1，
…
，q
n
为问题序列，p1，
…
，p
m
为候选路径序列，CLS用于下游的分类任务，SEP用于隔开两个句子；
[0019]对于实体的类型词语集合R，将其经过预训练词向量Embedding层编码后的矩阵分别做最大池化和平均池化操作，得到两个向量表示和如下列公式所示：
[0020]H
R
＝Embedding(R)
[0021]R＝[r1，r2…
r
i
][0022][0023][0024]其中，R为实体的类型词语集合；
[0025]注意力机制交互层：在得到和之后将其拼接得到H
′
R
，通过矩阵W
R
对其变换维度；再将问题的表示H
Q
通过矩阵W
Q
变换维度；
[0026]对上述两个维度变换后的矩阵进行相乘操作，得到Attention的权重a
ij
；与H
′
R
加权求和之后，与问题表示H
Q
点乘后通过一个平均池化层，得到新的问题表示AttQ，如下列公式所示：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的知识图谱复杂问答系统，其特征在于，包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱；所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系；所述逐跳关系预测模型，将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型，采用延伸和聚合操作分别解决链式问题与多实体问题；基于逐跳关系预测模型输出数据，对知识图谱进行查找、推理获取相应的答案。2.根据权利要求1所述的一种基于深度学习的知识图谱复杂问答系统，其特征在于，所基于多头注意力机制的信息抽取模型包括RNN共享编码层、SR子模型和O子模型；所述SR子模型抽取出输入文本中主实体S的同时，并给出主实体对应的关系R；所述O子模型则根据RNN共享编码层输出的张量、SR抽取的主实体及对应的关系，输出客实体O。3.根据权利要求2所述的一种基于深度学习的知识图谱复杂问答系统，其特征在于，所述SR子模型包括一层自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层；所述输入文本通过RNN共享编码层输出的张量，依次通过自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层，得到每个主实体S及S对应的所有关系R。4.根据权利要求2所述的一种基于深度学习的知识图谱复杂问答系统，其特征在于，所述O子模型包括多头注意力机制、带6层残差学习的膨胀卷积层及两层全连接层。5.根据权利要求1所述的一种基于深度学习的知识图谱复杂问答系统，其特征在于，所述停止决策模型，用于判断当前路径是否应该执行延伸操作，进行下一跳的路径转移，其输入是问题文本序列和当前的路径序列，输出为真或假，具体如下：构建孪生网络的结构，使用共享权重的预训练语言模型BERT来分别对问题Q和候选路径P编码表示，对BERT输出的隐层向量表示取平均，作为问题和候选路径的向量表示H
Q
和H
P
，如下式所示：H
Q
＝Meanpooling(BERT(x
Q
))x
Q
＝[[CLS],q1,
…
,q
n
,[SEP]]H
P
＝Meanpooling(BERT(x
P
))x
P
＝[[CLS],p1,
…
,p
m
,[SEP]]其中，q1,
…
,q
n
为问题序列，p1,
…
,p
m
为候选路径序列，CLS用于下游的分类任务，SEP用于隔开两个句子；对于实体的类型词语集合R，将其经过预训练词向量Embedding层编码后的矩阵分别做最大池化和平均池化操作，得到两个向量表示和如下列公式所示：H
R
＝Embedding(R)R＝[r1,r2…
r
i
]]其中，R为实体的类型词语集合；注意力机制交互层...

【专利技术属性】
技术研发人员：林钊，李强，赵峰，庄莉，王秋琳，宋立华，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：