一种基于多跳推理的机器阅读理解语义推理方法技术

本发明专利技术提供了一种基于多跳推理的机器阅读理解语义推理方法，该推理方法针对基于机器阅读理解的问答方法中因支持事实不足导致无法推理得到正确答案的问题，引入外部知识库提取更多支持事实；针对在庞大知识库中检索得到过多文档可能导致计算成本很高和引入与问题不相关段落的问题，提出基于TF

【技术实现步骤摘要】
一种基于多跳推理的机器阅读理解语义推理方法


[0001]本专利技术涉及机器阅读理解语义分析
，具体而言，涉及一种基于多跳推理的机器阅读理解语义推理方法。

技术介绍

[0002]机器阅读理解(Machine Reading Comprehension，MRC)是一项用来测试机器结合上下文理解自然语言问题并给出相关答案的任务。当面对复杂的多级关系输入问题，需要从多个相关段落中推理得到答案时，普通的机器阅读理解方法可能难以进行准确的理解。这就需要模型具有一定的多跳推理的能力，结合多个段落寻找答案。
[0003]基于多跳推理的机器阅读理解方法已经取得了很大发展，其研究成果也表现出很大的发展潜力。但仍存在构建模型复杂、花费时间较长、推理结果不准确的问题。

技术实现思路

[0004]为了改善上述技术问题至少之一，本专利技术的一个目的在于提供一种基于多跳推理的机器阅读理解语义推理方法，简称推理方法，用于对复杂问题的答案进行推理。
[0005]为实现上述目的，本专利技术的一个技术方案提供了一种基于多跳推理的机器阅读理解语义推理方法，包括如下步骤：
[0006]步骤S1，接收问题；
[0007]步骤S2，导入或访问外部知识库，基于TF
‑
IDF的段落筛选方法，从外部知识库中检索出与问题相关的段落；
[0008]步骤S3，构建实体图，实体图用于将接收的问题、问题中提及的实体、从外部知识库中检索到的段落、从段落中提取的答案节点在实体图中进行向量嵌入表示；/>[0009]步骤S4，将问题、支持事实和相关段落输入编码器，提取答案跨度和下一跳实体位置的跨度；
[0010]步骤S5，迭代步骤S4将每次迭代都将历经的答案节点添加到实体图中；并根据推理关系，在答案节点间建立边，获取实体图的邻接矩阵，并对邻接矩阵归一化处理，将得到的归一化邻接矩阵对实体图进行编码，直到推理到正确的实体或者推理步数达到设定阈值，迭代结束；
[0011]步骤S6，基于得到的实体图，将答案分为分别对应特殊问题、替代问题和一般问题的答案；其中，特殊问题的答案由特定的文字描述组成，用于采用两层全连接网络做预测任务；对于替代问题和一般问题的答案，答案一般是实体本身或者回答是否的问题，将替代问题和一般问题看作一个二分类问题，用于采用两个全连接网络做预测任务；
[0012]步骤S7，训练全连接网络，将训练任务分为Task1和Task2，采用联合训练的方式，先训练一代Task 1，之后Task1和Task2联合训练一代，以此得到最小化损失函数，从而构建管道式的神经网络模型，根据神经网络模型预测问题的答案。
[0013]在上述技术方案中，在步骤S2中，根据问题和外部知识库的文本之间的相似度来
筛选出至少两个段落。
[0014]在上述技术方案中，在步骤S5中，迭代次数至少为2。
[0015]在上述技术方案中，在步骤S7中，联合训练的对象为答案跨度和支持事实。
[0016]在上述技术方案中，推理方法还包括：步骤S8，基于神经网络模型预测答案，并使用精确匹配和部分匹配评估神经网络模型的性能。
[0017]综上，本专利技术所提供的基于多跳推理的机器阅读理解语义推理方法，针对基于机器阅读理解的问答方法中因支持事实不足导致无法推理得到正确答案的问题，引入外部知识库提取更多支持事实；针对在庞大知识库中检索得到过多文档可能导致计算成本很高和引入与问题不相关段落的问题，提出基于TF
‑
IDF的段落筛选方法，通过调整不同检索段落数上限获取最优的模型性能。并通过引入外部知识库，提高了模型回答复杂问题的能力。
[0018]本专利技术的一些技术方案还提供了一种基于多跳推理的机器阅读理解语义推理系统，简称推理系统，包括外部知识检索模块、跨度提取模块、图推理模块、答案预测模块等。
[0019]本技术方案所提供的推理系统可以执行上述推理方法的步骤，因此可以实现上述推理方法中任一技术方案的全部有益效果，不在赘述。
[0020]本专利技术的附加方面和优点将在下面的描述部分中变得明显，或通过本专利技术的实践了解到。
附图说明
[0021]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0022]图1是本专利技术的一些实施例的问题、支持事实和段落的嵌入表示的示意图。
[0023]图2是本专利技术的一些实施例的图注意力网络的注意力机制的示意图。
[0024]图3是本专利技术的一些实施例的基于多跳推理的机器阅读理解模型的架构示意图。
[0025]图4是本专利技术的一些实施例的在HotpotQA full setting数据集上的问答性能实验结果示意图。
[0026]图5是本专利技术的一些实施例的检索段落数对F1值的影响示意图。
具体实施方式
[0027]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0028]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0029]目前，一些相关技术中，通过固定推理次数和构建随机答案网络使得传统单跳阅读理解具备多跳推理能力。但该模型的推理次数是人为设置的，针对不同问题其推理次数并不固定的，因此在一些问答场景中该方法并不能取得很好的效果。在另一些相关技术中，通过动态融合网络模型，根据问题中提及的实体，检索段落寻找支持实体，利用提取到的支持实体动态构建实体图，利用图神经网络在动态图上进行探索，寻找问题的答案，但在某些
比较查询问题上还有改进的空间。在另一些相关技术中，基于单跳阅读理解的解决方法，将多跳问题分解成多个单跳问题，利用单跳阅读理解的方法来解决，最后通过融合单跳阅读理解模型获取的答案得到最终的答案，但对于较为复杂的问题，模型建立的过程也会很复杂，也会花费更多的时间。可见，相关技术存在构建模型复杂、花费时间较长、推理结果不准确的问题。
[0030]为此，本专利技术的一些实施例提供了一种基于多跳推理的机器阅读理解语义推理方法，简称推理方法，用于对复杂问题的答案进行推理。
[0031]本实施例中的基于多跳推理的机器阅读理解语义推理方法包括以下步骤：
[0032]S1：输入问题
[0033]S2：引入外部知识库，使用基于TF
‑
IDF的段落筛选模块从知识库中检索出与问题相关的段落；
[0034]S3：基于检索+推理结构形式的机器阅读理解方法，对提出的问题、问题中提及的实体、从外部知识库检索到的文档、问题的答案和根据答案节点构建的实体图进行向量嵌入表示(如图1所示)。初始条件下，实体图是一张空图；
[0035]S4：利用跨度提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多跳推理的机器阅读理解语义推理方法，其特征在于，包括如下步骤：步骤S1，接收问题；步骤S2，导入或访问外部知识库，基于TF
‑
IDF的段落筛选方法，从外部知识库中检索出与问题相关的段落；步骤S3，构建实体图，所述实体图用于将接收的问题、问题中提及的实体、从外部知识库中检索到的段落、从段落中提取的答案节点在实体图中进行向量嵌入表示；步骤S4，将问题、支持事实和相关段落输入编码器，提取答案跨度和下一跳实体位置的跨度；步骤S5，迭代步骤S4将每次迭代都将历经的答案节点添加到实体图中；并根据推理关系，在答案节点间建立边，获取实体图的邻接矩阵，并对所述邻接矩阵归一化处理，将得到的归一化邻接矩阵对实体图进行编码，直到推理到正确的实体或者推理步数达到设定阈值，迭代结束；步骤S6，基于得到的实体图，将答案分为分别对应特殊问题、替代问题和一般问题的答案；其中，特殊问题的答案由特定的文字描述组成，用于采用两层全连接网络做预测任务；对于替代问题和一般问题的答案，答案一般是实体本身或者回答是否的问题，将替代问题和一般问题看作一个二分类问题，用于采用两个全连接网络做预测任务；步骤S7，训练全连接网络，将训练任务分为Task1和Task2，采用联合训练的方式，先训练一代Task 1，之后Task1和Task2联合训练一代，以此得到最小化损失函数，从而构建管道式的神经网络模型，根据所述神经网络模型预测问题的答案。2.根据权利要求1所述的基于多跳推理的机器阅读理解语义推理方法，其特征在于，在步骤S2中，根据问...

【专利技术属性】
技术研发人员：刘瀛昊，李文颢，胡啸，
申请(专利权)人：中国舰船研究院中国船舶集团有限公司第七研究院，
类型：发明
国别省市：