基于关系图卷积网络的推理型阅读理解方法技术

本发明专利技术公开了一种基于关系图卷积神经网络的推理型阅读理解方法：该方法主要针对在文档间进行推理的阅读理解场景，首先根据问题和候选答案，在文档间挖掘推理路径，抽取推理节点；然后利用问题节点，候选答案节点和推理节点构建一个图网络作为文档和候选答案的表示；利用上下文词向量初始化图网络的节点向量；接着利用问题相关的门控机制优化图卷积网络的更新公式，更新图网络中节点的表示；最后利用双向注意力机制再次对问题和图网络进行交互编码，并通过全连接网络输出每个候选答案的概率。本发明专利技术提出了一个解决推理型阅读理解任务的方法，能够在多篇文档之间进行推理，可以有效的提高推理型阅读理解任务的效果，对阅读理解的发展具有较大的意义。

Inferential reading comprehension method based on convolution network of relation graph

【技术实现步骤摘要】
基于关系图卷积网络的推理型阅读理解方法
本专利技术涉及基于关系图卷积网络的推理型阅读理解方法，特别是涉及一种包含推理路径的图卷积网络的选择式阅读理解，利用推理节点将推理路径的思想引入到图网络中，利用门控机制和注意力机制优化关系图卷积的更新方式，在推理过程中引入问题的信息。
技术介绍
阅读理解任务是指让机器像人一样，能够阅读文档，理解文档的意思，往往用关于文档的相关问题来验证机器理解文档的能力。阅读理解作为自然语言处理的一个重要任务，在最近几年成为学术和工业界的热点。在智能客服，自动问答系统有广泛的应用，能大大降低人工的劳动力，提高公司的效率。随着大数据，人工智能时代的到来，设计一个能够自动理解文档的阅读理解系统是非常有意义的，可以极大的促进人工智能的发展。早期的阅读理解模型主要受限于传统机器学习技术的缺陷和大规模数据集的缺失，随着深度神经网络的兴起和大规模数据集的构建，阅读理解任务在近几年发展迅速，成为学术界最炽手可热的研究热点。2015年Hermann等人提出了两个用于阅读理解任务的大规模数据集CNN和DailyMail。该数据集是一个完形填空式数据集，答案都是文档中的实体。并受机器翻译领域的启发，提出了基于注意力机制和循环神经网络的阅读理解模型，根据注意力机制的不同分为AttentiveReader和ImpatientReader，在这两个数据集上相对传统的自然语言处理方法取得了巨大的提升，成为了后来许多研究的基础。2016年，斯坦福提出了著名的阅读理解数据集SQuAD。SQuAD是典型的抽取式数据集，每个样例包含一个问题，对应的文档和文档中某个连续片段作为答案。2018年，Kociskyd等人提出了NarrativeQA数据集，该数据集需要机器读懂文档，从文档的不同片段推理总结才能得到正确答案。同年，Welbl等人公开了WIKIHOP数据集，Yang等人公开了HotpotQA数据集，这两个数据集都是基于多文档的推理式阅读理解数据集，计算机需要至少从两篇不同文档中提取信息并经过多跳的推理才能得到正确的答案。其中WIKIHOP是答案选择式数据集，HotpotQA是答案抽取式数据集。Cao等人提出了多跳推理阅读理解任务的新方法，利用关系图卷积网络代替传统的RNN来编码文档，图中的节点表示文档中的实体，定义了多种边的关系，利用关系图卷积公式模拟多文档之间的推理过程，他们提出了模型Entity-GCN在WIKIHOP数据集上刷新了当时的最好效果。YuCao等人在基于Entity-GCN的基础上，应用双向注意力机制来学习基于问题相关的表示，并引入了ELMo，GloVe，POS，NER等多层次特征信息。本专利技术设计并实现了一个基于关系图卷积网络的推理型阅读理解方法。该方法利用目前最新的关系图卷积网络(RGCN)来模拟文档间推理的过程，并且利用推理节点成功将推理路径的思想引入到图网络中，利用注意力机制和门控机制优化关系图卷积的过程，引入问题的信息。
技术实现思路
本专利技术为了解决现实中从多篇文档中进行推理，自动回答问题的场景，提出了一种基于关系图卷积网络的推理型阅读理解方法，能够有效回答需要多篇文档间进程推理的阅读理解问题。本专利技术解决其技术问题采用的技术方案如下：一种基于关系图卷积网络的推理型阅读理解方法，包括以下步骤：1)抽取问题节点和候选答案节点：首先利用实体识别工具抽取问题中的实体，然后在文档中寻找该实体，将找到的实体作为一个问题节点，不同的位置的实体做为问题不同的节点；对于候选答案节点，将每个候选答案当做一个实体，然后与问题中的实体做相同的操作形成候选答案节点；2)抽取推理节点：首先用实体识别工具抽取所有文档的实体；然后选取某一文档中包含问题节点的句子sq，找到句子sq中除问题节点q外的其他实体集m1，然后在其他文档找到另一个包含了m1中的某个实体e1的句子s1。判断句子s1中是否含有某个候选答案节点，如果存在某个候选答案节点c，则找到一条从问题节点q到候选答案节点c的路径为q→e1→c，其中问题节点与候选答案节点之间的节点为推理节点；如果句子s1中不存在任何候选答案节点，则继续找到s1句子中除实体e1外的其他实体集m2，重复上述过程，直到找到存在候选答案的句子；3)基于推理路径的图网络构建：图网络的构建主要包含节点的确定和边关系的确定。首选以步骤1)和步骤2)抽取的问题节点，候选答案节点和推理节点作为图网络的节点，根据步骤2)中得到的路径添加不同的边关系形成图网络，以此来作为文档和候选答案的表示；4)图网络的初始化：用步骤3)获得的图网络表示所有文档和候选答案，将所有文档通过深度上下文词向量表示模型(ELMo)，获得文档中每个词的上下文相关表示，然后抽取文档中对应图网络节点的词向量，与静态词向量组合作为图网络节点的初始化向量表示。5)引入问题信息的关系图卷积更新：利用关系图卷积网络(RGCN)来更新步骤3)获得的图网络时，首先利用双向长短期记忆网络(BiLSTM)将问题编码为qrnn，然后利用关系图卷积公式获得图网络节点的更新表示为然后利用注意力机制和门控机制将qrnn引入到节点表示中，接着在利用一个门控机制结合上一时刻的节点表示和更新后的表示获得当前时刻的向量表示将该关系图卷积更新过程堆叠L层获得图网络的表示6)基于双向注意力机制的交互编码：利用双向注意力机制对步骤5)得到的图网络的和qrnn进行交互，然后将交互后的向量拼接，形成节点最终的向量表示；7)答案输出层：将步骤6)获得的节点向量表示，经过两层的全连接网络，输出每个候选答案的概率，选择概率最大的候选答案作为问题最终的答案。进一步地，所述的步骤1)中，在文档中寻找相应的实体时，将所有标点统一化，字符小写化，然后采用字符匹配的方式去匹配实体。进一步地，步骤1)中，所述候选答案为实体或者短语。进一步地，所述步骤2)中，实体识别工具采用斯坦福大学提供的stanfordcorenlp工具包，并过滤掉日期，数字等无意义的实体。进一步地，所述步骤3)中，所述图网络中的边关系具有以下6类，分别为：a)为问题中的实体节点和与它出现在同一个句子中的推理节点添加一种边关系；b)为出现在同一个推理路径中邻接的推理节点添加一种边关系；c)为候选答案的节点和与它出现在同一个句子中的推理节点添加一种边关系；d)为对应同一个候选答案的不同节点添加一种边关系；e)为出现在同一篇文档中的所有节点添加一种边关系；f)为不存在上述5类关系的两个节点，添加一种边的关系。进一步地，所述步骤4)中，静态词向量采用斯坦福大学提供的GloVe词向量，上下文词向量采用AllenNLP提供的已经预训练好的EMLo模型。并且静态词向量和上下文词向量的组合方式采用词向量拼接的方式，然后通过一个全连接网络，得到节点的初始化表示。其中如果节点由多个单词组成，则分别计算GloVe和ELMo向量的均值再拼接。进一步地，所述步骤5)中，图卷积更新的具体过程公式为：...

【技术保护点】
1.一种基于关系图卷积网络的推理型阅读理解方法，其特征在于，包括以下步骤：/n1)抽取问题节点和候选答案节点：首先利用实体识别工具抽取问题中的实体，然后在文档中寻找该实体，将找到的实体作为一个问题节点，不同的位置的实体做为问题不同的节点；对于候选答案节点，将每个候选答案当做一个实体，然后与问题中的实体做相同的操作形成候选答案节点；/n2)抽取推理节点：首先用实体识别工具抽取所有文档的实体；然后选取某一文档中包含问题节点的句子s

【技术特征摘要】
1.一种基于关系图卷积网络的推理型阅读理解方法，其特征在于，包括以下步骤：
1)抽取问题节点和候选答案节点：首先利用实体识别工具抽取问题中的实体，然后在文档中寻找该实体，将找到的实体作为一个问题节点，不同的位置的实体做为问题不同的节点；对于候选答案节点，将每个候选答案当做一个实体，然后与问题中的实体做相同的操作形成候选答案节点；
2)抽取推理节点：首先用实体识别工具抽取所有文档的实体；然后选取某一文档中包含问题节点的句子sq，找到句子sq中除问题节点q外的其他实体集m1，然后在其他文档找到另一个包含了m1中的某个实体e1的句子s1。判断句子s1中是否含有某个候选答案节点，如果存在某个候选答案节点c，则找到一条从问题节点q到候选答案节点c的路径为q→e1→c，其中问题节点与候选答案节点之间的节点为推理节点；如果句子s1中不存在任何候选答案节点，则继续找到s1句子中除实体e1外的其他实体集m2，重复上述过程，直到找到存在候选答案的句子；
3)基于推理路径的图网络构建：图网络的构建主要包含节点的确定和边关系的确定。首选以步骤1)和步骤2)抽取的问题节点，候选答案节点和推理节点作为图网络的节点，根据步骤2)中得到的路径添加不同的边关系形成图网络，以此来作为文档和候选答案的表示；
4)图网络的初始化：用步骤3)获得的图网络表示所有文档和候选答案，将所有文档通过深度上下文词向量表示模型(ELMo)，获得文档中每个词的上下文相关表示，然后抽取文档中对应图网络节点的词向量，与静态词向量组合作为图网络节点的初始化向量表示。
5)引入问题信息的关系图卷积更新：利用关系图卷积网络(RGCN)来更新步骤3)获得的图网络时，首先利用双向长短期记忆网络(BiLSTM)将问题编码为qrnn，然后利用关系图卷积公式获得图网络节点的更新表示为然后利用注意力机制和门控机制将qrnn引入到节点表示中，接着在利用一个门控机制结合上一时刻的节点表示和更新后的表示获得当前时刻的向量表示将该关系图卷积更新过程堆叠L层获得图网络的表示
6)基于双向注意力机制的交互编码：利用双向注意力机制对步骤5)得到的图网络的和qrnn进行交互，然后将交互后的向量拼接，形成节点最终的向量表示；
7)答案输出层：将步骤6)获得的节点向量表示，经过两层的全连接网络，输出每个候选答案的概率，选择概率最大的候选答案作为问题最终的答案。


2.根据权利要求1所述的基于关系图卷积网络的推理型阅读理解方法，其特征在于，所述的步骤1)中，在文档中寻找相应的实体时，将所有标点统一化，字符小写化，然后采用字符匹配的方式去匹配实体。


3.根据权利要求1所述的基于关系图卷积网络的推理型阅读理解方法，其特征在于，步骤1)中，所述候选答案为实体或者短语。


4.根据权利要求1所述的基于关系图卷积网络的推理型阅读理解方法，其特征在于，所述步骤2)中，实体识别工具采用斯坦福大学提供的stanfordcorenlp工具包，并过滤掉日期，数字等无意义的实体。


5.根据权利要求1所述的基于关系图卷积网络的推理型阅读理解方法，其特征在于，所述步骤3)中，所述图网络中的边关系具有以下6类，分别为：
a)为问题中的实体节点和与它出现在同一个句子中的推理节点添加一种边关系；
b)为出现在同一个推理路径中邻接的推理节点添加一种边关系；
c)为候选答案的节点和与它出现在同一个句子中的...

【专利技术属性】
技术研发人员：鲁伟明，汤泽云，吴飞，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33