基于图卷积网络的阅读理解方法技术

本发明专利技术公开了一种基于图卷积神经网络的阅读理解方法：该方法主要针对多篇文档中寻找答案的阅读理解场景，首先用预训练好的词向量初始化问句和文档的表示；利用双向的长短期记忆网络(LSTM)获取问句和文档的语义表示；然后构建图网络来表示每个样本，利用图卷积网络学习文档的表示；接着将图卷积网络学习的向量表示和长短期记忆网络获得的向量表示融合形成文档最终的向量表示；利用候选答案抽取，文档选择，候选答案验证3个任务一起作用抽取问题的最终答案。本发明专利技术提出了一个解决多文档的阅读理解任务的方法，能够考虑多篇文档之间的交互性，可以有效的提高多文档阅读理解任务的效果，对阅读理解，智能问答的发展具有较大的意义。

【技术实现步骤摘要】
基于图卷积网络的阅读理解方法
本专利技术涉及基于图卷积网络的阅读理解方法，特别是涉及一种自动化图卷积网络的抽取式阅读理解，用多任务和答案验证的方式解决多篇文档的难题。
技术介绍
阅读理解任务是指让机器像人一样，能够阅读文档，理解文档的意思，往往用关于文档的相关问题来验证机器理解文档的能力。阅读理解作为自然语言处理的一个重要任务，在最近几年成为学术和工业界的热点。在智能客服，自动问答系统有广泛的应用，能大大降低人工的劳动力，提高公司的效率。随着大数据，人工智能时代的到来，设计一个能够自动理解文档的阅读理解系统是非常有意义的，可以极大的促进人工智能的发展。最近几年，自然语言处理得到了很大的发展，阅读理解任务作为自然语言处理的重要问题，吸引了广大研究学者的参与，提出了很多的用于研究的数据集。从数据集的任务上来说，阅读理解可以分为两个阶段。最早提出的SQUAD和CNN/Dailymail等数据集，提供了大量监督数据。这些数据集一般只包含一个问题，一篇文档，从提供的一篇文档中寻找答案。在此之上研究出了BIDAF，SAN等优秀的阅读理解模型。然而这本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的阅读理解方法，其特征在于，包括以下步骤：/n1)词向量初始化：对于每个问题和对应的多篇文档，首先对问题和文档进行分词；用预训练好的词向量初始化分词后的问题和文档，得到问题和文档中每个词的词向量；/n2)基于注意力机制的文档和问题的向量表示：对于步骤1)初始化完成的文档和问题，首先利用双向长短期记忆网络(LSTM)对文档和问题进行进一步编码，得到包含上下文信息的向量表示；然后根据双向注意力机制，获得经过注意力交互后的问题和文档的向量表示；/n3)基于图卷积网络的文档交互表示：对于每个问题和对应的多篇文档，构建一个图网络表示问题和其对应的多篇文档，图网络中的节点表示一个词，...

【技术特征摘要】
1.一种基于图卷积网络的阅读理解方法，其特征在于，包括以下步骤：
1)词向量初始化：对于每个问题和对应的多篇文档，首先对问题和文档进行分词；用预训练好的词向量初始化分词后的问题和文档，得到问题和文档中每个词的词向量；
2)基于注意力机制的文档和问题的向量表示：对于步骤1)初始化完成的文档和问题，首先利用双向长短期记忆网络(LSTM)对文档和问题进行进一步编码，得到包含上下文信息的向量表示；然后根据双向注意力机制，获得经过注意力交互后的问题和文档的向量表示；
3)基于图卷积网络的文档交互表示：对于每个问题和对应的多篇文档，构建一个图网络表示问题和其对应的多篇文档，图网络中的节点表示一个词，每个词用步骤2)中得到的文档向量表示。构建图网络的具体过程主要分为两个步骤，第一是节点的抽取：对于问题中的每个词，首先找到文档中对应的词作为中心词，并按照一定大小的滑动窗口找到中心词周围的词，选取这些词作为图的节点；第二是图中节点边的定义，主要定义两种边的关系：第一种，在文档中，根据问题找到的词，这些词对应的节点两两相连，每两个节点连成一条边；第二种，在文档中，根据问题找到的词，以这个词为中心词，将中心词周围的词两两相连，每两个词对应的节点连成一条边。构建完图网络之后，用图卷积网络(GCN)更新图中每个节点的向量表示
4)基于图卷积网络和双向长短期记忆网络联合表示：用步骤3)中获得的节点向量与步骤2)中获得的文档向量进行拼接得到联合向量。然后在联合向量上利用注意力机制，得到文档最终的向量表示；
5)基于多任务的答案选择：首先将步骤4)得到的文档向量，进行自注意力机制之后，输入到一个全连接网络中，输出一个文档选择分数，用于表示问题的正确答案出现在这篇文档中的概率。然后对每一篇文档，将步骤4)得到的文档向量输入到指针网络中，输出为两个指针，以两个指针之间的片段作为候选答案，以两个指针的分数之和作为该候选答案的文档抽取分数。
6)基于图卷积网络的答案交互验证：将问题和步骤5)得到的多个候选答案文本根据步骤1)-3)得到用图卷积网络(GCN)更新后的候选答案的向量表示；用步骤3)中获得的候选答案向量与步骤2)中获得的候选答案向量进行拼接得到候选答案的联合向量，再对候选答案的联合向量之间进行自注意力机制，最后得到每个候选答案的最终向量表示，然后输入到全连接网络中，输出为每个候选答案的答案验证分数。
7)将步骤5)得到的文档选择分数和文档抽取分数与步骤6)得到的答案验证分数相加，做为每个候选答案的最终分数，选择最终分数最高的候选答案作为问题的答案。


2.根据权利要求1所述的基于图卷积网络的阅读理解方法，其特征在于，所述的步骤1)中，对问题和文档分词具体为：
a)将标点统一化，有中文标点的改成英文标点；
b)大小写统一，将所有单词都小写化；
c)利用空格和标点对文档和问题进行分词。


3.根据权利要求1所述的基于图卷积网络的阅读理解方法，其特征在于，所述步骤2)中，用双向LSTM编码的过程具体为：利用LSTM，正向编码问题和文章，再反向编码问题和文章，然后将正向的向量和反向的向量拼接形成最终的双向LSTM编码。LSTM的公式为：
ft＝σ(Wf·[ht-1...

【专利技术属性】
技术研发人员：鲁伟明，汤泽云，吴飞，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33