基于机器阅读理解的文本问答系统技术方案

本发明专利技术涉及一种基于机器阅读理解的文本问答系统,包括编码层、重关注层和推理预测层；所述编码层包括WordNet知识图谱、词向量工具GloVe、预训练语言模型BERT和双向GRU网络模型；所述重关注层采用引入重关注机制多层注意力架构；所述推理预测层采用指针网络来预测答案跨度位置，并使用交叉熵代价函数以最大化对真值跨度的预测。本发明专利技术能有效提升文本问答的准确率。准确率。准确率。

【技术实现步骤摘要】
基于机器阅读理解的文本问答系统


[0001]本专利技术涉及自然语言处理与人工智能领域，具体涉及一种基于机器阅读理解的文本问答系统。

技术介绍

[0002]文本问答，旨在构建能够回答任意自然语言问题的计算机系统，是自然语言处理与人工智能领域内最具难度的挑战之一。阅读理解式问答，又称机器阅读理解，是文本问答的一个子任务，在近年来受到学术界和产业界的极大关注。机器阅读理解的目标是教会机器阅读并理解人类语言文本并回答相应问题。由于该任务天然地可以被用来衡量机器自然语言理解能力，因此具有重大的研究价值。此外，阅读理解技术还能被广泛应用于问答应用、搜索引擎以及对话系统中，故具备极强的实用性。
[0003]文本问答按照历史发展脉络大致可分为4类:基于规则的问答，检索式问答，知识库问答和阅读理解式问答。早期的基于规则的问答系统往往采用人工构建文法规则的方式，将问题转化为结构化的查询语句，然后检索数据库以得到答案。阅读理解式问答，又称机器阅读理解，自2015年以来取得了突飞猛进的发展。机器阅读理解是指：给定一段文本,如果对于任何有关该文本的问题,大多数母本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器阅读理解的文本问答系统,其特征在于，包括编码层、重关注层和推理预测层；所述编码层包括WordNet知识图谱、词向量工具GloVe、预训练语言模型BERT和双向GRU网络模型；所述重关注层采用引入重关注机制多层注意力架构；所述推理预测层采用指针网络来预测答案跨度位置，并使用交叉熵代价函数以最大化对真值跨度的预测。2.根据权利要求1所述的基于机器阅读理解的文本问答系统,其特征在于，所述编码层将给定问题和段落的词序列采用WordNet知识图谱和词向量工具GloVe转换为单词级别的向量表示，并将它们整合到预训练语言模型BERT的表示中去，接着使用双向GRU网络模型对改善后的BERT表示进行融合。3.根据权利要求1所述的基于机器阅读理解的文本问答系统,其特征在于，所述重关注层包括三层注意力机制层；所述注意力机制层包括双向重关注层、段落重关注层和融合层。4.根据权利要求3所述的基于机器阅读理解的文本问答系统,其特征在于，所述双重关注层用于捕捉段落
‑
问题间的交互信息以形成问题感知的段落表示，具体如下：双向重关注层接受当前问题和段落的编码表示作为输入，设和分别指代长度为l
q
的问题和长度为l...

【专利技术属性】
技术研发人员：苏江文，卢伟龙，张晓东，陈江海，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：