一种深度可分离卷积残差块的阅读理解方法技术

本发明专利技术公开了一种深度可分离卷积残差块的阅读理解系统及方法，涉及自然语言处理技术领域，技术方案为，包括以下步骤：数据预处理，对数据进行词向量化表示，转化为网络能够识别的数据信息；提取上下文特征信息，采用卷积残差块对输入数据进行编码，获取输入文本上下文的语义信息；提取交互特征信息，采用三线性相似函数获取文本段落和问题间的语义交互信息；推测并输出答案，采用卷积残差快对交互信息进行编码，并输出预测。相对现有技术，本发明专利技术能够在确保答案准确性的同时，显著提升模型的训练和推理速率。

A reading comprehension method of deep separable convolutional residuals

【技术实现步骤摘要】
一种深度可分离卷积残差块的阅读理解方法
本专利技术涉及自然语言处理
，特别涉及一种深度可分离卷积残差块的阅读理解方法。
技术介绍
阅读理解是指通过对文档的阅读和理解，从而推测出问题的正确答案。目前的阅读理解模型主要基于递归神经网络，它的序列特性很适合学习长距离文本上下文信息，但也排除了实例内的并行化，使训练和推理都很慢，对实时应用的部署带来很大挑战。针对该问题，利用深度可分离卷积可以多通道并行处理、计算复杂度低及残差网络容易优化等优点，提出一种基于深度可分离卷积残差块的阅读理解模型。首先，设计了一个深度可分离卷积和残差网络相结合的卷积残差块，该模块能够在网络深度增加的同时保持较少的参数，提升运算效率。在此基础上，利用设计的模块对阅读理解模型进行改进，达到更高效的语义理解能力。实验结果表明，与基准模型相比，提出的模型在确保答案推断准确性的同时，进一步显著提升了模型训练和推理的效率。
技术实现思路
针对上述技术问题，本专利技术提供一种深度可分离卷积残差块的阅读理解方法。其技术方案为，包括如下步骤：S1、采用本文档来自技高网...

【技术保护点】
1.一种基于深度可分离卷积残差块的阅读理解方法，其特征在于，包括如下步骤：/nS1、采用NLTK对待处理的阅读文本和提问问题进行预处理，并进行词向量化表示，转化为网络能够识别的数据信息；/nS2、提取上下文特征信息，采用卷积残差块对所述阅读文本和提问问题进行编码，获取输入文本上下文的语义信息；/nS3、提取交互特征信息，采用三线性相似函数获取阅读文本段落和所提问问题间的语义交互信息；/nS4、推测并输出答案，采用卷积残差块对交互信息进行编码，并输出预测。/n

【技术特征摘要】
1.一种基于深度可分离卷积残差块的阅读理解方法，其特征在于，包括如下步骤：
S1、采用NLTK对待处理的阅读文本和提问问题进行预处理，并进行词向量化表示，转化为网络能够识别的数据信息；
S2、提取上下文特征信息，采用卷积残差块对所述阅读文本和提问问题进行编码，获取输入文本上下文的语义信息；
S3、提取交互特征信息，采用三线性相似函数获取阅读文本段落和所提问问题间的语义交互信息；
S4、推测并输出答案，采用卷积残差块对交互信息进行编码，并输出预测。


2.根据权利要求1所述的基于深度可分离卷积残差块的阅读理解方法，其特征在于，所述S1的具体步骤为：
S101、采用预先训练好的300维Glove模型对待处理的阅读文本和提问问题进行初始化，获得每个单词的词嵌入；
S102、采用卷积神经网络根据所述阅读文本和提问问题获得每个词的字符嵌入；
S103、将S101和S102获取的词嵌入和字符嵌入进行连接，得到输入数据信息的词向量表示。


3.根据权利要求2所述的基于深度可分离卷积残差块的阅读理解方法，其特征在于，所述S2具体步骤为：
S201、采用深度可分离卷积和残差网络，设计卷积残差块；
S202、在卷积残差块中引入多头注意力机制，去弥合文本段落或问题中在空间上完全不同但语义相关的词之间的差距，从而获取文本段落和问题中长距离的文本信息。...

【专利技术属性】
技术研发人员：蔡晓东，郑淑婷，侯珍珍，田文靖，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45