一种文本中全局特征的提取方法、系统及相关装置制造方法及图纸

本申请提供一种文本中全局特征的提取方法，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。通过引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。本申请还提供一种文本中全局特征的提取系统、一种计算机可读存储介质和一种终端，具有上述有益效果。

A Method, System and Related Device for Extracting Global Features in Text

【技术实现步骤摘要】
一种文本中全局特征的提取方法、系统及相关装置
本申请涉及深度学习领域，特别涉及一种文本中全局特征的提取方法、系统及相关装置。
技术介绍
当前，随着互联网的快速发展，每天产生的文本数据在爆炸式的增长。由于文本数据的杂乱无章，仅仅通过人工的方式很难进行整理和区分。文本分类是用计算机设备对文本集(或其他实体或物件)按照一定的分类体系或标准进行自动分类标记。在文本分类中，如何通过预处理获取文本特征信息，一直是学者研究的热点问题。随着深度学习技术的飞速发展，深度学习在文本分类上的应用所取得的效果相比较于传统的文本分类算法如朴素贝叶斯，支持向量机(SupportVectorMachine，SVM)等等取得了更好的效果。卷积神经网络(ConvolutionalNeuralNetwork，CNN)是一种前馈神经网络，最初是从猫眼视觉机制上得到启发，而被设计出来。它的神经元可以响应一部分覆盖范围内的周围单元，在图像识别和语音识别等任务上有着出色的表现。卷积神经网络(CNN)与其他深度学习结构相比，需要的参数更少。Kalchbrenner提出把CNN应用于自然语言处理，并设计了一个动态的神经网络(DynamicConvolutionNeuralNetwork，DCNN)，用来处理长度不同的文本；Kim将经过预处理的词向量作为输入，利用卷积神经网络实现句子级别的分类任务。然而，现有技术中文本分类中卷积神经网络(CNN)无法获取文本全局特征，且双向循环神经网络(BiLSTM)无法获取文本局部特征，给本领域技术人员带来较大困扰。
技术实现思路
本申请的目的是提供一种文本中全局特征的提取方法、提取系统、一种计算机可读存储介质和一种终端，解决了卷积神经网络无法获取文本全局特征的问题。为解决所述技术问题，本申请提供一种文本中全局特征的提取方法，具体技术方案如下：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。其中，还包括：将CNN模型与所述BiLSTM模型相结合，得到BiLSTM-CNN模型；将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量；并将所述特征向量作为所述BiLSTM-CNN模型的输出，和所述CNN模型的输入向量；对所述特征向量进行一维卷积，并经滤波器处理得到最终特征向量。其中，所述滤波器的大小可以为所述预设单词的特征向量的倍数。其中，将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量包括：假设xj(j＝1,…,n)为所述文本中的第j个单词的输入向量，其维度为K；和是所述第j个单词的输入向量xj经过所述BiLSTM模型得到的特征向量，其维度分别是和将拼接后的向量作为所述第j个单词的特征向量，其维度为作为所述BiLSTM-CNN模型的输出，和所述CNN模型的输入向量；对其进行一维卷积；所述CNN模型中的滤波器的数目为K，得到了K个所述特征向量。其中，还包括：利用LSTM模型引入残差连接和注意力机制，并结合所述BiLSTM-CNN模型得到DHABLCR模型。其中，还包括：将所述文本中的每个单词采用独热码表示；将所述单词映射成低维词向量，并生成输出序列；在MaxPooling层对所述输出序列中所述预设单词的输入特征向量选择最高值作为所述预设单词的显著特征；将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量。其中，将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量之后，还包括：经过Softmax层对所述文本进行分类。本申请还提供一种文本中全局特征的提取系统，其特征在于，包括：矩阵计算模块，用于利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；矩阵拼接模块，用于将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；特征提取模块，用于利用卷积神经网络抽取所述新矩阵的全局特征。本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的提取方法的步骤。本申请还提供一种终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的提取方法的步骤。本申请提供一种文本中全局特征的提取方法，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。本专利技术提出的将CNN网络和BiLSTM网络进行融合的模型。该模型引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。本申请还提供一种文本中全局特征的提取系统、一种计算机可读存储介质和一种终端，具有上述有益效果，此处不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种文本中全局特征的提取方法的流程图；图2为本申请提供的前向LSTM模型示意图；图3为本申请提供的后向LSTM模型示意图；图4为本申请提供的BiLSTM模型示意图；图5为本申请提供的BiLSTM-CNN模型示意图；图6为本申请提供的CNN模块的结构展开图；图7为本申请提供的DAHBLCR模型示意图；图8为本申请提供的Attention模块结构示意图；图9为本申请提供的文本分类模型示意图；图10为本申请提供的一种文本中全局特征的提取系统结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参考图1，图1为本申请实施例所提供的一种文本中全局特征的提取方法的流程图，该提取方法包括：S101：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；S102：将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；S103：利用卷积神经网络抽取所述新矩阵的全局特征。LSTM作为传统的序列模型，一般只朝一个方向读取文本，图2和图3分别表示从前往后读取文本的前向LSTM模型，和从后往前读取文本的后向LSTM模型。参见图4，图4为本申请提供的BiLSTM模型示意图，Bi-LSTM即双向LSTM，较单向的LSTM，Bi-LSTM能更好地捕获句子中上下文的信息。在图5中，xj(j＝1,…,n)是文本中的第j个单词的输入向量，其维度为K。和是第j个单词的输入向量xj经过BiLSTM模型得到的特征向量，其维度分别是和在图6本文档来自技高网...

【技术保护点】
1.一种文本中全局特征的提取方法，其特征在于，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。

【技术特征摘要】
1.一种文本中全局特征的提取方法，其特征在于，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。2.根据权利要求1所述的提取方法，其特征在于，还包括：将CNN模型与所述BiLSTM模型相结合，得到BiLSTM-CNN模型；将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量；将所述特征向量作为所述BiLSTM-CNN模型的输出，同时作为所述CNN模型的输入向量；对所述特征向量进行一维卷积，并经滤波器处理得到最终特征向量。3.根据权利要求2所述的提取方法，其特征在于，所述滤波器的大小可以为所述预设单词的特征向量的倍数。4.根据权利要求3所述的提取方法，其特征在于，将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量包括：令xj(j＝1,…,n)为所述文本中的第j个单词的输入向量，所述输入向量的维度为K；和是所述第j个单词的输入向量xj经过所述BiLSTM模型得到的特征向量，其维度分别是和将拼接后的向量作为所述第j个单词的特征向量，所述特征向量的维度为作为所述BiLSTM-CNN模型的输出，同时作为所述CNN模型的输入向量；对所述特征向量进行一维卷积；所述CNN模型中的滤波器的数目为K，得到...

【专利技术属性】
技术研发人员：关立刚，陈平华，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44