基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质制造方法及图纸

本发明专利技术公开了一种基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质。提取方法包括以下步骤：S1、将词采用Word2vec模型，利用Skip‑gram模型构建词向量，再将词组成的句子映射为句子矩阵；S2、采用卷积神经网络提取词向量的局部特征；S3、采用BLSTM模型提取与词向量上下文相关的全局特征；S4、通过Attention机制提取局部特征、全局特征更深层次的信息特征，并将提取的特征进行融合；S5、将网络逐层提取得到的文本特征向量使用soft‑max分类器进行文本分类。本发明专利技术既解决了单卷积神经网络忽略词语在上下文语义信息的问题，也有效的避免了传统循环神经网络梯度消失或者梯度弥散的问题。

【技术实现步骤摘要】
基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质
本专利技术属于文本处理
，具体涉及一种基于CNN-BLSTM-Attention融合模型的文本特征提取方法、装置、聊天机器人和存储介质。
技术介绍
目前在文本特征提取上依然采用人工特征工程和浅层分类模型进行文本分类。训练文本分类器过程如图1所示。机器学习问题把数据转换成信息再提炼到知识的过程，决定了结果的上限，而模型和算法，则是去逼近这个上限，特征工程不同于分类器模型，十分耗时，且不具备很强的通用性，往往需要结合对特征任务的理解。所以一般都采用深度学习方法进行文本特征提取，主要包括：卷积神经网络模型(CNN)和长短期记忆人工神经网络(LSTM)。深度学习方法进行文本分类的第一步是将文本向量化，利用词向量表示文本，作为神经网络的输入。传统的文本表示方法是基于向量空间模型或one-hot表示。向量空间模型中向量的维度与词典中词的个数线性相关，随着数量的增多会产生维度灾难，one-hot虽然简单但是忽略了词语之间的语义。卷积神经网络是神经网络的一种专门处理矩阵输入的任务，如图2所示，能够将矩阵形式的输入编码为较低维度的一维向本文档来自技高网...

【技术保护点】
1.基于融合模型的文本特征提取方法，其特征在于，包括以下步骤：S1、将词采用Word2vec模型，利用Skip‑gram模型构建词向量，再将词组成的句子映射为句子矩阵；S2、采用卷积神经网络提取词向量的局部特征；S3、采用BLSTM模型提取与词向量上下文相关的全局特征；S4、通过Attention机制提取局部特征、全局特征更深层次的信息特征，并将提取的特征进行融合；S5、将网络逐层提取得到的文本特征向量使用soft‑max分类器进行文本分类。

【技术特征摘要】
1.基于融合模型的文本特征提取方法，其特征在于，包括以下步骤：S1、将词采用Word2vec模型，利用Skip-gram模型构建词向量，再将词组成的句子映射为句子矩阵；S2、采用卷积神经网络提取词向量的局部特征；S3、采用BLSTM模型提取与词向量上下文相关的全局特征；S4、通过Attention机制提取局部特征、全局特征更深层次的信息特征，并将提取的特征进行融合；S5、将网络逐层提取得到的文本特征向量使用soft-max分类器进行文本分类。2.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S2具体包括以下步骤：S21、将句子矩阵作为输入，输入到卷积神经网络的词嵌入层；S22、卷积神经网络的卷积层进行卷积操作，提取局部特征；S23、卷积神经网络的池化层进行池化操作，提取关键特征，舍弃冗余特征，生成固定维度的特征向量，将三个池化操作输出的特征拼接起来，得到输出，作为第一层全连接层输入特征的一部分。3.根据权利要求2所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S22具体为：选用3*80、4*80、5*80大小的滤波器各40个，步长stride大小设置为2，padding为VALID，进行卷积运算，通过卷积操作来提取句子的局部特征。4.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S3具体为：S31、将句子矩阵作为输入，输入到BLSTM模型的词嵌入层；S32、BLSTM模型的两个隐藏层保存两个方向的历史信息和未来信息；S33、将两个隐藏层输出部分拼接，得到输出，作为第一层全连接层输入特征的一部分。5.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，还包括采用tensorflow框架中的concat()方法对卷积神经网络和BLSTM模型输出的特征进行融合，...

【专利技术属性】
技术研发人员：张帆，
申请(专利权)人：南京云思创智信息科技有限公司，
类型：发明
国别省市：江苏,32