一种基于双通道模型的文本情感分析方法技术

本发明专利技术针对目前单通道神经网络模型结构单一，无法充分提取文本信息的问题，提出一种基于双通道模型的文本情感分析方法。包括步骤：首先使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；然后将其作为输入数据，分别送入卷积神经网络(CNN)和长短时记忆(LSTM)网络中进行特征提取；并在其后引入注意力模型，提取文本重要特征信息；最后将两个通道所提取的文本特征进行合并，利用分类层进行情感分类。本发明专利技术所提方法具有可行性和优越性，其性能明显优于其他单通道神经网络模型。

【技术实现步骤摘要】
一种基于双通道模型的文本情感分析方法
本专利技术提出一种基于双通道模型的文本情感分析方法，涉及文本情感分析领域。
技术介绍
近年来，随着互联网产业的快速发展，出现了众多新兴媒体，这些新媒体不断地冲击和改变着人们的生活方式。各种电商平台的崛起，使得足不出户的网络购物变得简单也流行，而这种购物方式得到的唯一反馈就是消费者所留下的消费体验评论，这些真实的评论是决定潜在消费者是否消费的唯一依据。因此对这些大量带有感情色彩的文本进行情感分析，是对电商平台或者消费者群体都有益的工作。文本情感分析的主要任务就是对带有感情色彩的文本信息进行分析，提取特征，并做出极性判断。目前文本情感分析的方法主要有两种，基于情感词典的方法和基于机器学习的方法。其中基于情感字典的方法通过对文本中的情感词进行一定方式的组合计算，最终得到文本的情感极性。但是随着社会的发展，该方法在面对日益多元化的文本时，效果就不够理想。另外，使用机器学习方法进行文本情感分析，需要大量人工设计的数据特征，随着要处理的文本数据集的增加，传统机器学习方法已经无法又快又好的学习文本的深层信息特征。在使用传统方法在进行文本信息特征提取的时候，都是对文本进行无差别的特征提取，但是值得注意的是文本中每个词语对整个文本情感极性的贡献是不同的，常用的神经网络，如卷积神经网络(ConvolutionalNeuralNetwork,CNN)和长短时记忆网络(LongShort-TermMemory,LSTM)，提取特征时无法分辨句子中重要信息的位置，从而导致文本分类结果受无关信息的影响很大。现有的情感分析方法基本都是通过构建单通道的神经网络模型来进行文本特征的提取，而单通道模型随着网络层数的增加，性能将受到影响，不能够充分的提取文本的特征。本专利技术提出一种基于双通道模型的文本情感分析方法，构建了一种双通道注意力模型(Dual-ChannelAttentionModel，DCAM)，首先使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；然后将其作为输入数据，分别送入卷积神经网络(CNN)和长短时记忆(LSTM)网络中进行特征提取；并在其后引入注意力模型，提取文本重要特征信息；最后将两个通道所提取的文本特征进行合并，利用分类层进行情感分类。该方法将CNN和LSTM的优势集成在一起，即提取了文本的局部特征，也考虑了文本的序列信息，并且能够更加充分的提取文本特征信息，增强重要信息对文本的影响力，减少不重要信息对文本分类的干扰，从而提升分类效果。
技术实现思路
有鉴于此，本专利技术的主要目的在于将CNN和LSTM的优势集成在一起，并分别在两个通道后引入注意力机制，增强对重要信息的分辨能力，减少不重要信息对文本分类的干扰，从而提升分类正确率。为了达到上述目的，本专利技术提出的技术方案为：一种基于双通道模型的文本情感分析方法，所述方法包括如下步骤:步骤1、对数据集进行预处理，使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；步骤2、将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层；步骤3、将训练好的词向量矩阵作为LSTM网络的输入，学习文本的序列信息，并使用注意力机制学习重要文本信息；步骤4、将两个通道提取到的文本特征合并，输入Softmax分类层进行分类，通过与文本原有标签对比计算，得出文本分类正确率。综上所述，本专利技术将CNN的局部特征提取能力LSTM的序列信息学习能力相结合，并使用注意力机制识别重要特征，增强重要信息对文本的影响力，减少不重要信息对文本分类的干扰，从而提升分类正确率。附图说明：图1为本专利技术所述的一种基于双通道模型的文本情感分析方法的总体流程示意图；图2为使用Word2Vec训练词向量，将文本表示成词向量矩阵形式的流程示意图；图3为CNN通道提取特征流程示意图；图4为LSTM通道提取特征流程示意图；图5为使用Softmax分类层进行分类，计算文本分类正确率的流程示意图；图6为使用中文数据集所得到的准确率结果。具体实施方式：下面将结合本专利技术的附图，对本专利技术的技术方案进行清楚、完整地描述，显然，所举实例用于解释说明，并非限定本专利技术的实施方式，本专利技术也可以通过其它不同的具体实施方式实施。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术所述的一种基于双通道模型的文本情感分析方法的总体流程示意图，如图1所示，本专利技术所述基于双通道模型的文本情感分析方法，包括如下步骤:步骤1、对数据集进行预处理，使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式步骤2、将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层；步骤3、将训练好的词向量矩阵作为LSTM网络的输入，学习文本的序列信息，并使用注意力机制学习重要文本信息；步骤4、将两个通道提取到的文本特征合并，输入Softmax分类层进行分类，通过与文本原有标签对比计算，得出文本分类正确率。图2为使用Word2Vec训练词向量，将文本表示成词向量矩阵形式的流程示意图，如图2所示，步骤1中，对数据集进行预处理，使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式，包括如下步骤:步骤11、对文本进行预处理，利用结巴分词工具对语料进行分词处理，并过滤掉停用词；步骤12、使用Word2Vec将预处理过的语料训练为固定维度词向量，格式如下：，其中,d代表词向量维度，取值128；步骤13、将词向量按照顺序拼接成为固定大小的词向量矩阵。图3为CNN通道提取特征流程示意图，如图3所示，步骤2中，将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层，包括如下步骤:步骤21、通过在输入矩阵上使用线性滤波器的方式执行卷积操作，可以表示如下：上式中为偏置项，为高度为=3，4，5，宽度为=128的卷积核，为非线性激活函数，采用ReLu作为激活函数,表示为下式：步骤22、卷积操作完成后，得到一张特征图C，上式中，分号表示对卷积操作产生的特征进行拼接;步骤23、使用tanh函数将CNN得到的特征非线性变换为，表示为；步骤24、初始化注意力矩阵,将其与进行点乘运算，使用Softmax函数对其进行归一化操作，得到CNN层的输出权重系数，步骤25、通过将权重系数与特征图相乘，得到CNN经过注意力层后所提取的文本特征，表示为向量。图4为LSTM通道提取特征流程示意图，如图4所示，步骤3中，将训练好的词向量矩阵作为LSTM网络的输入，学习文本的序列信息，并使用注意力机制学习重要文本信息，包括如下步骤:步骤31、将转换过的固定大小的词向量矩阵分为个时间步，即每个时间步处理一个词语的词向量，将其送入LSTM网络进行训练，最终得到LSTM网络当前隐层状态步骤32、将LSTM网络中的隐藏层状态非线性变换为：步骤33、初始化注意力矩阵,将其与进行点乘运算，使用Softmax函数对其进行归一化操作，得到LSTM层的输出权重系数：步骤34、通过将权重系数与隐层状态相乘，得到引入注意力机制的LSTM层提取的特征向量，表示为。图5为使用Softmax分类层进行分类，计算文本分类本文档来自技高网...

【技术保护点】
1.一种基于双通道模型的文本情感分析方法，其特征在于，所述文本情感分析方法包括以下步骤:步骤1、对数据集进行预处理，使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；步骤2、将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层；步骤3、将训练好的词向量矩阵作为LSTM网络的输入，学习文本的序列信息，并使用注意力机制学习重要文本信息；步骤4、将两个通道提取到的文本特征合并，输入Softmax分类层进行分类，通过与文本原有标签对比计算，得出文本分类正确率。

【技术特征摘要】
1.一种基于双通道模型的文本情感分析方法，其特征在于，所述文本情感分析方法包括以下步骤:步骤1、对数据集进行预处理，使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；步骤2、将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层；步骤3、将训练好的词向量矩阵作为LSTM网络的输入，学习文本的序列信息，并使用注意力机制学习重要文本信息；步骤4、将两个通道提取到的文本特征合并，输入Softmax分类层进行分类，通过与文本原有标签对比计算，得出文本分类正确率。2.根据权利要求1所述的一种基于双通道模型的文本情感分析方法，其特征在于，步骤1中，对数据集进行预处理，并使用Word2Vec训练词向量，将文本表示成词向量矩阵的形式；包括如下步骤：步骤11、对文本进行预处理，利用结巴分词工具对语料进行分词处理，并过滤掉停用词；步骤12、使用Word2Vec将预处理过的语料训练为固定维度词向量，格式如下：，其中,d代表词向量维度，取值128；步骤13、将词向量按照顺序拼接成为固定大小的词向量矩阵。3.根据权利要求1所述的一种基于双通道模型的文本情感分析方法，其特征在于，在步骤2中，将训练好的词向量矩阵作为CNN的输入特征，并进行卷积操作，学习文本局部特征，并在其后接入注意力层；包括如下步骤：步骤21、通过在输入矩阵上使用线性滤波器的方式执行卷积操作，可以表示如下：上式中为偏置项，为高度为=3，4，5，宽度为=128的卷积核，为非线性激活函数，采用ReLu函数作为激活函数,表示为下式：步骤22、卷积操作完成后，得到一张特征图C：上式中，分号表示对卷积操作产生的特征进行拼接;步骤23、使...

【专利技术属性】
技术研发人员：李辉，高娜，刘小磊，周巧喜，徐坚，李金秋，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：河南,41