一种基于特征提取的深度学习情感分类方法技术

本发明专利技术提供一种基于特征提取的深度学习情感分类方法，该方法通过G网络中的词嵌入层以及双向LSTM的深度学习模型学习到句子的上下文语义特征，能够找到对句子情感极性判断影响比较大的词，提出出来作为有用信息。相应提出对句子极性判断不那么重要的词作为无用信息。通过将有用信息和无用信息输入到C网络中进行学习，使得分类器能够有较高的辨识度。通过在相应数据集上的实验表明，本发明专利技术对比之前的情感分类方法，有较大提升。

A deep learning emotion classification method based on feature extraction

The invention provides a deep learning emotion classification method based on feature extraction. The method learns the context semantic features of sentences through the word embedding layer in G network and the two-way LSTM deep learning model, and can find words that have great influence on the judgement of sentence emotional polarity, and put forward them as useful information. Correspondingly, the words that are not so important in judging the polarity of sentences are put forward as useless information. By inputting useful information and useless information into the C network for learning, the classifier can have a high degree of recognition. Experiments on the corresponding data sets show that the method has a great improvement compared with the previous emotional classification methods.

【技术实现步骤摘要】
一种基于特征提取的深度学习情感分类方法
本专利技术涉及计算机应用技术、自然语言处理领域，更具体地，涉及一种基于特征提取的深度学习情感分类方法。
技术介绍
近年来，随着互联网的快速发展，网络已经成为人们交流和获取信息的主要途径，在这个过程中，，互联网上积累了大量的文本数据，而情感分析技术则是旨在于从这些文本中挖掘用户针对某个事物表达的情感倾向和观点，为进一步的具体应用比如市场决策等提供基础支持，因此情感分析技术无论是对学术界还是工业界都表现除了极大的吸引力。而句子级别的情感分析就是判断文章中句子的情感倾向性，在情感分析中具有非常关键的作用。常用的分析方法主要包括基于情感词典的方法和基于机器学习的方法。基于情感词典的方法是通过寻找句子中情感词汇出现的数量以及这些词汇的情感极性来综合评估整个句子的情感倾向，该方法简单直接，能够使初学者快速了解情感分析的过程。但是缺点也很明显：1.对情感词典的依赖性太强，需要一个尽可能完整的“好”的情感词典准确识别句子中的情感词汇，才能提高句子的情感极性判断的准确率。2.不能准确识别结构复杂的句子的情感极性，因为句子的情感极性并不完全等于其构成词汇情感的简单组合。未解决上述问题，目前很多研究工作主要采用机器学习的情感分析方法。它是把句子情感分析当成一个普通的分类问题，从已标注好情感极性的训练样本中选取大量有助于情感分类的特征，然后训练分类器模型预测未知句子的情感极性。它比基于情感词典方法的分类效果更好，准确度更高。但是传统的机器学习比如最近邻KNN、贝叶斯、支持向量机SVM等，准确率并不算很高，没有达到人们预期的目标。对于上述出现的技术问题，我们就考虑，因为不是句子中的每个词对于情感极性的判断都有着相同的作用。我们就想着通过对语义信息进行权重计算，找出对情感极性判断比较重要的词，称之为有用信息。对于极性判断不那么重要的词，称之为无用信息。通过单独提取有用信息和无用信息，让深度学习网络进行学习，网络就能够对于关键性的情感词更敏感，分类器的分类效果也就更好，准确率会更高。
技术实现思路
本专利技术提供一种基于特征提取的深度学习情感分类方法，该方法。为了达到上述技术效果，本专利技术的技术方案如下：一种基于特征提取的深度学习情感分类方法，包括以下步骤：S1：建立用于生成语义特征以及特征提取的深度学习网络模型G；S2：建立基于有用信息和无用信息的情感分类器C；S3：模型训练与测试。进一步地，所述步骤S1的具体过程是：S11：建立G网络的第一层词向量层，将预处理后的句子中的每个单词表示成为一个低纬、稠密的实数向量，在大规模无标注语料上训练好的词向量模型Glove，将整个句子表示成词向量矩阵X＝[x1,…,xt,…,xn]，其中n是句子长度，向量矩阵X的维度是300维；S12：建立G网络的第二层双向LSTM层，在这一层中让模型学习到整个句子的上下文信息，在每一个时间步t，每个细胞单元的输入分别是句子中第t个词向量xt以及t-1时刻细胞的隐藏层输出hft-1；前向LSTM得到矩阵Hf＝[hf1,…,hft,…hfn]，同理，后向LSTM得到矩阵Hb＝[hb1,…,hbt,…hbn]；S13：建立G网络的第三层特征矩阵求和层，将双向LSTM层所输出的两个矩阵Hf以及Hb进行同维度左右求和H＝Hf+Hb，以此得到最后的语义特征表示矩阵H＝[h1,h2,…,hn]。进一步地，所述步骤S2的具体过程是：S21：建立C网络的第一层输入层，将G网络中提取出来的有用信息和无用信息作为C网络的输入，并且在模型训练以及模型测试的时候，以不同的方式输入分类器中进行学习；S22：建立C网络的第二层隐藏层，在这一层包含三个隐藏层，使用的激活函数是ReLU函数，将最后一个隐藏层作为这一层的输出；S23：建立C网络的最后一层输出层，将上一层的隐藏层输出由softmax映射到三个分类类别上，对应情感分类的积极，消极，中立；可以根据输出在三个类别上的数值大小判断最后的情感极性，输出结果。进一步地，所述步骤S3的具体过程是：S31：将数据集分为训练数据以及测试数据；S32：整体的模型要分成G，C两部分进行训练，C网络的训练步骤如下：将训练数据输入到G网络，并由G网络提取出有用信息和无用信息，在保证有用信息和无用信息都分类正确的目标下，由损失函数L1的最小化来训练C网络模型；S33：G的训练步骤如下：在将C网络模型训练好了的基础上，进行G网络的训练，训练时，将有用信息这个部分剔除，固定C网络的参数，然后由L2损失函数的最小化，训练G网络的参数；S34：模型的测试步骤为：将测试数据输入到G网络，然后由G网络生成有用信息，将有用信息输入到C网络中，根据softmax的结果，即可得到结果，知道输入的句子的情感极性。进一步地，步骤S14中，特征提取过程如下：判断对情感极性分类结果重要与否的词，是根据H矩阵中各列的权重大小决定的，计算H矩阵各列权重的公式为：W＝Softmax(ωT(tanh(H)))，其中：ωT表示参数矩阵的转置，ω∈Rd×1，d表示300维，tanh是激活函数，H为特征矩阵，H∈Rd×n，d是300维，n是输入的句子长度，softmax为归一化函数。经过计算可以得到权重矩阵W＝[w1,…,wt,…,wn]，将大于权重均值1/n的列作为有用信息提取出来到另一个矩阵，放在对应的列，并将有用信息向量矩阵中的其余列，用0向量补齐；同理，将小于等于权重均值1/n的列向量提取，再补0向量，可以得到无用信息列向量矩阵。进一步地，步骤S32中，C网络的训练过程中，采用交叉熵作为损失函数，并且损失值的大小是根据有用信息和无用信息两者的输出结果加和而成的，训练过程中采用ADAM进行优化，采用L2正则化，防止过拟合。进一步地，步骤S33中，G网络的训练过程中，采用交叉熵作为损失函数，损失函数的计算是以剔除有用信息，以及固定C网络参数的方式进行计算的，G网络训练过程也是采用ADAM进行优化，采用L2正则化，防止过拟合。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术能通过G网络中的词嵌入层以及双向LSTM的深度学习模型学习到句子的上下文语义特征，能够找到对句子情感极性判断影响比较大的词，提出出来作为有用信息。相应提出对句子极性判断不那么重要的词作为无用信息。通过将有用信息和无用信息输入到C网络中进行学习，使得分类器能够有较高的辨识度。通过在相应数据集上的实验表明，本专利技术对比之前的情感分类方法，有较大提升。附图说明图1为本专利技术的G网络流程示意图；图2为本专利技术的G网络模型训练流程示意图；图3为本专利技术的算法模型完全图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1本实施所采用的数据集是斯坦福大学收集的亚马逊购物网站的产品评论，主要采用的是03年到14年关于Toys&Games、Sports&Outdoors的评论数据集。经过数据预处理之后，都是只包含积极的，消极的，中立的三个情感标签。本专利技术所使用的数据集基本文档来自技高网...

【技术保护点】
1.一种基于特征提取的深度学习情感分类方法，其特征在于，包括以下步骤：S1：建立用于生成语义特征以及特征提取的深度学习网络模型G；S2：建立基于有用信息和无用信息的情感分类器C；S3：模型训练与测试。

【技术特征摘要】
1.一种基于特征提取的深度学习情感分类方法，其特征在于，包括以下步骤：S1：建立用于生成语义特征以及特征提取的深度学习网络模型G；S2：建立基于有用信息和无用信息的情感分类器C；S3：模型训练与测试。2.根据权利要求1所述的基于特征提取的深度学习情感分类方法，其特征在于，所述步骤S1的具体过程是：S11：建立G网络的第一层词向量层，将预处理后的句子中的每个单词表示成为一个低纬、稠密的实数向量，在大规模无标注语料上训练好的词向量模型Glove，将整个句子表示成词向量矩阵X＝[x1,…,xt,…,xn]，其中n是句子长度，向量矩阵X的维度是300维；S12：建立G网络的第二层双向LSTM层，在这一层中让模型学习到整个句子的上下文信息，在每一个时间步t，每个细胞单元的输入分别是句子中第t个词向量xt以及t-1时刻细胞的隐藏层输出hft-1；前向LSTM得到矩阵Hf＝[hf1,…,hft,…hfn]，同理，后向LSTM得到矩阵Hb＝[hb1,…,hbt,…hbn]；S13：建立G网络的第三层特征矩阵求和层，将双向LSTM层所输出的两个矩阵Hf以及Hb进行同维度左右求和H＝Hf+Hb，以此得到最后的语义特征表示矩阵H＝[h1,h2,…,hn]。3.根据权利要求2所述的基于特征提取的深度学习情感分类方法，其特征在于，所述步骤S2的具体过程是：S21：建立C网络的第一层输入层，将G网络中提取出来的有用信息和无用信息作为C网络的输入，并且在模型训练以及模型测试的时候，以不同的方式输入分类器中进行学习；S22：建立C网络的第二层隐藏层，在这一层包含三个隐藏层，使用的激活函数是ReLU函数，将最后一个隐藏层作为这一层的输出；S23：建立C网络的最后一层输出层，将上一层的隐藏层输出由softmax映射到三个分类类别上，对应情感分类的积极，消极，中立；可以根据输出在三个类别上的数值大小判断最后的情感极性，输出结果。4.根据权利要求3所述的基于特征提取的深度学习情感分类方法，其特征在于，所述步骤S3的具体过程是：S31：将数据集分为训练数据以及测试数据...

【专利技术属性】
技术研发人员：黄汉栋，印鉴，高静，
申请(专利权)人：中山大学，广东恒电信息科技股份有限公司，
类型：发明
国别省市：广东,44