基于弱监督深度学习的句子级情感分类方法技术

本发明专利技术提出了一种基于弱监督深度学习的句子级情感分类的方法，主要解决了现有技术不能准确的预测句子情感语义和分类准确率低的问题。其方案是：1.设计能够利用大量弱标注的评论句子进行句子情感分类的深度神经网络WDE‑LSTM；2.对深度神经网络模型WDE‑LSTM进行粗调，即使用句子三元组的训练准则，使相同标注的句子相互靠近，不同标注的句子相互远离，减少句子在训练过程中出现的错误移动；3.对深度神经网络WDE‑LSTM进行精调；4.对训练好的深度神经网络模型进行测试，输出句子的分类结果，本发明专利技术设计的深度神经网络稳定性强，能更自然的处理时间序列数据，提高了对句子情感语义分类的准确率，可用于电子商务。

A sentence level emotion classification method based on weak supervised depth learning

The invention proposes a sentence level sentiment classification method based on weak supervised deep learning, which mainly solves the problem that the existing technology can not accurately predict sentence emotion semantics and low classification accuracy. The solution is: 1. design to sentence sentiment classification using a large number of weak labeling comments sentence the depth of the neural network WDE LSTM; 2. of the depth of neural network model WDE LSTM coarse, namely the use of sentence three tuple training standards, make the same annotation sentences are close to each other, different sentences marked decrease away from each other. Wrong sentences in mobile training appeared in the process; 3. of the depth of the neural network WDE LSTM fine tuning; 4. of the depth of the trained neural network model to test the classification result output sentence, the depth of God designed by the invention by the network stability is strong, can deal with time series data more naturally, improve the accuracy of the sentence semantic classification, can be used for electronic commerce.

【技术实现步骤摘要】
基于弱监督深度学习的句子级情感分类方法
本专利技术属于计算机处理
，特别涉及一种句子级情感分类方法，可用于电子商务。
技术介绍
随着电子商务的快速发展，人们习惯了在网上消费并且在商家的评论网站上面写下他们关于购物经验的评论，这些评论的内容对于未来的顾客做决定和商家提高他们的产品质量来说都是非常有价值的资源。然而，随着评论的数量快速增长，人们面临着一个严重的信息过载的问题。为了缓解这个问题，人们提出了许多意见挖掘技术，例如观点摘要，民意调查和比较分析。关键的挑战在于如何准确的预测评论句子的情感倾向。所谓的情感分类是指对用户发出的主观性文本进行分析和挖掘，判断文本中所包含的情感信息。流行的情感分类方法一般归为两类：(1)基于词典的方法，(2)机器学习方法。基于词典的方法通常首先构造观点词的情感词典，例如喜欢或讨厌，然后在出现意见单词和现有的句法知识的基础上设计分类规则。抛开效率不谈，这种方法需要在词典构建和规则设计上面进行大量的工作。此外，基于词典的方法不能很好的处理隐含的意见，即客观的陈述例如“一周前我买了个床垫，今天塌陷了”，这也是一种很重要的意见形式。事实信息通常比主观感受更有帮助。基于词典的方法只能以特殊的方法处理隐含的意见。最初的基于机器学习的情感分类工作应用了流行的机器学习算法，例如朴素贝叶斯。之后，为了获得更好的分类性能，在此方向的大多数研究都是围绕着特征工程开展，并且已经探索出了不同种的特征，例如N-Gram，Part-of-speech(POS)信息和句子关系等。但是特征工程也十分耗费人力成本，并要求设计者有丰富的领域知识，而且适合一个领域的特征集可能无法在其他领域获得最优的效果。近年来，深度学习已经成为解决情感分类问题的一种有效的方法。深度神经网络本质上学习的是一个高层次的数据表示，从而避免了大量的繁琐工作，例如特征工程。然而，深度学习非常依赖大规模的训练数据，而标注很大数量的句子是非常繁琐的工作。幸运的是，大多数的商家评论网站允许顾客通过评论的星级来总结意见。评级反映的是顾客评论的总体倾向，而且已经被用作情感分析。然而，评论级别不一定能代表部分句子的情感，比如，有些五星级的评论里面就可能包含一些消极负面的句子，有些一星级的评论里面也能发现有积极正面的词汇。因此，将评级信息二值化作为句子标签会包含一些错误的标注，影响分类器的训练。这种二值化后的评级信息称为弱标注信息。流行的情感分类方法一般都需要非常繁琐的工作，基于词典的方法不能很好的处理隐晦的意见，而一般的机器学习方法可能只适用于某一特定领域，扩展性不强。因此这两种方法都不能很好的预测句子的情感语义，得不到准确的分类结果。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于弱监督深度学习的句子级情感分类方法，以准确的预测句子的情感语义，获得准确的分类结果。为实现上述目的，本专利技术的技术方案包括如下：(1)设计能够利用大量弱标注的评论句子来进行句子情感分类的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层；(2)对设计好的深度神经网络模型WDE-LSTM进行训练：2a)定义评级信息二值化后的句子为弱标注句子，并根据句子的情感语义人工标注了一些句子，再通过弱标注句子从输入层训练到嵌入层，实现对深度神经网络WDE-LSTM的粗调；2b)用弱标注句子训练了一个能捕捉数据情感分布的嵌入层之后，在嵌入层上加入分类层，再用人工标注的句子从输入层训练到分类层，以实现对深度神经网络WDE-LSTM的精调，最终得到一个二分类模型，即分类的句子情感语义分为积极和消极两类；(3)将步骤(2)训练好的深度神经网络模型，用20％的人工标注的句子生成的数据集作为测试集，把该测试集输入到二分类模型中，即从输入层输入直到分类层，分类层最后输出的结果即为句子的情感语义类别。本专利技术与现有技术相比具有如下优点：1.本专利技术使用了弱标注的句子而不全是人工标注的句子，与人工标注的句子不同的是，由于弱标注的句子中包含错误标记的句子，所以使用弱标注的句子训练好的深度神经网络模型的稳定性更强，准确率也更高；2.本专利技术设计的深度神经网络模型中包含两层长短期记忆网络，相较于卷积神经网络，能够更自然的处理时间序列数据，而现有卷积神经网络并不完全适用于学习时间序列数据，因此会需要各种辅助性处理，且效果也不一定好，因而面对时间序列敏感的问题和任务，采用长短期记忆网络通常会比较合适；3.本专利技术提出了句子三元组的训练准则而不是句子二元组的训练准则，使用句子二元组的训练准则时，当采样了两个错误标注的句子后，两个句子会有相对较高的几率做出错误的移动，而使用句子三元组的训练准则时，会使相同标注的句子相互靠近，不同标注的句子相互远离，减少了句子在训练过程中出现的错误移动。附图说明图1是本专利技术的实现流程图；图2是本专利技术中的深度神经网络模型WDE-LSTM结构图；图3是本专利技术句子三元组和现有句子二元组对深度神经网络模型进行训练的效果图。具体实施方式参照图1，本专利技术的实现步骤如下：步骤1，设计深度神经网络WDE-LSTM。1.1)设置参数：用大写字母例如W来表示矩阵，小写字母例如x来表示列向量，x(i)表示向量x的第i项；1.2)设计一个六层结构的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层，如图2所示；1.3)设置每一层的功能：1.3.1)输入层的功能：将一个长度为m的句子用s＝＜w1w2...wm＞的单词序列表示，每个单词w都通过一个词向量x表示，用k表示词向量x的长度，用n表示单词表中单词总数，由词向量组成的k×n矩阵组成单词查询表Y；对单词查询表Y由公开可用的300维的词向量进行初始化，该300维的词向量是通过word2vec训练来自谷歌新闻的1000亿个单词得到；输入层简单的将单词序列s＝＜w1w2...wm＞通过单词查询表Y映射生成其对应的词向量＜x1x2...xm＞；1.3.2)长短期记忆层的功能：长短期记忆网络LSTM是循环神经网络RNN的一种流行方法，用于捕捉变长序列数据中的特征，长短期记忆层包含两个长短期记忆网络，构成了一个双向的循环神经网络；长短期记忆网络拥有称为记忆细胞的结构，记忆细胞通过输出门，输入门和遗忘门控制着其内部状态的读，写和复位，在时刻t，所有记忆细胞的正演计算如下：dt＝g(Wdxt+Udzt-1+bd)<1>it＝σ(Wixt+Uizt-1+bi)<2>ft＝σ(Wfxt+Ufzt-1+bf)<3>ot＝σ(Woxt+Uozt-1+bo)<4>ct＝it⊙dt+ft⊙ct-1<5>zt＝ot⊙g(ct)<6>其中：向量元素dt，it，ft，ot分别对应于在时刻t的记忆细胞的输入单元d，输入门i，遗忘门f和输出门o的一个结果值；Wd，Wi，Wf和Wo分别代表输入单元，输入门，遗忘门和输出门的加权矩阵；Ud，Ui，Uf和Uo分别代表将上一轮长短期记忆网络输出的zt-1作为这一轮输入时在输入单元，输本文档来自技高网...

【技术保护点】
一种基于弱监督深度学习的句子级情感分类方法,其特征在于，包括：(1)设计能够利用大量弱标注的评论句子来进行句子情感分类的深度神经网络WDE‑LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层；(2)对设计好的深度神经网络模型WDE‑LSTM进行训练：2a)定义评级信息二值化后的句子为弱标注句子，并根据句子的情感语义人工标注了一些句子，再通过弱标注句子从输入层训练到嵌入层，实现对深度神经网络WDE‑LSTM的粗调；2b)用弱标注句子训练了一个能捕捉数据情感分布的嵌入层之后，在嵌入层上加入分类层，再用人工标注的句子从输入层训练到分类层，以实现对深度神经网络WDE‑LSTM的精调，最终得到一个二分类模型，即将分类的句子情感语义分为积极和消极两类；(3)将步骤(2)训练好的深度神经网络模型，用30％的人工标注的句子生成的数据集作为测试集，把该测试集输入到二分类模型中，即从输入层输入直到分类层，分类层最后输出的结果即为句子的情感语义类别。

【技术特征摘要】
1.一种基于弱监督深度学习的句子级情感分类方法,其特征在于，包括：(1)设计能够利用大量弱标注的评论句子来进行句子情感分类的深度神经网络WDE-LSTM，其中：第一层为输入层，第二层为长短期记忆层，第三层为最大池化层，第四层为隐藏层，第五层为嵌入层，第六层为分类层；(2)对设计好的深度神经网络模型WDE-LSTM进行训练：2a)定义评级信息二值化后的句子为弱标注句子，并根据句子的情感语义人工标注了一些句子，再通过弱标注句子从输入层训练到嵌入层，实现对深度神经网络WDE-LSTM的粗调；2b)用弱标注句子训练了一个能捕捉数据情感分布的嵌入层之后，在嵌入层上加入分类层，再用人工标注的句子从输入层训练到分类层，以实现对深度神经网络WDE-LSTM的精调，最终得到一个二分类模型，即将分类的句子情感语义分为积极和消极两类；(3)将步骤(2)训练好的深度神经网络模型，用30％的人工标注的句子生成的数据集作为测试集，把该测试集输入到二分类模型中，即从输入层输入直到分类层，分类层最后输出的结果即为句子的情感语义类别。2.根据权利要求1所述的方法，其特征在于，步骤(1)设计的深度神经网络WDE-LSTM，其各层的功能如下：输入层，用于将输入的句子用单词序列表示，再将单词序列中的每个单词用一个词向量表...

【专利技术属性】
技术研发人员：赵伟，管子玉，黄若谷，王泉，沈玉龙，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61