一种基于深度神经网络特定目标情感分类方法技术

本发明专利技术提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

A Method of Affective Classification for Specific Targets Based on Deep Neural Network

【技术实现步骤摘要】
一种基于深度神经网络特定目标情感分类方法
本专利技术涉及评论文本情感分类，尤其涉及一种基于深度神经网络特定目标情感分类方法，属于自然语言处理

技术介绍
情感分析方法主要有基于规则的方法、基于机器学习的方法和基于深度神经网络的方法。基于规则的方法通常需要构建情感词典或情感搭配模板，再通过比对评论文本中所包含的情感词或固定搭配来计算文本的情感倾向，但是构建比较完备的情感词典或相关的搭配规则是现在存在的主要问题。基于机器学习的方法主要将带有标签的训练语料进行特征提取和建模，从而用机器学习算法自动化地实现情感极性的判断；这类方法主要有支持向量机、朴素贝叶斯、最大信息熵、条件随机场等，但是，机器学习分类的效果往往取决于特征的选择，人工选择特征存在着很大的不确定性，而且这类方法在对语料建模时用到的函数一般比较简单，难以捕捉深层次的特征，建模能力和泛化能力都有很大的局限性。随着深度学习的发展以及语言表达方式的自由化和多元化，深度神经网络技术的优势逐渐凸显，成为了自然语言处理领域的主流技术，相比于基于规则的情感分析方法和基于机器学习的情感分析方法，深度神经网络的方法由于其模型与函数的复杂性，在面对当今复杂多变的语言现象时，可以捕捉更全面、更深层的文本特征，即对文本具有更好的理解能力，在情感分析领域也可以达到更好的效果。LSTM神经网络模型又叫长短期记忆网络模型，是RNN模型的变体。LSTM解决了RNN模型在信息长距离传递时发生的信息消失或信息爆炸问题，LSTM神经网络模型在RNN模型的基础上对神经网络节点加上多种门结构用来控制信息在不同时刻的流动。为了控制信息的流动，在LSTM神经网络的内部节点中专门设计了记忆单元，并通过门结构来控制信息的删除或增加，门是一种对信息进行选择通过的方法，LSTM神经网络的节点中有三种门结构来保护和控制节点的状态，这三种门分别是输入门、遗忘门和输出门。注意力机制来源于人脑关注事物的关键部分分配更多的注意力，注意力机制一开始被应用在视觉图像领域，后来才被应用到自然语言处理的任务中，并起到了比较好的效果，通过计算注意力概率分布，对关键性输入进行突出，从而对传统的模型起到优化作用。特定目标情感分析作为情感分析一个重要的子任务，是更深层次的情感分析。和普通情感分析不同，特定目标情感极性的判别不仅依赖文本的上下文信息，同时还依赖特定目标的特征信息。例如句子“这家餐厅的食物非常好吃，但是价格很贵，但是服务挺贴心的”，对于目标“食物”的“味道”方面是积极情感，而对于目标“食物”的“价格”方面则是消极情感，对于目标“餐厅”的“服务”方面为积极情感。所以，就算是同一个句子，针对同一目标可能会出现完全相反的情感极性，不同的目标也会有不同的情感极性。但是大多数基于神经网络的文本情感分类模型对特定目标的特定方面的情感得不到正确的关注，分类效果比较差。实现更好地捕捉目标的真实语义，使得文本中语义信息更加丰富，提高了特定目标情感分类的准确度，是本专利技术的主要研究方向。
技术实现思路
本专利技术的目的针对现有技术的不足，本专利技术目的在于提供一种基于深度神经网络和目标注意力机制的特定目标情感分类方法，用于分析社交网络中的文本数据包含的特定目标、特定方面的情感色彩。本专利技术可以采用如下系统来实现：一种基于深度神经网络特定目标情感分类方法，其特征在于：步骤一、对中文情感分类数据集进行采集和文本预处理，并情感分类数据集划分为训练集和测试集；步骤二、对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；步骤三、将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h1,h2,…,hn}；步骤四、将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个hi的正权重pi，随后得到句子表示ZS；步骤五、根据生成的句子ZS，用全连接层和softmax函数来判断特定目标的情感极性。进一步地，所述所述文本预处理，具体为：：预处理主要包括将标注感情极性的句子进行中文分词、去停用词、去除标点；随机选取数据集中的80％作为训练集，20％作为测试集。进一步地，所述对预处理的数据集使用word2vec工具训练词向量模型包括：word2vec模型训练完成之后，word2vec模型可用来映射每个词ω到一个连续特征向量eω∈Rd，其中d代表词向量的维度，最后生成词向量矩阵E∈Rv×d，其中V代表数据集中词汇量的大小。进一步地，所述将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h1,h2,…,hn}具体包括以下：LSTM中的三个门，包括输入门、遗忘门和输出门。设xt为LSTM神经网络某节点t时刻的输入、ht为t时刻的输出，Wx为输入对应的权值，Wh为输出对应的权值，则LSTM神经网络模型通过门结构控制信息更新的流程分为以下几个步骤：计算输入门t时刻的值it，输入门控制的是当前输入对记忆单元状态值的影响，计算方法如下it＝sigmoid(Wxixt+Whiht-1+Wcict-1+bi)(1)计算遗忘门t时刻的值ft，遗忘门控制的是历史信息对记忆单元状态值的影响，计算方法如下：ft＝sigmoid(Wxfxt+Whfht-1+Wcfct-1+bf)(2)计算当前时刻候选记忆单元的值并更新当前时刻记忆单元的值，计算方法如下：ct＝ft·ct-1+it·ct(4)最后计算t时刻的输出信息ht，该信息由输出门决定，计算方法如下：ot＝sigmoid(Wxoxt+Whoht-1+Wcoct-1+bo)(5)ht＝ot·tanh(ct)(6)所述将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，具体包括以下：将训练集的词向量矩阵和特定目标的词向量矩阵进行如下计算：其中代表Average返回输入向量的平均值。为特定目标的词向量矩阵，为训练集的词向量矩阵，cS的作用为同时捕获目标信息和上下文信息。计算全部k个特定方面嵌入上的权重向量qt，公式如下：qt＝softmax(Wt·cS+bt)(8)其中qt表示全部k个特定方面嵌入上的权重向量，每个权重qt表示特定目标属于相关方面的可能性，Wt和bt分别表示权重矩阵和偏置向量。计算特定目标的向量ts，公式如下ts＝T·qt(9)其中ts表示特定目标的向量，T表示特定方面的词向量矩阵，T∈RK×d，其中K代表特定的方面数。计算正权重pi，公式如下：其中Wa∈Rd×d是一个可训练的权重矩阵。计算句子表示ZS，公式如下：每一个隐藏向量hi对应一个正权重pi，其中值pi由目标注意力模型计算，pi可以解释为在判断特定目标a的情感极性时，ωi是模型正确关注的词的概率。ZS代表用于情感分类的句子。综上所述，本专利技术提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络特定目标情感分类方法，其特征在于，包括以下步骤：步骤一、对中文情感分类数据集进行采集和文本预处理，并情感分类数据集划分为训练集和测试集；步骤二、对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；步骤三、将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h1,h2,…,hn}；步骤四、将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个hi的正权重pi，随后得到句子表示ZS；步骤五、根据生成的句子ZS，用全连接层和softmax函数来判断特定目标的情感极性。

【技术特征摘要】
1.一种基于深度神经网络特定目标情感分类方法，其特征在于，包括以下步骤：步骤一、对中文情感分类数据集进行采集和文本预处理，并情感分类数据集划分为训练集和测试集；步骤二、对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；步骤三、将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h1,h2,…,hn}；步骤四、将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个hi的正权重pi，随后得到句子表示ZS；步骤五、根据生成的句子ZS，用全连接层和softmax函数来判断特定目标的情感极性。2.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述文本预处理，具体为：将标注感情极性的句子进行中文分词、去停用词、去除标点；随机选取数据集中的80％作为训练集，20％作为测试集。3.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述对预处理的数据集使用word2vec工具训练词向量模型包括：word2vec模型训练完成之后，word2vec模型用来映射每个词ω到一个连续特征向量eω∈Rd，其中d代表词向量的维度，最后生成词向量矩阵E∈Rv×d，其中V代表数据集中词汇量的大小。4.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h1,h2,…,hn}具体包括以下：LSTM中的三个门，包括输入门、遗忘门和输出门；设xt为LSTM神经网络某节点t时刻的输入、ht为t时刻的输出，Wx为输入对应的权值，Wh为输出对应的权值，则LSTM神经网络模型通过门结构控制信息更新的流程分为四个步骤：(4.1)计算输入门t时刻的值it，输入门控制的是当前输入对记忆单元状态值的影响，计算方法如下it＝sigmoid(Wxixt+Whiht-1+...

【专利技术属性】
技术研发人员：谢金宝，王振东，马骏杰，战岭，吕世伟，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23