基于卷积注意力机制网络的实体级别情感分类方法技术

本发明专利技术提出一种基于卷积注意力机制网络的实体级别情感分类方法，所述方法通过对目标文本进行处理获得文本矩阵以及目标实体向量；将文本矩阵以及目标实体向量进行预处理获得文本特征向量；将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量；重复M次步骤S30，获得M次文本特征向量；将所有文本特征向量拼接后进行线性变换，输入激活函数，获得文本属于各个感情类别的概率。本发明专利技术的方法在获得注意力权重时将词语周围的词也纳入考虑范围，从而使最终获得的文本表示具有更强的情感表达能力。最终实现了比较精确的实体级别情感分类任务。

Entity-level emotion classification method based on convolutional attention mechanism network

The invention proposes an entity-level emotional classification method based on convolutional attention mechanism network, which obtains text matrix and target entity vector by processing target text; preprocesses text matrix and target entity vector to obtain text feature vector; preprocesses text feature vector and text matrix to obtain new text feature vector; Repeat M times and 0 times to get M times text feature vectors. After splicing all text feature vectors, linear transformation is carried out, and the activation function is input to obtain the probability that the text belongs to each emotional category. The method of the present invention also takes the words around the words into consideration when obtaining the attention weight, so that the final text representation has stronger emotional expression ability. Finally, a more accurate entity-level emotional classification task is realized.

【技术实现步骤摘要】
基于卷积注意力机制网络的实体级别情感分类方法
本专利技术涉及自然语言分析
，尤其涉及一种基于卷积注意力机制网络的实体级别情感分类方法。
技术介绍
近年来，随着互联网技术飞速发展以及网络购物的普及，互联网上存在着大量对于商品的评论。利用这些评论，对这些文字的情感倾向进行判断，从而对顾客对于产品的需求进行分析进而改进产品，是近年来很受关注的研究热点。而实体级别的情感分析技术，则更加细化地获得评论者对商品某一具体属性的情感倾向。早先的基于人工设计特征的情感分类方法已经逐渐无法满足使用的需求，基于神经网络的方法已经成为现在情感分析的主流方向。基于神经网络的情感分类方法，已经被用于舆情分析、商品用户反馈分析等应用场景中。现有的实体级别的情感分类方法主要基于循环神经网络(RNN)以及注意力机制。循环神经网络由于具有能够保留过去的信息的能力，故常被用于对具有时序关系的量进行表示。而在文本中，词语与词语之间恰好也保持着固定的次序，所以循环神经网络正适合用于表示这种词语与词语之间的上下文关系，从而能够获得包含文本语义内容的向量表达。注意力机制的主要作用是对句子中的每一个词赋予一个权值，这个权值代表着这个词在这个句子当中的重要程度，从而使得对句子的语义贡献更大的词所对应的向量能够获得更大的权值。在情感分类当中，通过使用注意力机制可以将一些用于表示情感的词以及程度副词赋予更大的权值，从而获得与句子的情感相关的向量表示。而实体级别的情感分类是更细化的情感分类任务，它需要获得一段文字针对某一给定实体的情感类别，而在一段文本中，会包含多个实体，并且这段文本针对不同实体所表达出的情感也是不同的。这时，注意力机制的作用除了强调表达情感的词汇之外，还需要区分这些表达情感的词语是否是针对目标实体，而仅赋予针对目标词语的情感词汇比较大的权重，而赋予针对其他实体的情感词汇赋予比较小的权值。这样最终获得的文本向量就是针对目标实体的情感类别的。但这种基于循环神经网络以及注意力机制的方法具有两个问题。一个问题是，由于循环神经网络具有保留过去的信息的特点，它在计算时必须按照次序依次计算，并且保留过去的所有信息。而这样的特性，使得循环神经网络在GPU上运行时无法进行并行计算，从而使得计算的效率无法提高。第二个问题是，一般情况下，在利用注意力机制计算一个词语的权值时，仅考虑这个词语与目标实体之间的关联程度。但有时一个词对于整个句子的语义贡献不仅与它本身有关，还与这个词周围的词有关，因为修饰一个词的程度副词或是否定词都能很大程度的改变这个词语在句子中的作用，但目前的注意力机制并未考虑到这种情况。鉴于上述原因，有必要提出一种基于卷积注意力机制网络的实体级别情感分类方法的方法。
技术实现思路
为了解决上述技术问题，即为了解决如何提高实体级别情感分类准确度的技术问题，本专利技术提出了一种基于卷积注意力机制网络的实体级别情感分类方法，所述方法还包括：步骤S10，对目标文本进行处理获得文本矩阵以及目标实体向量；步骤S20，将文本矩阵以及目标实体向量进行预处理获得文本特征向量；步骤S30，将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量；将步骤S30重复M次，每重复一次所获得的文本特征向量将作为下一次的输入，最终获得M个文本特征向量；步骤S40，将所有文本特征向量拼接后进行线性变换，输入激活函数，获得文本属于各个感情类别的概率；步骤S50，利用反向传播算法对卷积注意力机制网络的误差函数进行优化进而对网络中所有参数进行更新。优选地，所述步骤S20的预处理包括：步骤S21，将所获得的文本矩阵以及目标实体向量输入卷积注意力机制单元，获得文本中每个词的注意力权重；步骤S22，利用注意力权重将文本矩阵所包含的词向量进行加权求和，获得文本特征向量。优选地，所述步骤S22中利用注意力权重将文本矩阵所包含的词向量进行加权求和具体为：步骤S221，将文本中每个词所对应的词向量乘以对应的注意力权值；步骤S222，将步骤S211获得的向量集合进行求和，获得文本特征向量。优选地，所述步骤S30的预处理包括：步骤S31，将所获得的文本的特征向量作为关键词向量输入卷积注意力机制单元；步骤S32，将文本矩阵作为内容矩阵输入卷积注意力机制单元；步骤S33，重复获得注意力权重以及加权求和操作的操作，获得新的文本特征向量。优选地，所述步骤S10包括：步骤S11，利用开源分词算法对目标文本进行分词获得有序词语集合；步骤S12，利用从互联网上获得的大量文本预训练词向量，针对文本中的每个词以及目标实体，利用预训练获得的维度为D的连续向量表示词语；步骤S13，将文本中的每个词语的词向量按词语顺序排列并组合，获得文本矩阵。优选地，所述方法中的所述卷积注意力机制包括：已知关键词向量以及内容矩阵；将关键词向量与内容矩阵中每个词向量进行拼接，获得“关键词-内容”矩阵；使用若干指定大小的卷积核对“关键词-实体”矩阵进行卷积操作，获得卷积特征矩阵；将卷积特征矩阵与偏差向量相加；使用双曲正切函数作为卷积操作的激活函数，其公式表示为：其中x表示特征矩阵中各个元素的值；针对卷积特征矩阵当中每一个单词所对应的特征向量，进行最大化池化操作，获得注意力权重特征；使用softmax函数对所得注意力权重特征向量进行归一化；其中，softmax函数的公式表示为：其中xj表示特征向量中的第j个元素，x表示当前的元素值。优选地，所述最大化池化操作具体包括：仅保留特征向量所有元素中的最大值作为单词所对应的注意力权重特征值；获得维度与文本单词数一致的注意力权重特征向量。优选地，所述步骤S40包括：步骤S41，将所得的文本特征向量进行拼接；步骤S42，将拼接后向量与线性变换权重矩阵相乘，并加上偏置向量；步骤S43，将线性变换后特征向量送入非线性激活函数，获得文本属于每一情感类别的概率。优选地，所述步骤S50中的误差函数包括：所求得概率向量的情感概率分布和训练样本情感概率分布之间的交叉熵损失函数以及网络参数的正则项之和。优选地，所述交叉熵损失函数为：其中n表示训练样本的个数，x和y分别表示网络所求得的情感概率分布以及训练样本的实际情感概率分布。优选地，所述网络参数的正则项包括：网络参数的正则项指网络中提及到的所有权重矩阵以及偏差向量的2范数之和。本专利技术基于卷积注意力机制网络的实体级别情感分类方法，通过对目标文本进行处理获得文本矩阵以及目标实体向量；将文本矩阵以及目标实体向量进行预处理获得文本特征向量；将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量；重复M次步骤S30，获得M次文本特征向量；将所有文本特征向量拼接后进行线性变换，输入激活函数，获得文本属于各个感情类别的概率。本专利技术的方法在获得注意力权重时将词语周围的词也纳入考虑范围，从而使最终获得的文本表示具有更强的情感表达能力。最终实现了比较精确的实体级别情感分类任务。附图说明附图作为本专利技术的一部分，用来提供对本专利技术的进一步的理解，本专利技术的示意性实施例及其说明用于解释本专利技术，但不构成对本专利技术的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：图1为本专利技术一种实施例的基于卷积注意力本文档来自技高网...

【技术保护点】
1.一种基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述方法包括：步骤S10，对目标文本进行处理获得文本矩阵以及目标实体向量；步骤S20，将文本矩阵以及目标实体向量进行预处理获得文本特征向量；步骤S30，将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量；将步骤S30重复M次，每重复一次所获得的文本特征向量将作为下一次的输入，最终获得M个文本特征向量；步骤S40，将所有文本特征向量拼接后进行线性变换，输入激活函数，获得文本属于各个感情类别的概率。

【技术特征摘要】
1.一种基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述方法包括：步骤S10，对目标文本进行处理获得文本矩阵以及目标实体向量；步骤S20，将文本矩阵以及目标实体向量进行预处理获得文本特征向量；步骤S30，将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量；将步骤S30重复M次，每重复一次所获得的文本特征向量将作为下一次的输入，最终获得M个文本特征向量；步骤S40，将所有文本特征向量拼接后进行线性变换，输入激活函数，获得文本属于各个感情类别的概率。2.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述步骤S20的预处理包括：步骤S21，将所获得的文本矩阵以及目标实体向量输入卷积注意力机制单元，获得文本中每个词的注意力权重；步骤S22，利用注意力权重将文本矩阵所包含的词向量进行加权求和，获得文本特征向量。3.根据权利要求2所述的基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述步骤S22中利用注意力权重将文本矩阵所包含的词向量进行加权求和具体为：步骤S221，将文本中每个词所对应的词向量乘以对应的注意力权值；步骤S222，将步骤S221获得的向量集合进行求和，获得文本特征向量。4.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述步骤S30的预处理包括：步骤S31，将所获得的文本的特征向量作为关键词向量输入卷积注意力机制单元；步骤S32，将文本矩阵作为内容矩阵输入卷积注意力机制单元；步骤S33，重复获得注意力权重以及加权求和操作的操作，获得新的文本特征向量。5.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法，其特征在于，所述步骤S10包括：步骤S11，利用开源分词算法对目标文本进行分词获得有序词语集合；步骤S12，利用从互联网上获得的大量文本预训练词向量，针对文本中的每个词以及目标实体，利用预训练获得的维度为D的连续向量表示词语；步骤S13，将文本中的每个词语的词向量按词语顺序排列并组合，获得文本矩阵。6.根据...

【专利技术属性】
技术研发人员：张树武，易谦，刘杰，张桂煊，关虎，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11