一种方面级情感分类模型制造技术

本发明专利技术公开了一种方面级情感分类模型，应用在方面级情感分类领域中的深度学习模型，多是选择卷积神经网络CNN或者循环神经网络RNN来提取句子中的特征，尤其是RNN与注意力机制的结合应用较为广泛且取得的效果不错。但RNN顺序处理数据的方式限制了模型的运行效率且计算代价较大，因此本申请提出采用多头注意力机制来提取特征；另外为了加强句子与给定方面的联系，将句子与给定方面交互建模，互相监督其注意力的生成。

【技术实现步骤摘要】
一种方面级情感分类模型
本专利技术涉及人工智能
，更具体地说，它涉及一种方面级情感分类模型。
技术介绍
方面级情感分类是细粒度的情感分析任务，也是NLP的基本任务。先前是通过基于情感词典或手工特征的方法来解决该任务。基于情感词典的方法是利用情感词典的先验信息识别文本所表达的情感，因情感词典大小有限且忽略语义信息，从而模型的分类往往不准确。基于手工特征的方法是通过研究者设计的特征，利用支持向量机等机器学习方法作为分类器，对文本情感极性进行分类。在一个数据集上设计的特征因泛化能力不强，往往不能直接应用到另一个数据集上，需要重新设计新的特征，这就需要大量的人工。面对日益增长的文本数据分析需求，先前的方法难以高效的应对。于是研究者开始提出自动化的方法来解决方面级情感分类问题。近年来，基于神经网络的方面级情感分类已成为主流。例如，Dong等人提出的AdaRNN根据上下文和它们之间的句法关系将词的情感自适应地传递到给定方面。这类依赖句法解析的模型对有噪声的数据(例如，Twitter)，容易受到句法解析错误的影响。相比之下，因序列处理能力突出的循环神经网络在情感分析也被广泛应用，并证明了其有效性。例如，Tang等人提出TC-LSTM模型利用两个长短时记忆网络LSTM分别对给定方面与其左侧上下文和右侧上下文进行建模。基于神经网络的方法能够自动学习特征进行情感极性分类，对文本中的每个词做同样的处理，但文本中只有一部分词与给定方面的情感表达有关，无法区分词之间的重要性。例如SemEval2014Restaurant数据集的数据：“Fromthebeginning,weweremetbyfriendlystaffmembers,andtheconvenientparkingatChelseaPiersmadeiteasyforustogettotheboat.”上下文中“met”与给定方面“staffmembers”的情感极性毫无关系，而“friendly”与给定方面的情感极性紧密相关。上述基于神经网络的模型无法区分上下文中词对给定方面的重要性，于是注意力机制被引入了神经网络模型。在神经网络模型中引入注意力机制取得了较好的分类效果，并得到了广泛应用。神经网络中的注意力机制能够自动识别源句子中给定方面的相关信息，直接提高神经网络模型提取特征的质量。例如，Zeng等人提出基于注意力的LSTM模型，利用注意力机制进一步获得文本特征，分析不同上下文词的权重。Wang等人提出将方面表示与词嵌入拼接，并在计算注意力时加入方面表示进行建模。以及Li等人利用双向LSTM和多注意力层进行方面级情感分类。因此，注意力机制对于方面级情感分类任务甚至实际应用是必不可少的。基于注意力的神经网络模型在方面级情感分类任务中基本令人满意，但还有进一步提高的可能。这些模型通常是将注意力机制与循环神经网络相结合(例如，LSTM)，但它不能并行处理数据。于是Vaswani等人提出多头注意力模型能够并行处理数据且效果很好。上述方法通过生成给定方面的表示来提高模型的准确率，可见给定方面对于情感分类是相当重要的。只有通过给定方面与上下文相互协调才能提高模型分类的准确率。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提出一种方面级情感分类模型。本专利技术的上述技术目的是通过以下技术方案得以实现的：一种方面级情感分类模型，包括嵌入层、神经网络层、注意力层和输出层；嵌入层用于将句子转化为对应的词向量表示；神经网络层用于将句子的词向量表示转化为相应的隐藏状态序列；注意力层用于从句子的隐藏状态中捕获对于识别给定方面的情感极性来说重要的信息；输出层用于对注意力层的输出进行变化，输出句子对于给定方面表达的情感分类。其中，包括以下分类方法：S1：给定一个句子对(S,A)，其中m个词组成的方面词A＝{t1,t2,…,tm}是n个词组成的句子S＝{c1,c2,…,cn}的子序列；S2：对于给定的句子对(S,A)，将整个句子的每个词在预训练词向量矩阵中找到对应的词向量，然后将这些词向量按照句子中词的顺序组合起来形成对应的词向量矩阵S3：将S2得到的词向量矩阵输入到神经网络层，神经网络层将词向量读入，接着编码词向量，获得相应的隐藏状态：其中，词向量Wci读入神经网络层后，输出隐藏状态第i个时间步用i表示，在神经网络层产生的用下标x表示；S4：经S3处理后，获得隐藏状态序列然后将整个隐藏状态序列输入至注意力层，注意力层对句子中不同的词分配不同的注意力权重，得到注意力层句子的加权表示其中，S3过程中，神经网络层选择门控循环单元GRU，其详细的计算过程详细如下：GRU由重置门和更新门两部分构成，更新门用于决定删除和添加的内容，重置门用于决定遗忘以前信息的程度，计算过程如下：其中，表示权重矩阵，表示偏置，权重矩阵和偏置都是模型训练过程中需要学习的参数，不同时间步之间共享参数。其中，S4过程中，计算过程如下：其中，在注意力层为目标句子，为源句子，et,i是目标句子中第t个位置和源句子的第i个位置之间匹配程度的评分，αt,i表示生成第t个目标词St时，分配给源句子第i个位置的注意力权重；注意力层的输出传入输出层，通过分类器识别句子对于给定方面标的情感极性是积极、中性或消极，计算过程如下：(15)将句子的加权表示r进行线性变换，将其长度转换为类别数|C|，softmax函数将其归一化为0-1的条件概率分布其中，包括以下分类方法：T1：给定一个句子对(S,A)，其中m个词组成的方面词A＝{t1,t2,…,tm}是n个词组成的句子S＝{c1,c2,…,cn}的子序列；T2：对于给定的句子对(S,A)，嵌入层将给定方面与句子分别在预训练词向量矩阵中找到对应的词向量，形成句子的词向量矩阵和给定方面的词向量矩阵T3：将T2得到的给定方面词向量矩阵与句子词向量矩阵进行编码，提取给定方面与句子的特征；计算过程如下：其中，是句子词向量编码后第i个时间步隐藏状态，是给定方面向量编码后的第i个时间步隐藏状态；生成句子隐藏状态序列和给定方面隐藏状态序列同时将HC和Ht通过池化技术获得对应隐藏状态序列平均值，计算过程如下：T4：将神经网络层的输出HC，Ht，传入注意力层，利用HC与生成句子隐藏状态的加权表示rc，利用Ht与生成给定方面隐藏状态的加权表示rt，计算过程如下：其中，αi表示句子中第i个隐藏状态的注意力权重，α为评分函数，计算过程如下：给定方面的注意力权重计算过程如下：最终得到句子与给定方面隐藏状态的加权表示计算过程如下：其中，将注意力层的rc与rt输入注意力层拼接为r，通过soft本文档来自技高网...

【技术保护点】
1.一种方面级情感分类模型，其特征在于，包括嵌入层、神经网络层、注意力层和输出层；/n嵌入层用于将句子转化为对应的词向量表示；/n神经网络层用于将句子的词向量表示转化为相应的隐藏状态序列；/n注意力层用于从句子的隐藏状态中捕获对于识别给定方面的情感极性来说重要的信息；/n输出层用于对注意力层的输出进行变化，输出句子对于给定方面表达的情感分类。/n

【技术特征摘要】
1.一种方面级情感分类模型，其特征在于，包括嵌入层、神经网络层、注意力层和输出层；
嵌入层用于将句子转化为对应的词向量表示；
神经网络层用于将句子的词向量表示转化为相应的隐藏状态序列；
注意力层用于从句子的隐藏状态中捕获对于识别给定方面的情感极性来说重要的信息；
输出层用于对注意力层的输出进行变化，输出句子对于给定方面表达的情感分类。


2.根据权利要求1所述的方面级情感分类模型，其特征在于，包括以下分类方法：
S1：给定一个句子对(S,A)，其中m个词组成的方面词A＝{t1,t2,…,tm}是n个词组成的句子S＝{c1,c2,…,cn}的子序列；
S2：对于给定的句子对(S,A)，将整个句子的每个词在预训练词向量矩阵中找到对应的词向量，然后将这些词向量按照句子中词的顺序组合起来形成对应的词向量矩阵
S3：将S2得到的词向量矩阵输入到神经网络层，神经网络层将词向量读入，接着编码词向量，获得相应的隐藏状态：



其中，词向量Wci读入神经网络层后，输出隐藏状态第i个时间步用i表示，在神经网络层产生的用下标x表示；
S4：经S3处理后，获得隐藏状态序列然后将整个隐藏状态序列输入至注意力层，注意力层对句子中不同的词分配不同的注意力权重，得到注意力层句子的加权表示


3.根据权利要求2所述的方面级情感分类模型，其特征在于，所述S3过程中，神经网络层选择门控循环单元GRU，其详细的计算过程详细如下：
GRU由重置门和更新门两部分构成，更新门用于决定删除和添加的内容，重置门用于决定遗忘以前信息的程度，计算过程如下：












其中，表示权重矩阵，表示偏置，权重矩阵和偏置都是模型训练过程中需要学习的参数，不同时间步之间共享参数。


4.根据权利要求2所述的方面级情感分类模型，其特征在于，所述S4过程中，计算过程如下：









其中，在注意力层为目标句子，为源句子，et,i是目标句子中第t个位置和源句子的第i个位置之间匹配程度的评分，αt,i表示生成第t个目标词St时，分配给源句子第i个位置的注意力权重；
注意力层的输出传入输出层，通过分类器识别句子对于给定方面标的情感极性是积极、中性或消极，计算过程如下：



(15)将句子的加权表示r进行线性变换，将其长度转换为类别数|C|，softmax函数将其归一化为0-1的条件概率分布


5.根据权利要求1所述的方面级情感分类模型，其特征在于，包括以下分类方法：
T1：给定一个句子对(S,A)，其中m个词组成的方面词A＝{t1,t2,…,tm}是n个词组成的句子S＝{c1,c2,…,cn}的子序列；
T2：对于给定的句子对(S,A)，嵌入层将给定方面与句子分别在预训练词向量矩阵中找到对应的词向量，形成句子的词向量矩阵和给定方面的词向量矩阵V＝{Wt1,Wt2,…,Wtm}；
T3：将T2得到的给定方面词向量矩阵与句子词向量矩阵进行编码，提取给定方面与句子的特征；计算过程如下：






其中，是句子词向量编码后第i个时间步隐藏状态，是给定方面向量编码后的第i个时间步隐藏状态；
生成句子隐藏状态序列和给定方面隐藏状态序列同时将HC和Ht通过池化技术获得对应隐藏状态序列平均值，计算过程如下：






T4：将神经网络层的输出HC，Ht，传入注意力层，利用HC与生成句子隐藏状态的加权表示rc，利用Ht与生成给定方面隐藏状态的加权表示rt，计算过程如下：



其中，αi表示句子中第i个隐藏状态的注意力权重，α为评分函数，计算过程如下：



给定方面的注意力权重计算过程如下：



最终得到句子与给定方面隐藏状态的加权表示计算过程如下：






其中，将注意力层的rc与rt输入注意力层拼接为r，通过softmax分类器进行分类，计算过程如下：
r＝[rc；rt](25)



将句子的加权表示r进行线性变换，将其长度转换为类别数|C|，softmax函数将其归一化为0...

【专利技术属性】
技术研发人员：刘博，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50