一种基于LSTM和语法距离的方面级情感分析方法技术

本发明专利技术公开了一种基于LSTM和语法距离的方面级情感分析方法，包括S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi

【技术实现步骤摘要】
一种基于LSTM和语法距离的方面级情感分析方法


[0001]本专利技术涉及一种基于LSTM和语法距离的方面级情感分析方法，主要涉及自然语言领域。

技术介绍

[0002]与传统情感分析不同的是，方面级情感分析(Aspect
‑
Based Sentiment Analysis,ABSA)由于能分析出句子中特定方面的情感而受到广泛研究。近年来，深度学习方法被广泛用于方面级情感分析，并且大多依赖于长短时记忆网络(Long
‑
Short Term Memory,LSTM)和注意力机制。LSTM由于可以避免梯度消失或爆炸的问题被广泛用于特征提取。Tang等使用LSTM的隐藏表示预测情感。Ruder等使用双向长短时记忆网络(Bidirectional LSTM,Bi
‑
LSTM)获得了更好的分类效果。Li等提出了特定目标的转换网络(Target
‑
Specific Transformation Networks,Tnet)，将上下文特征和转换后的特征卷积以获取最终表示。但以上模型采用传统的LSTM，同等地看待上下文词，无法准确的匹配与方面词更相关的上下文词。因此，Wang等引入注意力机制，并将方面嵌入直接拼接到上下文嵌入中，取得了不错的效果，证明了注意力机制在ABSA中的作用。Xu等结合局部上下文焦点和依赖集群构建注意力用于方面级情感分析。Basiri基于注意力机制，构建了一种融合CNN与RNN的情感分析模型。Tang等提出深度记忆网络(Deep Memory Network,MemNet),采用多层注意力分配上下文权重获得了更好的分类效果。但是以上模型采用的注意力机制忽略了方面词与上下文的交互，限制了分类性能。为了实现方面词与上下文的交互，获取更好的特征表示，Ma等和Huang等分别提出了交互注意力网络(Interactive Attention networks,IAN)和双重注意力网络(Attention
‑
over
‑
Attention,AOA)。让方面词与上下文词分别参与对方的建模，进一步提高了分类性能。然而，这些交互注意力机制由于没有逐词地计算方面词与上下文的一致性，可能错误地关联与方面词不相关的上下文词，限制了分类性能，此外，也缺少对语法特征的分析。图卷积网络(Graph Convolutional Networks,GCN)由于能够捕获单词间的语法特征而被应用于ABSA。Zhou提出一种基于语法和知识的图卷积网络。Zhu提出一种利用局部和全局信息引导图卷积网络构建的模型。Zhang等提出了特定方面的图卷积网络(Aspect
‑
specific GCN,ASGCN)，用GCN提取到方面词特征后再反馈给上下文表示，获得交互注意力权重作为情感分类的依据，取得了不错的效果。但是，上述及现有方法在进行ABSA任务是会存在以下缺陷：
[0003](1)使用相对位置权重，缺乏语法距离的考虑，很可能错误地将方面词与语法上关联度不高的上下文错误匹配，导致情感分类错误。
[0004](2)大部分方法缺乏方面词和上下文词的交互，很容易使得方面词匹配到与其情感极性判断无关的上下文词，影响情感极性的判断。
[0005](3)在获取最终表示时，仅考虑方面词和上下文词的特征表示，忽略了其他特征。
[0006]因此，亟需一种能够同时解决上述缺陷的方面级情感分析方法。

技术实现思路

[0007]针对以上现有技术的不足，本专利技术提出一种基于LSTM和语法距离的方面级情感分析方法，从语义上改进了方面词和上下文错误匹配的情况，提升了方面词和上下文词的语义关联性；从语法上改进了图卷积网络的输入，使得方面词和上下文词的语法关联性更高；并在最终的信息交互时，使得位置权重层的输出也参与信息交互，从而获取了更多的位置权重特征。
[0008]为达到上述目的，本专利技术的技术方案是：
[0009]一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，包括以下步骤：
[0010]S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi
‑
LSTM，得到方面词和上下文的隐藏表示；
[0011]S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；
[0012]S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；
[0013]S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。
[0014]优选地，步骤S1中，使用GloVe预训练模型，将待进行情感分析的句子中每个词转换为词向量，并采用Bi
‑
LSTM得到方面词和上下文词的隐藏表示。
[0015]优选地，步骤S2中，采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征，具体包括：将步骤S1中得到的方面词的隐藏表示同上下文词逐一地计算关联程度，得到方面词对于上下文词的注意力向量，并将该注意力向量与上下文词的隐藏表示拼接起来，作为mLSTM的输入，得到含有更多方面信息的上下文词的特征表示；然后使用spaCy进行语法依赖分析得到语法依赖树，并引入语法距离作为位置权重，使得在语法依赖树上与方面词距离更近的上下文词获得更大的权重，同时与上下文词的最终表示和经过语法依赖树构建的邻接矩阵一同作为图卷积网络的输入，经由图卷积网络获取不相邻单词之间的依赖关系并获取到丰富的语法特征；然后经过方面掩盖层过滤掉非方面词，得到方面词的隐藏表示；然后将得到的上下文词表示、方面词表示和语法距离权重进行信息交互，用于方面级情感分析。
[0016]优选地，所述的模型包括mLSTM层，位置权重层，图卷积层，方面掩盖层和信息交互层。
[0017]优选地，所述的mLSTM层计算过程包括：
[0018]将通过Bi
‑
LSTM得到的方面词和上下文词的隐藏表示和逐一的计算二者之间的关联性，表达式为：
[0019][0020]其中，α
kj
是用来编码上下文词和方面词之间的的注意权重，表达式为：
[0021][0022]其中，e
kj
，用来获取上下文词与不同方面词之间的关联，表达式为：
[0023][0024]其中,w
e
和所有的参数矩阵W
*
均为可学习的权重矩阵。是由mLSTM产生的第k个位置的隐藏状态；
[0025]然后将上下文中第k个单词的关于方面词的注意力权重a
k
与上下文中第k个单词的隐藏状态融合起来，作为mLSTM的输入m
k
。经过mLSTM得到含有方面信息的上下文表示
[0026][0027]优选地，步骤S2中，引入语法距离权重代替相等距离，使得与方面词的语法关联更大的上下文词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，包括以下步骤：S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi
‑
LSTM，得到方面词和上下文的隐藏表示；S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。2.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：步骤S1中，使用GloVe预训练模型，将待进行情感分析的句子中每个词转换为词向量，并采用Bi
‑
LSTM得到方面词和上下文词的隐藏表示。3.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：步骤S2中，采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征，具体包括：将步骤S1中得到的方面词的隐藏表示同上下文词逐一地计算关联程度，得到方面词对于上下文词的注意力向量，并将该注意力向量与上下文词的隐藏表示拼接起来，作为mLSTM的输入，得到含有更多方面信息的上下文词的特征表示；然后使用spaCy进行语法依赖分析得到语法依赖树，并引入语法距离作为位置权重，使得在语法依赖树上与方面词距离更近的上下文词获得更大的权重，同时与上下文词的最终表示和经过语法依赖树构建的邻接矩阵一同作为图卷积网络的输入，经由图卷积网络获取不相邻单词之间的依赖关系并获取到丰富的语法特征；然后经过方面掩盖层过滤掉非方面词，得到方面词的隐藏表示；然后将得到的上下文词表示、方面词表示和语法距离权重进行信息交互，用于方面级情感分析。4.根据权利要求3所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：所述的模型包括mLSTM层，位置权重层，图卷积层，方面掩盖层和信息交互层。5.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，所述的mLSTM层计算过程包括：将通过Bi
‑
LSTM得到的方面词和上下文词的隐藏表示和逐一的计算二者之间的关联性，表达式为：其中，α
kj
是用来编码上下文词和方面词之间的的注意权重，表达式为：其中，e
kj
，用来获取上下文词与不同方面词之间的关联，表达式为：
其中,w
e
和所有的参数矩阵W
*
均为可学习的权重矩阵。是由mLSTM产生的第k个位置的隐藏状态；然后将上下文中第k个单词的关于方面词的注意力权重a
k
与上下文中第k个单词的隐藏状态融合起来，作为mLSTM的输入m
k
。经过mLSTM得到含有方面信息的上下文表示。...

【专利技术属性】
技术研发人员：刘辉，马祥，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：