一种基于语法依赖类型和方面间关联的情感分析方法技术

本发明专利技术公开了一种基于语法依赖类型和方面间关联的情感分析方法，包括S1获取需要分析的文本，并通过预训练模型将其转化为词向量表示；S2将特定方面与句子表示的每一个单词进行拼接，并引入语法依赖类型，赋予语法依赖树中重要的依赖类型更大的权重；S3将带有方面感知和语法依赖类型的句子表示作为模型的输入；S4引入方面间关联矩阵，并经由图卷积网络获取到含有方面间关联的句子表示；S5将含有方面间关联的句子表示和含有方面特征的句子表示融合起来；S6得到同时含有方面信息和方面间关联的句子表示后，结合查询向量来判断目标方面的情感极性。本发明专利技术提升了模型识别方面间信息以及语法依赖关系的能力。语法依赖关系的能力。语法依赖关系的能力。

An affective analysis method based on the relationship between grammatical dependency types and aspects

【技术实现步骤摘要】
一种基于语法依赖类型和方面间关联的情感分析方法


[0001]本专利技术涉及一种基于语法依赖类型和方面间关联的情感分析方法，主要涉及自然语言处理领域。

技术介绍

[0002]电子商务的发展产生了大量带有情感极性的评论文本，这些评论文本有着重要的商业价值，吸引着研究人员进行情感分析的研究。通常，一个句子包含几个不同的方面，这些不同的方面之间可能存在着相同或不同的情感。以往的方面级情感分析普遍将各个方面单独考虑，割裂了方面之间的情感联系，具有局限性，甚至有些情况下，目标方面的情感判断，需要借助其他方面的情感才能分析出来。如句子“Themenuisverylimited
‑
Ithinkwecounted4or5entries.”中，方面词“entries”没有明确的情感词，仅考虑后半子句无法判断其情感，而借助方面词“menu”的负向情感则可以判断出方面“entries”的情感为负向。近年来，方面级情感分析研究发展迅速。韩虎等人提出利用知识图谱将背景知识融入到文本中，为句子提供大量的语境信息。李攀等人提出一种基于BERT的记忆网络模型，将记忆网络的输出与方面词的[CLS]向量的注意力充分交互，避免了重要信息的丢失。胡艳丽等人提出使用自注意力机制筛选出最初获取到的特征，再将筛选后的特征采用不同的卷积核送入CNN以提取不同的局部特征，最后再经过自注意力机制筛选出重要信息。Lin等人提出利用位置信息对深度记忆网络的特征进行选择，并设计了跨方面模块来获取方面间的情感关联。Liang等人对语法依赖树进行了修正，以方面词为中心来增强依赖关系图，同时构建方面间关联图来获取方面间的情感依赖。然而现有的大多数研究只关注句子某个方面的情感，而忽略了方面之间的关系。同时大多数研究使用原始的语法依赖树，没有考虑到不同依赖类型对情感极性的影响。

技术实现思路

[0003]针对以上现有技术的不足，本专利技术提出一种基于语法依赖类型和方面间关联的情感分析方法，解决了传统方法未能考虑不同方面之间的情感关联问题，同时，通过引入语法依赖类型，能够赋予对于目标方面情感判断更重要的语法依赖类型更大的权重，有效地结合了方面间的情感信息和语法信息，提高了在不同数据集上的方面级情感分析的准确性和稳定性。
[0004]为达到上述目的，本专利技术的技术方案是：一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于，该方法具体包括以下步骤：
[0005]S1获取需要分析的文本，并通过预训练模型将其转化为词向量表示；
[0006]S2将特定方面与句子表示的每一个单词进行拼接，使得句子表示每次只关注特定方面的情感，并引入语法依赖类型，赋予语法依赖树中重要的依赖类型更大的权重，并经由图卷积网络获得包含更多语法信息的句子表示，接着采用注意力层，改善带有方面感知和语法依赖类型的句子表示；
[0007]S3将带有方面感知和语法依赖类型的句子表示作为模型的输入，将目标方面作为查询向量，非目标方面通过Bi
‑
GRU使得方面特征在句子表示中进一步传播，然后将所得到含有更多方面特征的句子表示与查询向量之间计算方面间注意力；
[0008]S4引入方面间关联矩阵，并经由图卷积网络获取到含有方面间关联的句子表示；
[0009]S5将含有方面间关联的句子表示和含有方面特征的句子表示融合起来，并用方面间关联系数控制引入方面间关联特征的多少；
[0010]S6得到同时含有方面信息和方面间关联的句子表示后，用方面间注意力控制非目标方面对于目标方面的影响，得到最终的句子表示，结合查询向量来判断目标方面的情感极性。
[0011]优选地，步骤S2赋予语法依赖树中重要的依赖类型更大的权重具体为：使用Bi
‑
GRU获取含有方面信息的句子表示，然后引入语法依赖类型，并通过图卷积网络得到含有语法特征的句子表示，并采用注意力层以扩大对于特定方面情感判断有重要作用的单词的影响。
[0012]优选地，含有方面信息的句子表示具体过程为：
[0013]将方面词a
i
嵌入到句子的词向量表示中，得到带有方面词的词向量表示：
[0014][0015]经过Bi
‑
GRU，将其命名为GRU1得到的隐藏表示即
[0016]聚焦语法依赖类型的图卷积网络具体构造流程分以下几个步骤：首先使用SpaCy获取语法依赖信息，可以用一个依赖元组列表(w
i
,w
j
,c
ij
)来表示，c
ij
表示单词w
i
与另一个单词w
j
的依赖类型；然后语法依赖信息采用邻接矩阵A来表示，其中的元素a
ij
表示单词w
i
与另一个单词w
j
之间的关系，如果有边相连，则a
ij
＝1；没有边相连，则a
ij
＝0；
[0017]将关系依赖类型矩阵中的元素c
ij
映射成它们的词嵌入采用如下方法赋予每个边不同的权重，每条边的权重计算如下式：
[0018][0019][0020][0021]其中，和分别表示单词w
i
与单词w
j
第(l
‑
1)层的隐藏状态，最初的和来源于GRU1的输出；
[0022]最终单词w
i
经过图卷积网络在第l层的输出如下：
[0023][0024]其中，W
(l)
和b
(l)
代表l层图卷积中可训练的参数，σ表示激活函数ReLU；经过TFGCN后得到的带有方面信息的句子表示用表示；
[0025]在表示方面感知的句子表示时，引入注意力层来改善方面感知的句子表示
[0026]具体操作如下公式所示：
[0027][0028]α＝softmax(z),
[0029][0030]其中其中b
s
为一个标量。
[0031]优选地，步骤S3计算方面间注意力具体为：将含有方面间关联和语法依赖类型的句子表示作为输入，将其通过Bi
‑
GRU，使得方面信息进一步在句子表示中传播，得到含有更多方面特征的句子表示，并将目标方面作为查询向量，计算目标方面与非目标方面的方面间注意力。
[0032]优选地，计算方面间注意力具体流程：首先将输入到另一个隐藏层大小为D0的门控循环单元GRU2中；其他方面经过GRU2得到的隐藏表示为对于目标方面表示使用一个全连接层将其转化为查询向量q；查询向量的获取如下式：
[0033][0034]其中
[0035]为得到查询向量与其他方面向量之间的相关性，采用如下方式计算：
[0036][0037]β＝softm ax(z
a
)
[0038]其中，
[0039]β
i
表示目标方面与其他方面之间的注意力得分；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于，该方法具体包括以下步骤:S1获取需要分析的文本，并通过预训练模型将其转化为词向量表示；S2将特定方面与句子表示的每一个单词进行拼接，使得句子表示每次只关注特定方面的情感，并引入语法依赖类型，赋予语法依赖树中重要的依赖类型更大的权重，并经由图卷积网络获得包含更多语法信息的句子表示，接着采用注意力层，改善带有方面感知和语法依赖类型的句子表示；S3将带有方面感知和语法依赖类型的句子表示作为模型的输入，将目标方面作为查询向量，非目标方面通过Bi
‑
GRU使得方面特征在句子表示中进一步传播，然后将所得到含有更多方面特征的句子表示与查询向量之间计算方面间注意力；S4引入方面间关联矩阵，并经由图卷积网络获取到含有方面间关联的句子表示；S5将含有方面间关联的句子表示和含有方面特征的句子表示融合起来，并用方面间关联系数控制引入方面间关联特征的多少；S6得到同时含有方面信息和方面间关联的句子表示后，用方面间注意力控制非目标方面对于目标方面的影响，得到最终的句子表示，结合查询向量来判断目标方面的情感极性。2.根据权利要求1所述的一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于：步骤S2赋予语法依赖树中重要的依赖类型更大的权重具体为：使用Bi
‑
GRU获取含有方面信息的句子表示，然后引入语法依赖类型，并通过图卷积网络得到含有语法特征的句子表示，并采用注意力层以扩大对于特定方面情感判断有重要作用的单词的影响。3.根据权利要求2所述的一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于：含有方面信息的句子表示具体过程为：将方面词a
i
嵌入到句子的词向量表示中，得到带有方面词的词向量表示：经过Bi
‑
GRU，将其命名为GRU1得到的隐藏表示即聚焦语法依赖类型的图卷积网络具体构造流程分以下几个步骤：首先使用SpaCy获取语法依赖信息，可以用一个依赖元组列表(w
i
,w
j
,c
ij
)来表示，c
ij
表示单词w
i
与另一个单词w
j
的依赖类型；然后语法依赖信息采用邻接矩阵A来表示，其中的元素a
ij
表示单词w
i
与另一个单词w
j
之间的关系，如果有边相连，则a
ij
＝1；没有边相连，则a
ij
＝0；将关系依赖类型矩阵中的元素c
ij
映射成它们的词嵌入采用如下方法赋予每个边不同的权重，每条边的权重计算如下式：计算如下式：
其中，和分别表示单词w
i
与单词w
j
第(l
‑
1)层的隐藏状态，最初的和来源于GRU1的输出；最终单词w
i
经过图卷积网络在第l层的输出如下：其中，W
(l)
和b
(l)
代表l层图卷积中可训练的参数，σ表示激活函数ReLU；经过TFGCN后得到的带有方面信息的句子表示用表示；在表示方面感知的句子表示时，引入注意力层来改善方面感知的句子表示具体操作如下公式所示：α＝softmax(z),其中其中b
s
为一个标量。4.根据权利要求2所述的一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于：步骤S3计算方面间注意力具体为：将含有方面间关联和语法依赖类型的句子表示作为输入，将其通过Bi
‑
GRU，使得方面信息进一步在句子表示中传播，得到含有更多方面特征的句子表示，并将目标方面作为查询向量，计算目标方面与非目标方面的方面间注意力。5.根据权利要求4所述的一种基于语法依赖类型和方面间关联的情感分析方法，其特征在于：计算方面间注意力具体流程：首先将输入到另...

【专利技术属性】
技术研发人员：刘辉，马祥，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：