基于增强语义句法信息的方面级情感分类方法技术

本发明专利技术具体涉及基于增强语义句法信息的方面级情感分类方法，包括：获取待测文本并输入经过预先训练的情感分类模型中，输出对应的分类预测结果；情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示生成初级上下文表示；然后通过图注意力层提取上下文句法信息生成次级上下文表示；进一步更新词向量生成初级词嵌入表示和次级词嵌入表示，并平均池化生成粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合粗粒度表示以及细粒度表示中相同的粒度信息生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果。本发明专利技术能够有效克服噪音影响并能够增强语义句法信息。增强语义句法信息。增强语义句法信息。

【技术实现步骤摘要】
基于增强语义句法信息的方面级情感分类方法


[0001]本专利技术涉及互联网大数据
，具体涉及基于增强语义句法信息的方面级情感分类方法。

技术介绍

[0002]方面级情感分类(ABSA)是一种细粒度的情感分类，其主要是把上下文中的方面词分别分为三类：积极、消极、中立。以“The performance of this laptop is excellent,but the screen is terrible”为例，方面词laptop为积极，方面词screen为消极。因为一个句子可能包含多个方面词，所以判断每个方面词的情感极性变得至关重要。
[0003]现目前，基于依赖树的图神经网络(GNN)在方面级情感分类任务中已经取得了不错的效果。例如，公开号为CN112347248A的中国专利公开了《一种方面级文本情感分类方法及系统》，其包括：根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。
[0004]上述现有方案中的方面级文本情感分类方法采用卷积神经网络提取句子中的局部特征信息，利用双向长短时记忆网络学习卷积神经网络池化值后的特征，能够在一定程度上提高情感分类的性能。但是，句法依赖树不可避免的会包含与方面情感分类无关的噪音信息，而现有方案未考虑依赖树噪音信息带来的不稳定性影响，导致方面级情感分类的准确性偏低。同时，上述现有方案忽略了目标方面之间的语义信息，使得模型对句子信息和方面词信息的感知不足，进而导致方面级情感分类的全面性不好。因此，如何设计一种能够克服噪声影响并增强语义句法信息的情感分类方法，以提高方面级情感分类的准确性和全面性是亟需解决的技术问题。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种基于增强语义句法信息的方面级情感分类方法，以能够有效克服噪音影响并能够增强语义句法信息，从而能够提高方面级情感分类的准确性和全面性。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0007]基于增强语义句法信息的方面级情感分类方法，包括以下步骤：
[0008]S1：获取待测文本；
[0009]S2：将待测文本输入经过预先训练的情感分类模型中，输出对应的分类预测结果；
[0010]其中，情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示，生成初级上下文表示；然后通过图注意力层提取初始上下文表示中的上下文句法信息，生成次级上下文表示；进一步通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，生成初级词嵌入表示和次级词嵌入表示，并平均池化生成初级词嵌入表示和
次级词嵌入表示的粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果；
[0011]S3：将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。
[0012]优选的，步骤S2中，通过如下步骤生成初级上下文表示：
[0013]S201：将待测文本对应转换为上下文序列和方面词表示其中w
a
是w
c
的子序列；
[0014]S202：将上下文序列和方面词表示转换为如下w的形式，输入BERT预训练模型中；
[0015][0016]S203：通过BERT预训练模型输出如下的初级上下文表示h
se
；
[0017]h
se
＝{h
cls
,h1,
…
,h
n
,h
n+1
,h
n+2
,
…
,h
n+m+1
,h
n+m+2
}；
[0018]式中：h
cls
表示BERT预训练模型通过池化值得到情感分类信息；h1,
…
,h
n
表示上下文的词向量表示。
[0019]优选的，步骤S2中，通过如下步骤生成次级上下文表示：
[0020]S211：通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息，得到具有句法信息的上下文表示；
[0021][0022][0023][0024]式中：表示多头自注意力网络中l+1层的i个词向量；表示更新权重；表示第l层K个头的学习参数；N(i)表示第i个节点的相邻节点域；表示拼接多头自注意力网络K个头的信息；表示第l层的上下文表示，如果l＝1则为BERT预训练模型最后一层的输出；表示学习参数；和表示可学习转换矩阵；分别表示l层第K个头第i和j个单词的词向量；d表示维度大小；
[0025]S212：通过逐点卷积变换对句法信息进行变换，生成次级上下文表示h
sy
；
[0026][0027]式中：h
l
表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函数；*表示卷积操作；和表示卷积操作的学习参数；和表示残差参数。
[0028]优选的，步骤S2中，更新初级上下文表示和次级上下文表示时，通过Mask向量来屏蔽方面词的影响；
[0029]设A为方面词的索引集，生成如下的Mask向量；
[0030][0031]优选的，步骤S2中，通过特定方面的注意力网络更新初级上下文表示h
se
时的公式如下；
[0032][0033][0034][0035]式中：表示通过特定方面的注意力网络更新后的初级词嵌入表示；表示初级上下文表示的方面词最大池化值；表示注意力更新权重；W
se
表示注意力学习矩阵。
[0036]优选的，步骤S2中，通过特定方面的注意力网络更新次级上下文表示时的公式如下；
[0037][0038][0039][0040]式中：表示通过特定方面的注意力网络更新后的次级词嵌入表示；表示更新权重；表示次级上下文表示的方面词最大池化值；W
sy
表示注意力学习矩阵。
[0041]优选的，步骤S2中，分别计算初级上下文表示和次级上下文表示的方面词最大池化值和以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值和然后通过多粒度门机制结合如下公式计算对应的多粒度融合信息h
g
；
[0042][0043][0044]g＝σ(W
g
[x1；x2]+b
g
)；
[0045]式中：σ表示Sigmod激活函数，使其位于[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于增强语义句法信息的方面级情感分类方法，其特征在于，包括以下步骤：S1：获取待测文本；S2：将待测文本输入经过预先训练的情感分类模型中，输出对应的分类预测结果；其中，情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示，生成初级上下文表示；然后通过图注意力层提取初始上下文表示中的上下文句法信息，生成次级上下文表示；进一步通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，生成初级词嵌入表示和次级词嵌入表示，并平均池化生成初级词嵌入表示和次级词嵌入表示的粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果；S3：将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。2.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下步骤生成初级上下文表示：S201：将待测文本对应转换为上下文序列和方面词表示其中w
a
是w
c
的子序列；S202：将上下文序列和方面词表示转换为如下w的形式，输入BERT预训练模型中；S203：通过BERT预训练模型输出如下的初级上下文表示h
se
；h
se
＝{h
cls
，h1，
…
，h
n
，h
n+1
，h
n+2
，
…
，h
n+m+1
，h
n+m+2
}；式中：h
cls
表示BERT预训练模型通过池化值得到情感分类信息；h1，
…
，h
n
表示上下文的词向量表示。3.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下步骤生成次级上下文表示：S211：通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息，得到具有句法信息的上下文表示；具有句法信息的上下文表示；具有句法信息的上下文表示；式中：表示多头自注意力网络中l+1层的i个词向量；表示更新权重；表示第l层K个头的学习参数；N(i)表示第i个节点的相邻节点域；表示拼接多头自注意力网络K个头的信息；表示第l层的上下文表示，如果l＝1则为BERT预训练模型最后一层的输出；表示学习参数；和表示可学习转换矩阵；分别表示l层第K个头第i和j个单词的词向量；d表示维度大小；
S212：通过逐点卷积变换对句法信息进行变换，生成次级上下文表示h
sy
；式中：h1表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函数；*表示卷积操作；和表示卷积...

【专利技术属性】
技术研发人员：王勇，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：