一种基于时空图注意力网络的方面级情感分析方法技术

本发明专利技术公开了一种基于时空图注意力网络的方面级情感分析方法，本方法通过双向长短期记忆网络学习评论文本的隐藏向量，获取到单词的特征表达，并利用依存关系将段落中的子句搭建为相应的句法依存树。将单词特征向量和句法依存树进行结合后利用词性将相邻依存树连接，构建出立体时空图，并利用注意力机制计算图中关系值，然后对生成的时空图注意力网络进行卷积操作，输出优化后的单词特征向量。最后经过掩码操作后输入到softmax中得到方面词的情感极性分类结果。本发明专利技术考虑了评论文本中的时间性，通过捕获评论中情感随时间的波动特征，加强了对长段落和带有情感转折文本的处理能力，使得分类的预测效果更具解释性，精度更高。精度更高。精度更高。

【技术实现步骤摘要】
一种基于时空图注意力网络的方面级情感分析方法


[0001]本专利技术涉及一种文本情感分析方法，尤其涉及一种基于时空图注意力网络的方面级情感分析方法。

技术介绍

[0002]情感分析作为自然语言处理领域的一项任务，在当今互联网产品中发挥着重要的作用，人们一般会通过在网络上发表评论表达自己的观点和情感，挖掘这些评论中的用户意见可以推动个性化推荐、公共服务等应用领域的发展。方面级情感分析(ABSA)是情感分类中的一项细粒度任务，其目的是识别出目标方面词的情感极性，其特性可以帮助使用者精准定位问题，从而近年来受到了广泛关注。但现有方法基本都是对一段话进行统一建模，将整个评论文本放入到一个图卷积网络内，没有考虑到评论内容随时间发生的情感波动，所有单词将在一棵句法依存树中传播特征信息，现存基于GCN的方法大多采用2层网络结构，这使得长距离的语义信息依然不易通过卷积传播到目标方面词的特征之内。由于方面词的相关情感词并不一定都如同简单句一样出现在目标词附近，而有可能出现在下一句之中，这使得模型不易处理较长的评论段落，并且在面对带有语气转折的评论时，得不到理想的预测效果。

技术实现思路

[0003]专利技术目的：为了解决上述现有技术存在的问题，提出一种基于时空图注意力网络的方面级情感分析方法，能够提高较长的评论段落中每个方面的情感倾向的分析准确度。
[0004]技术方案：本专利技术所采用的技术方案是一种基于时空图注意力网络的方面级情感分析方法，包括：
[0005]通过异构时空图注意力网络模型计算评论文本的方面词情感极性的分类结果；所述异构时空图注意力网络模型包括：
[0006]通过长短期记忆网络计算评论文本中方面词和上下文的隐藏向量，输出每个单词对应的单词特征向量；将按照时间顺序排列的若干子句作为立体时空图的时间维度，将各子句对应的句法依存树作为立体时空图的空间维度，并将相邻的句法依存树中的节点通过词性关系相连接，所述词性关系是指具有相同词性的节点关系，去除词性关系的有向性，得到评论文本的立体时空图；
[0007]将所述的单词特征向量赋值到立体时空图中的节点，得到带有单词特征向量的立体时空图；
[0008]将所述带有单词特征向量的立体时空图通过时空图注意力网络计算得到评论文本的方面词情感极性的分类结果；所述时空图注意力网络在时间和空间两个维度的卷积过程中引入注意力机制。
[0009]其中，所述时空图注意力网络在时间和空间两个维度的卷积过程中引入注意力机制，空间维度方面是在目标单词的空间邻域信息计算中引入注意力传播权重，计算公式为：
[0010][0011]其中为目标单词的空间邻域信息，表示句法依存树内所有直接连接到单词x的邻域单词y的集合，α
x，y
为空间维度中目标词与邻域词之间的注意力传播权重，h
y
表示表示空间邻域词的特征向量；
[0012]在目标单词的时间邻域信息计算中同样引入注意力传播权重，计算公式为：
[0013][0014]其中h
temporal
表示目标单词的时间邻域信息，表示在时间维度中相邻的句法依存树中直接连接到单词x
t
的邻域单词y
t
的集合，为时间维度中目标词与邻域词之间的注意力传播权重，h
yt
表示表示时间邻域词的特征向量。
[0015]所述注意力传播权重计算可以有多种表达形式，优选的，计算公式为：
[0016][0017][0018]其中，α
a
为方面词的标准化注意力得分，β
a
为方面词注意力得分，β
i
为上下文词注意力得分，n
s
为句子数量，n
i
为句子内的单词数量，h
a
、h
i
分别为目标方面词特征表达和上下文词语特征表达，S表示段落中的句子集合，P表示段落。
[0019]优选的，所述长短期记忆网络采用双向长短期记忆网络，其经过正向和反向处理文本序列后，可以增强文本的语义处理效果，获得结合了上下文隐藏信息的单词特征向量。
[0020]将所述带有单词特征向量的立体时空图通过时空图注意力网络计算得到评论文本的方面词情感极性的分类结果，过程包括：通过时空图注意力网络进行时间和空间两个维度的卷积操作，在经过多次卷积后得到丰富后的单词特征向量；
[0021]其中空间维度的卷积计算公式为：
[0022][0023]其中为目标单词在时空图注意力网络卷积到第l层的空间特征表达，为目标单词的空间邻域信息，为目标单词的上一层特征表达向量，W为变换权重，b为偏置项，σ表示该层的非线性激活函数；
[0024]在得到目标词的空间特征表达后，进行时间维度的卷积操作，计算公式为：
[0025][0026]其中，为目标单词的时间邻域信息，W
t
和b
t
分别为时间维度计算时的变换权重和偏置项，为单词在经过一次时空图注意力网络聚合后的最终特征表达，即丰富后的单词特征向量；
[0027]将所述丰富后的单词特征向量进行掩码操作，过滤得到方面词的特征向量，经时空图注意力网络的输出层得到评论文本的方面词情感极性的分类结果。其中，所述时空图注意力网络的输出层优选为softmax函数。
[0028]所述异构时空图注意力网络模型通过评论文本数据集进行训练，训练过程采用的损失函数为：
[0029][0030]其中N表示训练样本数量，C表示分类数量，y
p
表示真实情感标签，为预测标签，分为“积极”、“中性”、“消极”三个情绪结果，λ为正则化系数，Θ为模型训练参数，|| ||2为第二范式计算。
[0031]本专利技术提供了一种方面级情感分析系统，用于评论文本的方面级情感分析，包括异构时空图注意力网络模型，所述异构时空图注意力网络模型包括：
[0032]长短期记忆网络，用于计算评论文本中方面词和上下文的隐藏向量，输出每个单词对应的单词特征向量并发送至数据处理模块；
[0033]数据处理模块，用于：将评论文本按照时间顺序排列的若干子句作为立体时空图的时间维度，将各子句对应的句法依存树作为立体时空图的空间维度，并将相邻的句法依存树中的节点通过词性关系相连接，所述词性关系是指具有相同词性的节点关系，去除词性关系的有向性，得到评论文本的立体时空图；将所述的单词特征向量赋值到立体时空图中的节点，得到带有单词特征向量的立体时空图并发送至时空图注意力网络；
[0034]注意力机制模块，用于计算注意力传播权重并发送至时空图注意力网络；
[0035]时空图注意力网络，用于根据带有单词特征向量的立体时空图，计算得到评论文本的方面词情感极性的分类结果；所述时空图注意力网络在时间和空间两个维度的卷积过程中引入注意力机制。
[0036]本专利技术提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图注意力网络的方面级情感分析方法，其特征在于，包括：通过异构时空图注意力网络模型计算评论文本的方面词情感极性的分类结果；所述异构时空图注意力网络模型包括：通过长短期记忆网络计算评论文本中方面词和上下文的隐藏向量，输出每个单词对应的单词特征向量；将按照时间顺序排列的若干子句作为立体时空图的时间维度，将各子句对应的句法依存树作为立体时空图的空间维度，并将相邻的句法依存树中的节点通过词性关系相连接，所述词性关系是指具有相同词性的节点关系，去除词性关系的有向性，得到评论文本的立体时空图；将所述的单词特征向量赋值到立体时空图中的节点，得到带有单词特征向量的立体时空图；将所述带有单词特征向量的立体时空图通过异构时空图注意力网络计算，得到评论文本的方面词情感极性的分类结果；所述异构时空图注意力网络在时间和空间两个维度的卷积过程中引入注意力机制。2.根据权利要求1所述的基于时空图注意力网络的方面级情感分析方法，其特征在于，所述时空图注意力网络在时间和空间两个维度的卷积过程中引入注意力机制，空间维度方面是在目标单词的空间邻域信息计算中引入注意力传播权重，计算公式为：其中为目标单词的空间邻域信息，表示句法依存树内所有直接连接到单词x的邻域单词y的集合，α
x，y
为空间维度中目标词与邻域词之间的注意力传播权重，h
y
表示空间邻域词的特征向量；在目标单词的时间邻域信息计算中同样引入注意力传播权重，计算公式为：其中h
temporal
表示目标单词的时间邻域信息，表示在时间维度中相邻的句法依存树中直接连接到单词x
t
的邻域单词y
t
的集合，为时间维度中目标词与邻域词之间的注意力传播权重，h
yt
表示时间邻域词的特征向量。3.根据权利要求2所述的基于时空图注意力网络的方面级情感分析方法，其特征在于，所述注意力传播权重计算公式为：所述注意力传播权重计算公式为：其中，α
a
为方面词的标准化注意力得分，β
a
为方面词注意力得分，β
i
为上下文词注意力得分，n
s
为句子数量，n
i
为句子内的单词数量，h
a
、h
i
分别为目标方面词特征表达和上下文词语特征表达，S表示段落中的句子集合，P表示段落。4.根据权利要求1所述的基于时空图注意力网络的方面级情感分析方法，其特征在于，
所述长短期记忆网络采用双向长短期记忆网络。5.根据权利要求1所述的基于时空图注意力网络的方面级情感分析方法，其特征在于，将所述带有单词特征向量的立体时空图通过时空图注意力网络计算得到评论文本的方面词情感极性的分类结果，包括：...

【专利技术属性】
技术研发人员：王逊，金梦清，徐长林，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：