基于制造技术

本发明专利技术提出基于

【技术实现步骤摘要】
基于Transformer和交互注意力网络的方面级情感分类方法


[0001]本专利技术涉及情感分类
，特别涉及一种基于
Transformer
和交互注意力网络的方面级情感分类方法
。

技术介绍

[0002]方面级情感分类
(Aspect
‑
level Sentiment Classification)
是一项细粒度的情感分析任务，其目的是识别句子中给定方面词的情感极性
。
[0003]传统的方面级情感分类一般采用
RNN
系列模型进行分析，但是在分析过程中，例如
NLP
任务中的
LSTM
和
GRU
极具表现力但很难并行化，并且随着时间的反向传播需要大量的内存和计算，基本上每个
RNN
在训练过程中会出现截断的反向传播
、
梯度消失和梯度爆炸等问题，这将会影响模型在更长时间上捕获依赖关系的能力，虽然
LSTM
在一定程度上可以缓解梯度消失问题，但通常需要大量的训练数据
。
[0004]同时以往的方法大多基于长短时记忆网络和注意力机制，这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性，但忽略了句中的语法信息
。
这可能会给句子中重要情感词分配较低的注意力权重，无法充分获取和融合方面词与上下文之间的交互信息，从而影响情感分类的准确率
。

技术实现思路

[0005]基于此，本专利技术的目的是提出一种基于
Transformer
和交互注意力网络的方面级情感分类方法，能够有效的捕获句子的长期依赖关系，同时更好地获取和融合局部上下文与特定方面词之间的交互信息，进而得以提高情感分类的准确率
。
[0006]根据本专利技术提出的一种基于
Transformer
和交互注意力网络的方面级情感分类方法，应用于情感分类系统，所述方法包括：
[0007]获取目标文本，并将所述目标文本进行分词处理，以根据分词处理结果将得到的单词进行向量映射，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
，，其中，表示第
i
个上下文词对应的向量矩阵，表示第
i
个方面词对应的向量矩阵，表示第
i
个全局特征向量矩阵，
n
表示目标文本中上文下词的数量，
m
表示目标文本中方面词的数量；
[0008]分别将上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
中的向量矩阵进行残差网络和层归一化运算，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
分别对应的隐藏特征
H
s
、H
a
以及
H
sa
；
[0009]使用注意力机制根据隐藏特征
H
s
、H
a
以及
H
sa
捕获上下文与方面词之间的交互情感特征，以根据所述交互情感特征计算得到注意力权重，并基于所述注意力权重计算得到隐藏特征的加权和；
[0010]根据隐藏特征的加权和计算得到融合特征，并对融合特征进行池化操作，并将池
化后的特征通过全连接层映射到维度为
C
的向量空间中，得到映射特征
x
I
，并根据映射特征
x
I
计算得到方面级情感极性概率，以根据所述方面级情感极性概率从预设情感极性关联表中获取与所述目标文本对应的情感极性
。
[0011]综上，根据上述的一种基于
Transformer
和交互注意力网络的方面级情感分类方法，
Transformer
编码器来生成输入序列的隐藏状态表示
。
该模型与基于
RNN
模型相比，模型训练的时间更短，并且通过多头注意力机制能够有效的捕获句子的长期依赖关系，同时根据单词之间的语法相对距离设计了一种融入上下文动态掩码和上下文动态权重机制的交互注意力网络，更好地获取和融合局部上下文与特定方面词之间的交互情感特征，进而提高了对语句情感分类的准确率
。
[0012]进一步地，所述分别将上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
中的向量矩阵进行残差网络和层归一化运算，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
分别对应的隐藏特征
H
s
、H
a
以及
H
sa
的步骤包括：
[0013]根据以下公式计算得到隐藏特征
H
s
：
[0014]H
s
＝
LayerNorm(X
s
+FFN(X
s
))
[0015]X
s
＝
LayerNorm(E
s
+MultiHead(E
s
))
[0016]FFN(X
s
)
＝
max(0
，
X
s
W1+b1)W2+b2[0017]LayerNorm(
·
)
表示层归一化处理，
FFN(
·
)
表示前馈神经网络处理，
MultiHead(
·
)
表示多头注意力机制，
W1和
W2均表示权重矩阵，
b1和
b2均表示偏置值；
[0018]根据以下公式计算得到隐藏特征
H
a
：
[0019]H
a
＝
LayerNorm(X
a
+FFN(X
a
))
[0020]X
a
＝
LayerNorm(E
a
+MultiHead(E
a
))
[0021]FFN(X
a
)
＝
max(0
，
X
a
W1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Transformer
和交互注意力网络的方面级情感分类方法，应用于情感分类系统，其特征在于，所述方法包括：获取目标文本，并将所述目标文本进行分词处理，以根据分词处理结果将得到的单词进行向量映射，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
，，其中，表示第
i
个上下文词对应的向量矩阵，表示第
i
个方面词对应的向量矩阵，表示第
i
个全局特征向量矩阵，
n
表示目标文本中上文下词的数量，
m
表示目标文本中方面词的数量；分别将上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
中的向量矩阵进行残差网络和层归一化运算，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
分别对应的隐藏特征
H
s
、H
a
以及
H
sa
；使用注意力机制根据隐藏特征
H
s
、H
a
以及
H
sa
捕获上下文与方面词之间的交互情感特征，以根据所述交互情感特征计算得到注意力权重，并基于所述注意力权重计算得到隐藏特征的加权和；根据隐藏特征的加权和计算得到融合特征，并对融合特征进行池化操作，并将池化后的特征通过全连接层映射到维度为
C
的向量空间中，得到映射特征
x
l
，并根据映射特征
x
l
计算得到方面级情感极性概率，以根据所述方面级情感极性概率从预设情感极性关联表中获取与所述目标文本对应的情感极性
。2.
根据权利要求1所述的基于
Transformer
和交互注意力网络的方面级情感分类方法，其特征在于，所述分别将上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
中的向量矩阵进行残差网络和层归一化运算，得到上下文词向量集合
E
s
、
方面词向量集合
E
a
以及全局向量特征集合
E
sa
分别对应的隐藏特征
H
s
、H
a
以及
H
sa
的步骤包括：根据以下公式计算得到隐藏特征
H
s
：
H
s
＝
LayerNorm(X
s
+FFN(X
s
))X
s
＝
LayerNorm(E
s
+MultiHead(E
s
))FFN(X
s
)
＝
max(0
，
X
s
W1+b1)W2+b2LayerNorm(
·
)
表示层归一化处理，
FFN(
·
)
表示前馈神经网络处理，
MultiHead(
·
)
表示多头注意力机制，
W1和
W2均表示权重矩阵，
b1和
b2均表示偏置值；根据以下公式计算得到隐藏特征
H
a
：
H
a
＝
LayerNorm(X
a
+FFN(X
a
))X
a
＝
LayErNorm(E
a
+MultiHead(E
a
))FFN(X
a
)
＝
max(0
，
X
a
W1+b1)W2+b2根据以下公式计算得到隐藏特征
H
sa
：
H
sa
＝
LayerNorm(X
sa
+FFN(X
sa
))X
sa
＝
LayerNorm(E
sa
+MultiHead(E
sa
))FFN(X
sa
)
＝
max(0
，

【专利技术属性】
技术研发人员：程艳，胡建生，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：