基于主题增强的情感共注意力BERT模型的中文评论分类方法技术

本发明专利技术公开一种基于主题增强的情感共注意力BERT模型的中文评论分类方法，包括：构建基于主题增强的情感共注意力BERT模型，该模型包括一个上下文编码模块、一个基于GRU网络的主题分类模块及一个基于共注意力网络的情感注意模块；所述上下文编码模块用于使用BERT或类BERT模型生成每个单词和整个句子的上下文表示；所述主题分类模块用于生成每个主题的表示；所述情感注意模块用于将单词表示与主题表示进行共注意力计算，并将注意力值施加在每个单词上，得到情感的注意力表示；通过构建的基于主题增强的情感共注意力BERT模型对中文评论数据进行分类。本发明专利技术提升了中文评论的分类准确性，进而提升了情感分析的准确性。进而提升了情感分析的准确性。进而提升了情感分析的准确性。

【技术实现步骤摘要】
基于主题增强的情感共注意力BERT模型的中文评论分类方法


[0001]本专利技术涉及情感分类
，尤其涉及一种基于主题增强的情感共注意力 BERT模型的中文评论分类方法。

技术介绍

[0002]在利用外部知识辅助情感分析的研究中，已有的技术主要采用引入情感词典、 嵌入外部知识，或者设计新的预训练策略等方法，将外部知识引入到情感分析中。
[0003]早期基于机器学习的情感分析技术，通过外部信息来辅助情感分析，这些外 部信息大多通过增加新特征的方式引入。比如，对于Twitter数据，在构造特征 时，加入hashtags信息进行情感分析；还有研究使用情感字典辅助情感分析，如 SentiWordNet。eSAP在对SentiWordNet进行加工处理之后，将基于无监督的词 粒度情感与有监督学习进行结合，从词汇表中提取特征权重，输入SVM分类器 进行学习。
[0004]人为引入新特征，并使用机器学习的方法进行情感预测，耗费人力而且不够 灵活，一些深度模型通过增加嵌入的方法引入外部信息。ATAE
‑
LSTM将方面嵌 入与词嵌入拼接，输入双向LSTM模型，将每个时刻输出的隐藏状态与方面嵌 入再次拼接，计算注意力值。ASAP使用多任务联合训练的方法，模型在学习方 面类别情感状态的同时，对评论执行评分预测，发现方面级情感的感知能够提升 整体评分预测准确性。
[0005]随着预训练模型在NLP领域的广泛应用，针对情感分析任务的预训练模型 被提出。SentiBERT将上下文表示与短语二叉树结合，从而捕获句子中的情感信 息。SKEP和SentiLARE通过设计新的预训练任务，结合情感词典、词性标记等 多种情感知识，提出了情感知识增强的预训练模型，在句子层面的表征和单词层 面的语言知识之间建立联系。但是，重新执行预训练任务的代价很大。在下游任 务中，人们更希望通过微调来利用预训练模型的强大表示能力，而不是从头开始 训练一个模型。
[0006]关于主题情感联合模型的研究工作，弱监督分层贝叶斯模型JST，适用于情 感分类的Sentiment
‑
LDA等技术方法初步表明，文本中的主题和情感往往是密不 可分的，主题信息和情感信息的交互能够提升二者的识别效果。然而，基于LDA 模型提取的主题以词的多项式分布表示，只能大致反映主题的含义。此外，主题 的数目会影响主题提取的效果。在实际应用中，大量时间被耗费在确定最佳主题 数目的工作上。

技术实现思路

[0007]在情感分析任务中，通过引入外部知识提升预测效果的思想正在逐渐兴起。 主题情感联合模型表明，主题作为细粒度情感的载体，能够为情感分析提供辅助。 然而，当前对细粒度情感的研究注重于它们的识别，而很少关注它们对整体情感 的影响。为了使用主题信息辅助情感分析，本专利技术提出了一种基于主题增强的情 感共注意力BERT模型(TescaBERT)的中文评论分类方法。通过多任务学习框 架，主题信息被学习并用于指导模型进行情感分类。多阶段学习策略保证了模型 注入先验知识的准确性，交替共注意力机制
使得最重要的主题和情感表达被关注。 本专利技术对中文银行评论数据和餐厅评论数据的标签进行自动转化，以获取有监督 的主题信息。实验结果表明，TescaBERT模型在2种数据集中取得了超过基线的 最先进水平，情感预测Kappa系数提升超过1个百分点。TescaBERT模型在可 解释性、噪声的抵抗性上也具备明显优势。
[0008]为了实现上述目的，本专利技术采用以下技术方案：
[0009]一种基于主题增强的情感共注意力BERT模型的中文评论分类方法，包括：
[0010]步骤1：构建基于主题增强的情感共注意力BERT模型，该模型包括一个上 下文编码模块、一个基于GRU网络的主题分类模块及一个基于共注意力网络的 情感注意模块；所述上下文编码模块用于使用BERT或类BERT模型生成每个单 词和整个句子的上下文表示；所述主题分类模块用于生成每个主题的表示；所述 情感注意模块用于将单词表示与主题表示进行共注意力计算，并将注意力值施加 在每个单词上，得到情感的注意力表示；
[0011]步骤2：通过构建的基于主题增强的情感共注意力BERT模型对中文评论数 据进行分类。
[0012]进一步地，所述主题分类模块中，采用双向GRU从上下文表示中提取主题 信息，为了减小主题信息之间的相互影响，对每个主题设置一个独立的双向GRU， 用于该主题信息的提取。
[0013]进一步地，所述主题分类模块中：
[0014]从特殊字符[CLS]的编码中获取句子的主题信息h
cls
，将h
cls
输 入m个双向GRU网络，得到m个隐藏状态t1,t2,...t
m
，其中，
[0015][0016]将t1,t2,...t
m
依次输入全连接层，经过sigmoid函数激活后，得到m个主题 在句子中的概率分布，与对应主题标签计算损失，进行反向传播；并使用二元 交叉熵计算分类的损失。
[0017]进一步地，所述情感注意模块中：
[0018]将n个单词的表示向量进行堆叠，得到矩阵H＝[h1,h2,...h
n
]，矩阵H包含句子的局部上下文信息，与主题表示 T＝[t1,t2,...t
m
]一起，预测情感状态；
[0019]交替共注意力的迭代公式如下所示：
[0020][0021][0022][0023]其中，X是输入矩阵，g是注意力指导向量，是元素全为1的向量，M 是向量g指导下的中间表示，a
x
为关于当前输入的注意力分数，x
i
为输入矩阵 X的第i列对应的向量，为第i个列向量的注意力得分，为输出的注意力 表示，和为可学习
参数；
[0024]在共注意力的第一步，X＝H，且g＝0，通过注意力池化，输出句子的 整体表示
[0025]在共注意力的第二步，X＝T，且通过句子表示指导主题的注 意力生成，输出主题的注意力表示该表示关注句子主要讨论的主题，忽略 无关的主题；
[0026]在共注意力的第三步，X＝H，且通过主题的表示指导句子的 注意力生成，输出新的句子注意力表示该表示关注句子中和主题相关的内 容，它包含着与主题相关的情感信息；
[0027]最后，将送入全连接层，输出结果经过softmax归一化后，得到句子情感 的概率分布，与对应情感标签计算损失，进行反向传播；对于情感分析，使用 交叉熵计算分类的损失。
[0028]进一步地，在对模型进行训练时，采用多阶段训练策略，先对主题分类模块 进行训练，确保模型获取正确的外部主题信息；再对情感注意模块进行训练，确 保模型在正确主题信息的指导下生成情感的注意力表示。
[0029]进一步地，所述多阶段训练策略包括：
[0030]在第一阶段，只对主题分类模块进行训练，计算主题分类的损失；
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主题增强的情感共注意力BERT模型的中文评论分类方法，其特征在于，包括：步骤1：构建基于主题增强的情感共注意力BERT模型，该模型包括一个上下文编码模块、一个基于GRU网络的主题分类模块及一个基于共注意力网络的情感注意模块；所述上下文编码模块用于使用BERT或类BERT模型生成每个单词和整个句子的上下文表示；所述主题分类模块用于生成每个主题的表示；所述情感注意模块用于将单词表示与主题表示进行共注意力计算，并将注意力值施加在每个单词上，得到情感的注意力表示；步骤2：通过构建的基于主题增强的情感共注意力BERT模型对中文评论数据进行分类。2.根据权利要求1所述的基于主题增强的情感共注意力BERT模型的中文评论分类方法，其特征在于，所述主题分类模块中，采用双向GRU从上下文表示中提取主题信息，为了减小主题信息之间的相互影响，对每个主题设置一个独立的双向GRU，用于该主题信息的提取。3.根据权利要求1所述的基于主题增强的情感共注意力BERT模型的中文评论分类方法，其特征在于，所述主题分类模块中：从特殊字符[CLS]的编码中获取句子的主题信息h
cls
，将h
cls
输入m个双向GRU网络，得到m个隐藏状态t1,t2,
…
t
m
，其中，将t1,t2,...t
m
依次输入全连接层，经过sigmoid函数激活后，得到m个主题在句子中的概率分布，与对应主题标签计算损失，进行反向传播；并使用二元交叉熵计算分类的损失。4.根据权利要求3所述的基于主题增强的情感共注意力BERT模型的中文评论分类方法，其特征在于，所述情感注意模块中：将n个单词的表示向量进行堆叠，得到矩阵H＝[h1,h2,
…
h
n
]，矩阵H包含句子的局部上下文信息，与主题表示T＝[t1,t2,...t
m<...

【专利技术属性】
技术研发人员：王世宇，周刚，陈静，兰明敬，卢记仓，李珠峰，夏毅，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：