自注意力路由胶囊网络的方面级情感分析方法技术

本发明专利技术公开了基于自注意力路由胶囊网络的方面级情感分析方法，生成训练集和测试集，通过预训练的Glove模型对句子和对应的实体进行词向量化；计算实体的增强表示；通过预训练的BERT Encoder模型对实体的增强表示和实体的词向量进行编码，获得上下文表示和实体表示；计算上下文胶囊的实体相关权重；将得到的上下文胶囊作为第一层分类胶囊层中的各个分类胶囊，相邻层的分类胶囊层之间经过自注意力路由层连接，最后一层分类胶囊输出最终的情感标签分类结果。本发明专利技术通过位置偏差权重构建了实体的增强表示，限制实体和上下文之间的相关信息；可以更多地关注特定的实体特征。可以更多地关注特定的实体特征。可以更多地关注特定的实体特征。

【技术实现步骤摘要】
自注意力路由胶囊网络的方面级情感分析方法


[0001]本专利技术涉及神经网络分类
，具体涉及自注意力路由胶囊网络的方面级情感分析方法，适用于句子中一个或多个提到的实体的情感标签识别。

技术介绍

[0002]方面级情感分类(ASC)任务旨在识别句子中一个或多个提到的实体的情感标签，这是基于方面的情感分析(ABSA)的关键细粒度变体子任务。例如，一句话写为“天气很好，但交通很拥挤。”在“天气”和“交通”两个实体，他们相应的情感极化分别是积极的和消极的。与文档级情感分类(DSC)相比，ASC任务旨在预测特定方面而不是整个句子的情感极性。
[0003]传统的情感分类方法大多利用机器学习算法构造具有精心提取特征的情感分类器，这需要花费大量的时间和资源来收集。近年来，各种深度神经网络(DNN)由于其显著的结果，已经对ASC任务进行了建模，主要包括基于注意力的方法、基于语法的方法和基于预训练BERT的方法。例如，基于LSTM的模型利用注意机制来建模方面特征和LSTM隐藏单元之间的依赖关系。基于图的模型用于将语法邻域词信息传播到方面信息。基于BE本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力路由胶囊网络的方面级情感分析方法，其特征在于，包括以下步骤：步骤1、选取基准数据集，对基准数据集进行预处理并生成训练集和测试集，训练集中的每个样本包括句子和句子中的一个实体；步骤2、通过预训练的Glove模型对句子和对应的实体进行词向量化，获得句子的词向量和实体的词向量；步骤3、根据句子的词向量和实体的上下文之间的相对位置信息t
i
，计算实体的增强表示P＝{p1,p2,
…
,p
n
}，n为句子的单词长度；步骤4、通过预训练的BERT Encoder模型对实体的增强表示P＝{p1,p2,
…
,p
n
}和实体的词向量进行编码，获得上下文表示H＝[h1,h2...,h
n
]和实体表示h
α
；步骤5、根据上下文表示H＝[h1,h2...,h
n
]和实体表示h
α
构建上下文胶囊c
i
和实体胶囊a，根据上下文胶囊c
i
和实体胶囊a计算上下文胶囊的实体相关权重o
i
，i∈{1～n}；步骤6、将得到的上下文胶囊u
i
作为第一层分类胶囊层中的各个分类胶囊，相邻层的分类胶囊层之间经过自注意力路由层连接，最后一层分类胶囊输出最终的情感标签分类结果。2.根据权利要求1所述基于自注意力路由胶囊网络的方面级情感分析方法，其特征在于，如上所述步骤3中，第i个单词相对于实体的位置偏差权重t
i
基于以下公式：其中，m和n分别表示实体和句子的单词长度，γ是实体第一个单词的位置下标，p
i
＝t
i
·
e
i
其中，i∈{1～n}，e
i
是句子的词向量E＝{e1,e2,
…
,e
n
}中第i个单词的词向量。3.根据权利要求2所述基于自注意力路由胶囊网络的方面级情感分析方法，其特征在于，如上所述步骤5中，基于以下公式构建上下文胶囊c
i
和实体胶囊a：c
i
＝squash(W
h
h
i
+b
h
)a＝squash(W
a
h
α
+b
a
)其中，W
h
，...

【专利技术属性】
技术研发人员：陈建峡，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：