一种基于层级BERT神经网络的粗粒度情感分析方法技术

本发明专利技术涉及一种基于层级BERT神经网络的粗粒度情感分析方法，属于Web挖掘和智能信息处理技术领域；包括以下步骤：语料获取：获取粗粒度情感分析的语料；语料预处理：包括字符清理、从句切分以及从句向量构建；构建句子向量：利用双向长短期记忆网络、多层感知机和注意力机制对从句向量进行计算生成句子向量；梯度协调机制优化：引入梯度协调机制解决粗粒度情感分析中数据类别不平衡问题；采用层级BERT神经网络进行粗粒度情感分析。对比现有技术，本发明专利技术通过层级BERT神经网络对评论文本进行包含深层语义信息的句子向量的构建，提高了粗粒度情感分析任务的准确性，在信息推荐、舆情监控等领域具有广阔的应用前景。

A Coarse-grained Emotional Analysis Method Based on Hierarchical BERT Neural Network

【技术实现步骤摘要】
一种基于层级BERT神经网络的粗粒度情感分析方法
本专利技术属于Web挖掘和智能信息处理
，涉及一种基于层级BERT(基于变换器的双向编码表示，全称BidirectionalEncoderRepresentationfromTransformers)神经网络的粗粒度情感分析方法。
技术介绍
粗粒度的文本情感挖掘，简称为粗粒度情感分析。粗粒度情感分析旨在于对评论文本进行情感极性的类别判别。情感极性包括褒义、贬义和中性三种类别。评论文本分为篇章级评论文本和句子级评论文本。目前，粗粒度情感分析方法主要包括基于规则和统计融合的方法、基于机器学习的方法，以及基于深度学习的方法。基于规则和统计融合的粗粒度情感分析方法是指通过规则分析与统计方法相融合的策略来进行粗粒度情感分析。例如，闫晓东等在文献《基于情感词典的藏语文本句子情感分类》(中文信息学报，2018)中，首先，人工构建了极性词典，极性词典包括程度副词词典、转折词词典、否定词词典等；然后，构建由极性词与修饰词构成的极性短语；最后，基于极性短语及其极性强度判别句子情感极性。基于机器学习的方法是指采用决策树、支持向量机和条件随机场等分类器进行粗粒度情感分析。例如，王义真等在文献《基于SVM的高维混合特征短文本情感分类》(计算机技术与发展，2018)中，首先，抽取了表情符号特征、词聚类特征、词性标注特征和否定特征等六种情感分类特征；然后，采用支持向量机SVM(全称SupportVectorMachine)进行短文本的情感分类。基于深度学习的方法是指通过深度神经网络模型进行粗粒度情感分析。例如，Liao等在文献《PerspectiveLevelMicroblogSentimentClassificationBasedonConvolutionalMemoryNetwork》(PatternRecognitionArtificialIntelligence，2018)中，通过卷积运算扩展上下文词序进行注意力建模，设计了一种基于卷积神经网络的视角层次的微博情感分类方法。现有的粗粒度情感分析方法主要存在如下问题：第一，粗粒度情感分析方法在进行文本情感极性分类时，主要采用Word2Vec等传统语言模型进行词、句子等文本向量模型的训练。传统语言模型多为浅层单向神经网络，难以深度描述或反映文本的语义信息。第二，现有粗粒度情感分析方法在生成文本向量表示时缺乏对文本语义信息深层次的挖掘，并且缺乏对分类数据类别不均衡问题的优化处理。
技术实现思路
本专利技术的目的是为了解决粗粒度情感分析中存在的上述问题，提供一种基于层级BERT神经网络的粗粒度情感分析方法。本方法的特点是：(1)本专利技术将粗粒度情感分析任务转换为文本分类任务，采用层级BERT神经网络模型生成文本的分布式表示，然后通过Softmax方法进行句子级文本的情感极性分类。层级BERT神经网络模型包括BERT模型与层级神经网络模型。(2)本专利技术基于两种粒度的文本向量计算生成文本的分布式表示。两种粒度的文本向量包括从句级向量和句子级向量。句子级向量由从句级向量通过双向长短期记忆网络、多层感知机以及注意力机制计算生成。注意力机制使得在基于从句级向量生成句子级向量时，对不同从句进行了差异化处理，突出了构成句子级向量表示起关键作用的从句级向量。(3)本专利技术引入梯度协调机制以处理粗粒度情感分析数据不同类别样本数量不均衡的问题，提高了情感极性类别识别的准确性。本专利技术的目的是通过以下技术方案实现的。一种基于层级BERT神经网络的粗粒度情感分析方法，包括如下步骤：步骤1，获取粗粒度情感分析的语料作为优选，语料的获取通过以下过程完成：采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。步骤2，语料预处理构建从句向量本步骤主要工作为对步骤1所获取的语料进行无用字符清理、基于修辞结构理论的从句切分工作以及从句向量的构建。步骤3，构建句子向量本步骤主要工作为对步骤2所构建的从句向量采用双向长短期记忆网络、多层感知机以及注意力机制计算生成表示原始句子的句向量，具体过程如下：步骤3.1，对于步骤2生成的从句向量，进入编码层进行从句向量的编码计算。编码层包括双向长短期记忆网络和多层感知机。步骤3.2，对于步骤3.1生成的从句向量，进入注意力层进行计算，生成句向量。通过注意力层区分不同从句对生成句向量的权重，以突出重要从句对生成句向量的贡献度。步骤4，基于梯度协调机制优化的情感极性识别本步骤主要工作为对步骤3生成的句向量v利用Softmax进行计算，并通过基于交叉熵损失函数设计的梯度协调机制，从梯度计算的角度对类别不均衡问题进行优化处理。步骤5，采用层级BERT网络进行粗粒度情感分析使用步骤4生成的粗粒度情感分析模型对输入语料在经步骤2、3处理后的句子向量进行情感极性识别。至此，就完成了本方法的全部过程。本专利技术的有益效果：本专利技术的方法，针对粗粒度情感分析的情感极性识别问题，提供一种基于层级BERT神经网络的粗粒度情感分析方法。(1)本专利技术采用一种基于层级BERT模型的句向量生成方法。首先，通过将评论文本切分为从句级文本，并利用BERT模型将其转换为包含深度语义信息的从句级文本向量；其次，采用双向长短期记忆网络(BidirectionalLongShort-TermMemoryNetwork，简称Bi-LSTM)和多层感知机(Multi-LayerPerception，简称MLP)对从句级文本向量进行语义编码计算；最后，通过对从句编码向量进行注意力机制计算，在区分不同从句对句子向量生成的不同贡献度的基础上，计算生成包含更丰富语义信息的句级向量，作为原始句子的分布式表示进行情感极性的识别计算，提高了粗粒度情感分析的准确性。(2)本专利技术采取梯度协调机制进行类别不均衡问题的优化。基于交叉熵损失函数设计的梯度协调机制可以从梯度计算的角度对类别不均衡问题进行优化处理。通过引入梯度协调机制，在层级BERT神经网络的基础上对情感极性类别识别问题的准确性进行了优化提高。本专利技术提供的方法在舆情监控、主题检测、信息推荐和电子商务等领域具有广阔的应用前景。附图说明图1为本专利技术实施例一种基于层级BERT神经网络的粗粒度情感分析方法的流程示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细的说明。实施例1基于本专利技术方法的粗粒度情感分析方法，以Ubuntu16.04操作系统为开发平台，开发语言选择theDebianAlmquistShell(dash)与python2.7，深度学习开发框架为TensorFlow1.9。如图1所示为一种基于层级BERT神经网络的粗粒度情感分析方法，包含如下步骤：步骤1，获取粗粒度情感分析的语料作为优选，语料的获取通过以下过程完成：采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。可以采集点评网站Yelp数据，Yelp包括了餐馆等场景下的用户评论，对于获取的数据采取Json的格式保存到本地计算机。步骤2，语料预处理构建从句向量语料预处理包括字符清理、从句切分，以及从句向量构建。首先，对语料本文档来自技高网...

【技术保护点】
1.一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于：包括以下步骤：步骤1，获取粗粒度情感分析的语料；步骤2，对步骤1所获取的语料进行预处理构建从句向量；步骤3，对步骤2得到的从句向量进行计算构建句子向量；步骤4，利用步骤3构建的句子向量进行情感极性的识别计算，并采取梯度协调机制进行优化；步骤5，使用步骤4生成的粗粒度情感分析模型对输入语料在经步骤2、3处理后的句子向量进行情感极性识别。

【技术特征摘要】
1.一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于：包括以下步骤：步骤1，获取粗粒度情感分析的语料；步骤2，对步骤1所获取的语料进行预处理构建从句向量；步骤3，对步骤2得到的从句向量进行计算构建句子向量；步骤4，利用步骤3构建的句子向量进行情感极性的识别计算，并采取梯度协调机制进行优化；步骤5，使用步骤4生成的粗粒度情感分析模型对输入语料在经步骤2、3处理后的句子向量进行情感极性识别。2.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤1通过以下过程完成：采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。3.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤2通过以下过程完成：首先，对语料中的句子进行字符清理，包括过滤无用标点符号以及乱码字符；然后，对语料中的句子采用修辞结构理论进行从句切分；最后，采用BERT模型构建从句向量。4.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤3通过双向长短期记忆网络、多层感知机以及注意力机制完成句子向量的计算，具体过程如下：步骤3.1，对于步骤2生成的从句向量，进入如下编码层进行计算；编码层包括双向长短期记忆网络Bi-LSTM(BidirectionalLongShort-TermMemoryNetwork)和多层感知机MLP(Multi-LayerPercepti...

【专利技术属性】
技术研发人员：张春霞，孙现超，王卓，罗妹秋，吕光奥，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11