深层情感语义识别方法、系统、介质、计算机设备及终端技术方案

本发明专利技术属于情感语义识别技术领域，公开了一种深层情感语义识别方法、系统、介质、计算机设备及终端，包括采集样本数据，构建训练语料库；对训练语料库中的样本数据进行分析，采用不同的参数通过Bagging并行训练得到多个不同BERT预训练模型；采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示；通过双向GRU模型提取文本上下文的全局语义特征；对提取的全局语义特征进行融合，将多维度特征转换为一维的特征向量；基于得到的一维特征向量利用softmax函数识别文本的情感类别。本发明专利技术能准确的理解评论文本中的情感语义。

【技术实现步骤摘要】
深层情感语义识别方法、系统、介质、计算机设备及终端
本专利技术属于情感语义识别
，尤其涉及一种深层情感语义识别方法、系统、介质、计算机设备及终端，具体涉及一种基于BERT-BiGRU多模的深层情感语义识别方法。
技术介绍
目前，越来越多的民众通过社交媒体了解社会热点新闻，并以评论的形式表达态度和意见，对评论进行情感倾向性分析，有助于舆情管控。然而现有情感分析模型存在分类效果不理想、泛化能力不足，传统模型也会带来的一词多义和特征抽取能力较弱问题。由机器学习算法的误差分析可知，通过训练得到的模型要保持偏差和方差均衡，是希望训练后的模型既能够保持其稳定性，也能充分拟合数据。但一般情况下，难以达到平衡，方差和偏差本身也具有冲突性。当模型训练数据的扰动性不足以使得学习器发生明显改变，此时偏差占主要地位，导致训练集和测试集表现均差产生欠拟合现象；而随着训练次数的增多，模型的拟合能力越来越强，方差慢慢占据主导型，轻微的数据扰动都将使模型变化，此时过度学习训练集的特征，导致模型在训练集上表现十分优异，而在测试集上效果不佳，出现过拟合现象。通过上述分析，现有技术存在的问题及缺陷为：传统模型存在一词多义和特征抽取能力较弱问题。某些特殊词语在不同场景下，表现出不同的情感，却在词向量空间代表同样的特征，容易造成词向量歧义，导致情感分析出现失误。除此之外，大多数模型均为单一模型，由于其具有随机性，只能在某一方面表现较好，存在泛化能力不足的问题。总而言之，现有技术在社交网络信息处理上，情感识别方法识别不准确，可扩展性以及实用性不高。解决以上问题及缺陷的难度为：由机器学习算法的误差分析可知，通过训练得到的模型要保持偏差和方差均衡，是希望训练后的模型既能够保持其稳定性，也能充分拟合数据。但一般情况下，难以达到平衡，方差和偏差本身也具有冲突性。当模型训练数据的扰动性不足以使得学习器发生明显改变，此时偏差占主要地位，导致训练集和测试集表现均差产生欠拟合现象；而随着训练次数的增多，模型的拟合能力越来越强，方差慢慢占据主导型，轻微的数据扰动都将使模型变化，此时过度学习训练集的特征，导致模型在训练集上表现十分优异，而在测试集上效果不佳，出现过拟合现象。解决以上问题及缺陷的意义为：针对传统语言模型的一词多义和特征抽取能力较弱的问题，提出BERT-BiGRU模型获得更深层次的文本语义特征信息；考虑到单模型容易出现过拟合问题，采用交叉验证的方式训练数据集，然后使用集成学习结合多个BERT预训练模型组成的基分类器，来提高分类的泛化能力和准确率。在生活工作中，能够使用本专利技术针对数据信息来挖掘情感语义，随着越来越多的人喜欢使用表情来表达语义信息，还可以加以利用图片或者视频信息来挖掘情感语义信息。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种深层情感语义识别方法、系统、介质、计算机设备及终端。本专利技术是这样实现的，一种基于BERT-BiGRU多模的深层情感语义识别方法，所述基于BERT-BiGRU多模的深层情感语义识别方法包括：步骤一，采集样本数据，构建训练语料库；对训练语料库中的样本数据进行分析，采用不同的参数如：参数：学习率、训练批次、文本切分长度等。通过Bagging并行训练得到多个不同BERT预训练模型；步骤二，采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示；步骤三，经过BERT模型得到的语义表示作为双向GRU模型的输入，通过双向GRU模型基于获取的双向语义词向量表示提取文本上下文的全局语义特征；步骤四，对双向GRU模型输出的全局语义特征进行特征融合，将多维度特征转换为一维的特征向量；步骤五，基于得到的一维特征向量利用softmax函数识别文本的情感类别。步骤六，采用不同的中文BERT预训练模型，它们由海量数据和不断改进超参数训练而成，同时增加了训练步数，再分别送入BiLSTM、BiGRU网络得到不同的情感识别结果。来构建多个基分类器，将其组合成性能更优的强分类器。步骤七，得到多个具有差异性基分类器后，通过结合策略对基分类器的结果进行融合。进一步，步骤一中，所述参数包括但不限于：学习率、训练批次、文本切分长度。进一步，步骤二中，所述采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示包括：确定文本长度，并判断文本长度是否大于n，如果文本长度大于n，则只输出前n长度的文本语义表示；如果文本长度小于n，则利用BERT模型得到的小于n的输出文本语义表示进行填充，填充多个m维零向量直至输出序列长度为n。进一步，步骤三中，所述通过双向GRU模型基于获取的双向语义词向量表示提取文本上下文的全局语义特征包括：(1)将获取的双向语义词向量表示通过正向获取到所有过去时间序列中的完整上下文信息，再通过反向获取所有未来时间序列的完整上下文，计算公式如下：其中，w表示连接两层的权重，b表示偏置向量，f表示激活函数，和分别表示正向GRU和负向GRU输出；(2)双向GRU在正负向的隐藏层上对输入表示dn进行计算，得到dn隐藏状态ht，将正负GRU采用拼接策略：得到这个双向GRU的隐藏状态，计算公式如下：H＝(h1,h2,...,hd)。本专利技术的另一目的在于提供一种实施所述基于BERT-BiGRU多模的深层情感语义识别方法的基于BERT-BiGRU多模的深层情感语义识别系统，所述基于BERT-BiGRU多模的深层情感语义识别系统包括：语义输出模块，用于对训练语料库进行分析，输出文本语义表示；向量表示提取模块，用于利用多个不同的中文BERT预训练模型获取文本的双向语义词向量表示；特征提取模块，用于基于获取的双向语义词向量表示利用双向GRU模型提取上下文的全局语义特征；池化层，用于整合全局信息，将多维度特征转换为一维的特征向量；分类识别层，用于基于得到的一维特征向量利用softmax函数识别文本的情感类别。进一步，所述双向GRU模型包括：所述双向GRU模型，用于利用整个文本序列的信息对每个词进行处理；所述文本序列的信息包括各个词之间的相互关系信息；每个GRU单元均包含更新门、重置门和输出门三种门结构；用于保持和更新状态信息并进行传递；更新门，用于确定丢弃的信息以及新添加的信息；重置门，用于确定丢弃的先前信息的数量；输出门，用于决定输出单元状态的部分。本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：采集样本数据，构建训练语料库；对训练语料库中的样本数据进行分析，采用不同的参数通过Bagging并行训练得到多个不同BERT预训练模型；采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示；通过双向GR本文档来自技高网...

【技术保护点】
1.一种深层情感语义识别方法，其特征在于，所述深层情感语义识别方法包括：/n采集样本数据，构建训练语料库；对训练语料库中的样本数据进行分析，采用不同的参数通过Bagging并行训练得到多个不同BERT预训练模型；/n采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示；/n通过双向GRU模型基于获取的双向语义词向量表示提取文本上下文的全局语义特征；/n对提取的全局语义特征进行融合，将多维度特征转换为一维的特征向量；/n基于得到的一维特征向量利用softmax函数识别文本的情感类别。/n

【技术特征摘要】
1.一种深层情感语义识别方法，其特征在于，所述深层情感语义识别方法包括：
采集样本数据，构建训练语料库；对训练语料库中的样本数据进行分析，采用不同的参数通过Bagging并行训练得到多个不同BERT预训练模型；
采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示；
通过双向GRU模型基于获取的双向语义词向量表示提取文本上下文的全局语义特征；
对提取的全局语义特征进行融合，将多维度特征转换为一维的特征向量；
基于得到的一维特征向量利用softmax函数识别文本的情感类别。


2.如权利要求1所述深层情感语义识别方法，其特征在于，所述参数包括但不限于：学习率、训练批次、文本切分长度。


3.如权利要求1所述深层情感语义识别方法，其特征在于，所述采用得到的多个不同BERT预训练模型分别获取文本的双向语义词向量表示包括：
确定文本长度，并判断文本长度是否大于n，如果文本长度大于n，则只输出前n长度的文本语义表示；如果文本长度小于n，则利用BERT模型得到的小于n的输出文本语义表示进行填充，填充多个m维零向量直至输出序列长度为n。


4.如权利要求1所述深层情感语义识别方法，其特征在于，所述通过双向GRU模型基于获取的双向语义词向量表示提取文本上下文的全局语义特征包括：
(1)将获取的双向语义词向量表示通过正向获取到所有过去时间序列中的完整上下文信息，再通过反向获取所有未来时间序列的完整上下文，计算公式如下：






其中，w表示连接两层的权重，b表示偏置向量，f表示激活函数，和分别表示正向GRU和负向GRU输出；
(2)双向GRU在正负向的隐藏层上对输入表示dn进行计算，得到dn隐藏状态ht，将正负GRU采用拼接策略：



得到这个双向GRU的隐藏状态，计算公式如下：
H＝(h1,h2,...,hd)。


5.一种深层情感语义识别系统，其特征在于，所述深层情感语义识别系统包括：
语义输出模块，用于对训练语料库进行分析，输出文本语义表示；
向量表示提取模块，用于利用多个不同的中文BERT预训练模型获取文本的双向语义词向量表示；
特征提取模块，用于基...

【专利技术属性】
技术研发人员：游兰，彭庆喜，
申请(专利权)人：湖北大学，
类型：发明
国别省市：湖北;42