基于深度学习的自然语言情感处理方法、装置和存储介质制造方法及图纸

本申请公开了基于深度学习的自然语言情感处理方法、装置和存储介质，本申请对原始通信文本进行预处理，得不同中文语料对应的不同序列；采用BERT

【技术实现步骤摘要】
基于深度学习的自然语言情感处理方法、装置和存储介质


[0001]本申请涉及自然语言情感处理领域，尤其是基于深度学习的自然语言情感处理方法、装置和存储介质。

技术介绍

[0002]随着计算机技术的发展，使用互联网的人数高速增长。在海量通信数据时代，基于大数据和AI、机器学习和深度学习技术，在不涉及用户隐私的情况线下，对不规则文本的情感色彩进行分析逐渐成为通信用户情感分析的主要方式。
[0003]相关的针对用户情感分析的自然语言处理深度学习模型往往需要大量的有标签数据进行训练，而在实际应用中，很难获得针对某一特殊领域或者特殊用户群体的大量的有标签的训练信息，导致利用小样本数据训练出的模型往往无法达到理想的效果，此外，训练出一个成熟的深度机器学习模型往往需要消耗大量的时间以及计算资源，导致针对于新任务的训练成本大大提高。
[0004]因此，相关技术存在的上述技术问题亟待解决。

技术实现思路

[0005]本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供基于深度学习的自然语言情感处理方法、装置和存储介质，能够节省自然语言情感处理的研发资源。
[0006]根据本申请实施例一方面，提供基于深度学习的自然语言情感处理方法，所述方法包括：
[0007]对原始通信文本进行预处理，得不同中文语料对应的不同序列；
[0008]采用BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；
[0009]利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试；
[0010]采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；
[0011]将所述深层语义特征经过全连接层，再进入Softmax分类器进行分类，进行模型的训练和测试。
[0012]在其中一个实施例中，所述对原始通信文本进行预处理，包括：
[0013]根据原始通信文本构造中文词典；
[0014]对所述中文词典进行前分词操作；
[0015]构建数字化索引和文本映射关系字典；
[0016]利用所述中文字典将原始通信文本向量化，得到不同中文语料对应的不同序列。
[0017]在其中一个实施例中，所述根据原始通信文本构造中文词典，包括：
[0018]利用Jieba分词处理原始通信文本构造中文词典。
[0019]在其中一个实施例中，利用所述中文字典将原始通信文本向量化，包括：
[0020]利用CLS、SEP和向量化通信文本构造样本。
[0021]在其中一个实施例中，所述采用BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，包括：
[0022]对所述BERT
‑
MLF模型每一层的方面特征进行最大池化。
[0023]在其中一个实施例中，所述利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试，包括：
[0024]初始所述BERT
‑
MLF模型的参数；
[0025]将所述语义特征和所述方面特征作为训练集和测试集输入所述BERT
‑
MLF模型，得到训练预测结果并计算分类损失；
[0026]测试预测结果，若准确率提升则更新所述BERT
‑
MLF模型的参数。
[0027]在其中一个实施例中，所述采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征，包括：
[0028]对所述BERT
‑
MLF模型进行实例化；
[0029]冻结所述BERT
‑
MLF模型的所有参数，在所述BERT
‑
MLF模型最后一层增加LSTM模块；
[0030]对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征。
[0031]根据本申请实施例一方面，提供基于深度学习的自然语言情感处理装置，所述装置包括：
[0032]第一模块，用于对原始通信文本进行预处理，得不同中文语料对应的不同序列；
[0033]第二模块，用于采用BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；
[0034]第三模块，用于利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试；
[0035]第四模块，用于采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；
[0036]第五模块，用于将所述深层语义特征经过全连接层，再进入Softmax分类器进行分类，进行模型的训练和测试。
[0037]根据本申请实施例一方面，提供基于深度学习的自然语言情感处理装置，所述装置包括：
[0038]至少一个处理器；
[0039]至少一个存储器，所述存储器用于存储至少一个程序；
[0040]当至少一个所述程序被至少一个所述处理器执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
[0041]根据本申请实施例一方面，提供存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
[0042]本申请实施例提供的基于深度学习的自然语言情感处理方法、装置和存储介质的有益效果为：本申请对原始通信文本进行预处理，得不同中文语料对应的不同序列；采用
BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试；采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；将所述深层语义特征经过全连接层，再进入Softmax分类器进行分类，进行模型的训练和测试。本申请减少了模型训练所需的有标签的数据量、所需时间和计算资源，具有更好的适应性，能在短时间内生成可靠的深度学习模型，提高了系统的实用价值。
[0043]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0044]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的自然语言情感处理方法，其特征在于，所述方法包括：对原始通信文本进行预处理，得不同中文语料对应的不同序列；采用BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试；采用LSTM网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；将所述深层语义特征经过全连接层，再进入Softmax分类器进行分类，进行模型的训练和测试。2.根据权利要求1所述的基于深度学习的自然语言情感处理方法，其特征在于，所述对原始通信文本进行预处理，包括：根据原始通信文本构造中文词典；对所述中文词典进行前分词操作；构建数字化索引和文本映射关系字典；利用所述中文字典将原始通信文本向量化，得到不同中文语料对应的不同序列。3.根据权利要求2所述的基于深度学习的自然语言情感处理方法，其特征在于，所述根据原始通信文本构造中文词典，包括：利用Jieba分词处理原始通信文本构造中文词典。4.根据权利要求2所述的基于深度学习的自然语言情感处理方法，其特征在于，利用所述中文字典将原始通信文本向量化，包括：利用CLS、SEP和向量化通信文本构造样本。5.根据权利要求1所述的基于深度学习的自然语言情感处理方法，其特征在于，所述采用BERT
‑
MLF模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，包括：对所述BERT
‑
MLF模型每一层的方面特征进行最大池化。6.根据权利要求1所述的基于深度学习的自然语言情感处理方法，其特征在于，所述利用所述语义特征和所述方面特征进行所述BERT
‑
MLF模型的训练和测试，包括：初始所述BERT
‑
MLF模型的参数；将所述语义特征和所述方面特征作为训练集和测试集输入所述BERT
...

【专利技术属性】
技术研发人员：高正含，刘立峰，石宪，李振华，王文重，
申请(专利权)人：珠海高凌信息科技股份有限公司，
类型：发明
国别省市：