情感分析模型的训练方法及系统技术方案

本发明专利技术实施例提供一种情感分析模型的训练方法。该方法包括：利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对情感分析模型的卷积神经网络进行预训练；基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。本发明专利技术实施例还提供一种情感分析模型的训练系统。本发明专利技术实施例在预训练过程中有效利用了弱监督信息使CNN模型的参数得到充分训练，又在对预训练模型进行微调训练的过程中进一步学习监督数据的样本特征，同时对弱监督数据中的噪声影响进行一定程度的更正，提高了情感分析模型性能。

【技术实现步骤摘要】
情感分析模型的训练方法及系统
本专利技术涉及智能语音领域，尤其涉及一种情感分析模型的训练方法及系统。
技术介绍
通过分析语句的情感，可以获取出人们在说出这句话时的喜怒哀乐，从而进行针对性的回复。对于情感分析，通常会根据已有的情感词典、情感语料以及主观文本中带有情感倾向的句子结构单元对目标文本进行情感打分，来判断文本的情感倾向性。还有一些相对复杂的方法，例如：基于传统机器学习的情感分析方法：主要针对已标注的语料进行特征抽取(比如n-gram、词性标注等)，采用监督学习的方式训练机器学习算法(比如朴素贝叶斯、最大熵、支持向量机等)，使之能够自动判别目标文本的情感倾向性；基于深度学习的情感分析方法：深度学习模型具有多层非线性的网络结构，通过在不同隐藏层之间传递特征的抽象表示，使得“高层”的隐藏层能够获取更加抽象的特征表达。通过深度神经网络模型对文本的语义特征进行抽取与合成计算，从而实现模型对文本的深层次的语义理解；基于神经网络的词向量表达技术：该技术的主要做法是讲词语映射到一个多维度的稠密向量，通过神经网络对中心词与其对应的上下文建立语言模型，然后将该语言模型作为其他自然语言处理任务模型的特征输入层。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：基于规则的情感分析方法：过于依赖情感词典、情感语料，开源的情感语料有限，不同领域的情感语料差别较大，并且整理情感语料十分消耗人力，导致这种方法的泛化性极差；只停留在语句和句子结构单元层面的情感特征抽取，容易丢失文本中的一些隐式情感语义。基于传统机器学习的情感分析方法：其分类算法结构相对简单，不能对文本的语义特征进行更深层次的抽象和提取，因此该方法的效果往往取决于文本特征的抽取。想要抽取较为完备的文本特征，需要依靠大量的人工标注的数据和领域知识，这不仅提高了方法的人工成本，还降低了方法的跨领域性。基于深度学习的情感分析方法：依赖大量高质量的标注语料用于训练模型，在规模较小的数据集上训练往往导致过拟合，但是情感分析领域的数据标注大多采用人工标注的方法，随之带来的高成本，使得训练数据集的规模始终有限。利用弱监督学习方式进行情感分析也存在问题：首先，弱监督数据的情感标签存在大量噪声，直接用于训练模型，往往导致模型过度拟合数据中的噪声；其次，弱监督数据往往仅有粗粒度的情感标签，在解决更细粒度的任务中作用有限。基于神经网络的词向量表达技术：依赖巨大的高质量未标注语料用于训练语义模型，并且生成的词向量只包含语义和句法特征信息，不包含词语的情感特征信息，在抽取文本情感特征方面的作用有限。
技术实现思路
为了至少解决现有技术中需要大量的情感词典、情感语料、泛化性差、跨领域性差、训练效果不理想，训练需要大量高质量文本的问题。第一方面，本专利技术实施例提供一种情感分析模型的训练方法，包括：利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对所述情感分析模型的卷积神经网络进行预训练；基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。第二方面，本专利技术实施例提供一种情感分析模型的训练系统，包括：预训练程序模块，用于利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对所述情感分析模型的卷积神经网络进行预训练；训练程序模块，用于基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的情感分析模型的训练方法的步骤。第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的情感分析模型的训练方法的步骤。本专利技术实施例的有益效果在于：在预训练过程中有效利用了弱监督信息使CNN模型的参数得到充分训练，又在对预训练模型进行微调训练的过程中进一步学习监督数据的样本特征，同时对弱监督数据中的噪声影响进行一定程度的更正，提高了情感分析模型性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种情感分析模型的训练方法的流程图；图2是本专利技术一实施例提供的一种情感分析模型的训练方法的卷积神经网络结构图；图3是本专利技术一实施例提供的一种情感分析模型的训练方法的弱监督训练集统计结果图；图4是本专利技术一实施例提供的一种情感分析模型的训练方法的具体框架图；图5是本专利技术一实施例提供的一种情感分析模型的训练方法的数据集分布情况图；图6是本专利技术一实施例提供的一种情感分析模型的训练方法的卷积神经网络参数设置数据图；图7是本专利技术一实施例提供的一种情感分析模型的训练方法的二分类情感分析实验结果数据图；图8是本专利技术一实施例提供的一种情感分析模型的训练方法的三分类情感分析实验结果图；图9是本专利技术一实施例提供的一种情感分析模型的训练方法的参数初始化对实验结果的影响图；图10是本专利技术一实施例提供的一种情感分析模型的训练系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种情感分析模型的训练方法的流程图，包括如下步骤：S11：利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对所述情感分析模型的卷积神经网络进行预训练；S12：基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。在本实施方式中，深度模型的训练依赖大量的监督训练样本。深度模型拥有大量的参数，通常在百万级的范围内，在规模较小的数据集上进行训练，往往导致过拟合的出现。其次，由于情感分析领域的数据标注大多采用人工标注的方法，随之带来的高额成本，使得情感分析任务中强监督训练数据集的规模始终有限。因此，如何在监督训练数据集受限的情况下使深度模型得到充分训练是一个亟待解决的问题。对于步骤S11，本方法中情感分析模型选择的是卷积神经网络(CNN)，结构如图2所示，自底向上以此为自底向上依次为词向量输入层、卷积层、最大池化层和soft-max分类层。为便于本文档来自技高网...

【技术保护点】
1.一种情感分析模型的训练方法，包括：/n利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对所述情感分析模型的卷积神经网络进行预训练；/n基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。/n

【技术特征摘要】
1.一种情感分析模型的训练方法，包括：
利用第一数量从互联网爬取的与情感信号相关的弱监督训练集，对所述情感分析模型的卷积神经网络进行预训练；
基于第二数量的监督训练集，对预训练后的情感分析模型中的分类层进行训练，得到训练后的情感分析模型。


2.根据权利要求1所述的方法，其中，所述弱监督训练集包括：在社交网络中爬取的与情感信号相关的数据。


3.根据权利要求2所述的方法，其中，所述与情感信号相关的数据包括：附带有表情符号的语料，其中，所述表情符号至少包括：积极表情符号、消极表情符号。


4.根据权利要求1所述的方法，其中，所述第二数量小于所述第一数量。


5.根据权利要求1所述的方法，其中，在所述利用第一数量从互联网爬取的与情感信号相关的弱监督训练集之前，所述方法还包括：
提取无标注语料的词向量，构建情感分析模型的卷积神经网络；
在所述得到训练后的情感分析模型之后，所述方法还包括：
利用监督测试集对所述训练后的情感分析模型进行情感分类预测，得到所述训练后的情感分析模型的分类结果。


6.根据权利要求1所述的方法，其中，对所述情感分析模型的卷积神经网络进行预训练包括：
训练所述卷积神经网络中的分类层的参...

【专利技术属性】
技术研发人员：张越，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：江苏;32