基于委员会查询的主动学习框架的情感分析方法及系统技术方案

本发明专利技术提供一种基于委员会查询的主动学习框架的情感分析方法及系统，其方法包括：获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集，根据所述训练集构建初始模型，根据用户情感表征进行数据分类，根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中，根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型，通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果；本发明专利技术通过引入主动学习，在情感分析任务中，在减少训练语料的情况下，减少了人工标注的代价，同时模型的性能达到预期。

【技术实现步骤摘要】
基于委员会查询的主动学习框架的情感分析方法及系统
本专利技术涉及计算机应用领域，尤其涉及一种基于委员会查询的主动学习框架的情感分析方法及系统。
技术介绍
文本情感分析又称为意见挖掘，情感分析可以被认为是一个多分类任务，一般将用户的情绪分为三类：积极、中性、负面。随着互联网的发展和带有情感色彩的用户主观性评论文本的增多，我们可以方便的获取大量的评论数据，但是人工标注大量的训练样本费时费力，成本太大。另外，过多的低质量的训练样本反而会降低分类模型的鲁棒性，甚至导致“过学习”问题。主动学习在理论和实际应用中都得到了长远的发展，主动学习将原始数据集分成两大部分，一部分是少量的经由专家学者人工标识过的带类标签的样本集，另一部分则包含大量的没带类标签的未标识样本集，它将利用这少量的已标记样本及作为训练集去训练一个分类模型，然后根据学习到的模型对未标识样本按照某种选择方式进行选择，找出其中包括信息量最大的未标识样本交由专家系统进行标记后加入到已标识训练样本中，不断重复这个过程直至达到终止条件。随着这个过程的不断迭代进行，已标识训练样本集不断扩大，其学期起的分类精度也将会得到不断的提升，直至达到索要其的精度时停止迭代，由此来降低标注代价，但是目前主动学习算法本身还不是很完善，存在很多问题，例如初始训练样本选择过于随机、算法参数设置过于固定、学习效率不高等问题，另外，目前也没有将主动学习应用到文本情感分析领域中的相关研究。因此，为了降低标注训练样本的代价同时挑选出具有高分类贡献度的未标注样本进行人工标注，从而控制训练样本的数量和质量，提高模型的分类效果，亟需一种应用于文本情感分析领域中的基于委员会查询的主动学习框架，来解决上述技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种基于委员会查询的主动学习框架的情感分析方法，以解决上述技术问题。本专利技术提供的基于委员会查询的主动学习框架的情感分析方法，包括：获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；根据所述训练集构建初始模型，根据用户情感表征进行数据分类；根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。进一步，在获取训练语料之前还包括采集中文文本数据，并对所述中文文本数据进行预处理，所述预处理包括：对所述中文文本数据进行分词处理；根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；通过预先选取的文本特征，对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。进一步，所述初始模型进行数据分类的种类至少包括正面、中性和负面，通过数据分类对用户的不同情感进行表征，在未标注的训练语料中选择分类贡献率高于预设阈值的样本数据，并进行标注，补充至所述训练集中。进一步，根据委员会投票选择算法在所述训练语料中选取投票最不一致的前K个语料，并对前K个语料进行标注，标注的类别至少包括正面、中性和负面。进一步，所述委员会投票选择算法通过如下公式获取：其中，V(c,e)为预测样本e被分类为类别c的委员会成员的数量，K为委员会成员的总数量，C为分类类别总数，e为输入样本，D(e)为投票熵，c为具体的类别。进一步，所述文本特征至少包括文本频度、信息增益和卡方检验，通过所述特征权重计算获取文本特征空间中的文本向量的每一维度的数值，根据所述数值确定对应的文本特征在文本中的重要程度。本专利技术还提供一种基于委员会查询的主动学习框架的情感分析系统，包括：采集模块，用于获取训练语料；标注模块，用于在所述训练语料中选取样本数据进行标注，形成训练集；监督学习模块，用于根据所述训练集构建初始模型，根据用户情感表征进行数据分类；主动学习模块，用于根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；情感分析模型，通过补充后的训练集对所述初始模型进行更新迭代学习获取，用于对输入的文本进行情感分析，获取情感分析结果。进一步，还包括预处理模块，所述预处理模块包括：分词单元，用于对所述中文文本数据进行分词处理；去停用词单元，用于根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；特征选择单元，用于通过预先选取的文本特征；向量化单元，用于对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法。本专利技术还提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述任一项所述方法。本专利技术的有益效果：本专利技术中的基于委员会查询的主动学习框架的情感分析方法及系统，通过引入主动学习，在情感分析任务中，在减少训练语料的情况下，减少了人工标注的代价，同时模型的性能达到预期，一方面减少了训练成本，另一方面保障了训练样本的鲁棒性，避免了过多的低质量的训练样本导致的“过学习”问题，特别适用于针对大量互联网数据尤其是中文数据的文本情感分析，为扩展大数据的应用提供数据基础。附图说明图1是本专利技术实施例中基于委员会查询的主动学习框架的情感分析方法的流程示意图。图2是本专利技术实施例中基于委员会查询的主动学习框架的情感分析系统的结构示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。如图1所示，本实施例中的基于委员会查询的主动学习框架的情感分析方法，包括：获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；根据所述训练集构建初始模型，根据用户情感表征进行数据分类；根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。在互联网中，带有情感色彩的用户主观性评论文本数据有很多，文本情感分析又称为意见挖掘，情感分析可以被认为是一个多分类任务，一般可以将用户的情绪大致分为三类：正面(积极)、中性、负面。通过对文本进行情感本文档来自技高网...

【技术保护点】
1.一种基于委员会查询的主动学习框架的情感分析方法，其特征在于，包括：获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；根据所述训练集构建初始模型，根据用户情感表征进行数据分类；根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。

【技术特征摘要】
1.一种基于委员会查询的主动学习框架的情感分析方法，其特征在于，包括：获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；根据所述训练集构建初始模型，根据用户情感表征进行数据分类；根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。2.根据权利要求1所述的基于委员会查询的主动学习框架的情感分析方法，其特征在于，在获取训练语料之前还包括采集中文文本数据，并对所述中文文本数据进行预处理，所述预处理包括：对所述中文文本数据进行分词处理；根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；通过预先选取的文本特征，对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。3.根据权利要求1所述的基于委员会查询的主动学习框架的情感分析方法，其特征在于，所述初始模型进行数据分类的种类至少包括正面、中性和负面，通过数据分类对用户的不同情感进行表征，在未标注的训练语料中选择分类贡献率高于预设阈值的样本数据，并进行标注，补充至所述训练集中。4.根据权利要求2所述的基于委员会查询的主动学习框架的情感分析方法，其特征在于，根据委员会投票选择算法在所述训练语料中选取投票最不一致的前K个语料，并对前K个语料进行标注，标注的类别至少包括正面、中性和负面。5.根据权利要求4所述的基于委员会查询的主动学习框架的情感分析方法，其特征在于，所述委员会投票选择算法通过如下公式获取：其中，V(c,e)为预测样本e被分类为类别c的委员会成员的数量，K为委员会成员的总...

【专利技术属性】
技术研发人员：王新日，洪敏，胡宇，万里，
申请(专利权)人：重庆恢恢信息技术有限公司，
类型：发明
国别省市：重庆,50