System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于数据分析,具体涉及一种数据情感分析方法、系统、终端及存储介质。
技术介绍
1、舆情监督需要大量数据监督,首先采集海量数据,然后利用机器学习算法对海量数据进行分析,从中提取有效数据。机器学习方法包括支持向量机(svm)、朴素贝叶斯(naive bayes)、随机森林(random forest)等。这些方法通常需要手动设计特征,并在特征工程过程中提取文本的词袋模型、tf-idf等特征,然后利用机器学习算法进行情感分类。
2、由于舆情信息的复杂性和信息质量的不稳定性,利用机器学习算法的处理量巨大且对于一些具有复杂情感表达或语义歧义的文本,情感分析可能会出现较大的误差。
技术实现思路
1、针对现有技术的上述不足,本专利技术提供一种数据情感分析方法、系统、终端及存储介质,以解决上述技术问题。
2、第一方面,本专利技术提供一种数据情感分析方法,包括:
3、获取目标数据,并利用预先训练好的第一分类模型将目标数据按情感极性划分为多个数据集;
4、利用预先训练好的第二分类模型分别将多个数据集按情感极性划分为多个子集;
5、将情感极性相同的子集合并,得到多个情感极性的分类数据集;
6、分别从分类数据集中提取关键词,并将关键词与相应情感极性建立关联关系。
7、在一个可选的实施方式中,获取目标数据,并利用预先训练好的第一分类模型将目标数据按情感极性划分为多个数据集,包括:
8、定期从第三方数据显
9、对初始数据进行预处理得到目标数据,所述预处理包括分词处理、去除停用词和标点符号的处理;
10、将目标数据输入第一分类模型,所述第一分类模型为bert模型;
11、获取第一分类模型为目标数据的每条词组生成的情感极性值,基于预设情感极性类别对应的极性值范围,通过对词组的情感极性值与各类别的极性值范围进行比对,为词组匹配情感极性类别;
12、将情感极性类别相同的词组划分至同一数据集。
13、在一个可选的实施方式中,利用预先训练好的第二分类模型分别将多个数据集按情感极性划分为多个子集,包括:
14、依次将数据集输入第二分类模型,所述第二分类模型为skep模型,所述skep模型的训练集采用第一分类模型的分类处理结果;
15、基于skep模型输出的数据情感极性值,对数据集中的数据进行分类,得到数据集的下级子集。
16、在一个可选的实施方式中,分别从分类数据集中提取关键词,并将关键词与相应情感极性建立关联关系,包括:
17、利用关键词提取工具从分类数据集中提取关键词;
18、将所述关键词与分类数据集的情感极性类别建立关联关系;
19、将所述关联关系输出至管理终端。
20、第二方面,本专利技术提供一种数据情感分析系统,包括:
21、第一分类模块,用于获取目标数据,并利用预先训练好的第一分类模型将目标数据按情感极性划分为多个数据集;
22、第二分类模块,用于利用预先训练好的第二分类模型分别将多个数据集按情感极性划分为多个子集;
23、子集整合模块,用于将情感极性相同的子集合并,得到多个情感极性的分类数据集;
24、特征提取模块,用于分别从分类数据集中提取关键词,并将关键词与相应情感极性建立关联关系。
25、在一个可选的实施方式中,第一分类模块包括:
26、数据爬取单元,用于定期从第三方数据显示界面爬取数据,并将爬取的数据保存为初始数据;
27、数据处理单元,用于对初始数据进行预处理得到目标数据,所述预处理包括分词处理、去除停用词和标点符号的处理;
28、第一分类单元,用于将目标数据输入第一分类模型,所述第一分类模型为bert模型;
29、情感分类单元,用于获取第一分类模型为目标数据的每条词组生成的情感极性值,基于预设情感极性类别对应的极性值范围,通过对词组的情感极性值与各类别的极性值范围进行比对,为词组匹配情感极性类别;
30、词组划分单元,用于将情感极性类别相同的词组划分至同一数据集。
31、在一个可选的实施方式中,第二分类模块包括:
32、模型处理单元,用于依次将数据集输入第二分类模型,所述第二分类模型为skep模型,所述skep模型的训练集采用第一分类模型的分类处理结果;
33、子集划分单元,用于基于skep模型输出的数据情感极性值,对数据集中的数据进行分类,得到数据集的下级子集。
34、在一个可选的实施方式中,特征提取模块包括:
35、特征提取单元,用于利用关键词提取工具从分类数据集中提取关键词;
36、关联建立单元,用于将所述关键词与分类数据集的情感极性类别建立关联关系;
37、关联输出单元,用于将所述关联关系输出至管理终端。
38、第三方面,提供一种终端,包括:
39、处理器、存储器,其中,
40、该存储器用于存储计算机程序,
41、该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。
42、第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
43、本专利技术的有益效果在于,本专利技术提供的数据情感分析方法、系统、终端及存储介质,通过将情感分析转换为分类问题,采用双重模型分类,从而降低数据情感分析的计算量,提升数据分析速度和分析结果的准确度。
44、此外,本专利技术设计原理可靠,结构简单,具有非常广泛的应用前景。
本文档来自技高网...【技术保护点】
1.一种数据情感分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取目标数据,并利用预先训练好的第一分类模型将目标数据按情感极性划分为多个数据集,包括:
3.根据权利要求1所述的方法,其特征在于,利用预先训练好的第二分类模型分别将多个数据集按情感极性划分为多个子集,包括:
4.根据权利要求1所述的方法,其特征在于,分别从分类数据集中提取关键词,并将关键词与相应情感极性建立关联关系,包括:
5.一种数据情感分析系统,其特征在于,包括:
6.根据权利要求5所述的系统,其特征在于,所述第一分类模块包括:
7.根据权利要求5所述的系统,其特征在于,所述第二分类模块包括:
8.根据权利要求5所述的系统,其特征在于,所述特征提取模块包括:
9.一种终端,其特征在于,包括:
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述可读存储介质上存储有数据情感分析程序,所述数据情感分析程序被处理器执行时实现如权利要求1-4任一项所述数据情感分析方法的步骤。<
...【技术特征摘要】
1.一种数据情感分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取目标数据,并利用预先训练好的第一分类模型将目标数据按情感极性划分为多个数据集,包括:
3.根据权利要求1所述的方法,其特征在于,利用预先训练好的第二分类模型分别将多个数据集按情感极性划分为多个子集,包括:
4.根据权利要求1所述的方法,其特征在于,分别从分类数据集中提取关键词,并将关键词与相应情感极性建立关联关系,包括:
5.一种数据情感分析系统,其特征...
【专利技术属性】
技术研发人员:姜其涛,孔壮,胡曼玉,李邵旭,
申请(专利权)人:山东浪潮智慧文旅产业发展有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。