System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及大数据处理,特别是大数据处理下的自然语言处理技术,尤其涉及一种基于情感分析的用户评价数据处理方法及装置。
技术介绍
1、现有技术中的自然语言处理技术是基于大量数据训练的复杂模型,以此来支持不同场景的应用。因此,情感分析的核心困难包括模型和数据两个方面:一方面,情感是人类的一种高级智能行为,需要模型能够在语义层面理解文本的情感倾向;另一方面,不同领域的情感表达方式各不相同,即便是同一应用场景的表达也极其复杂。
2、金融业在本质上是一种服务型行业,个体客户群基数大,而对待客户难免存在有失周到之处,从而导致客户粘性下降;在互联网时代,客户维权意识逐渐增强,在遇到区别对待时,常常将消极情绪发布于网络中。
技术实现思路
1、本专利技术所提供的基于情感分析的用户评价数据处理方法及装置,可以做到在舆情、事态进一步发酵之前发现舆情,从而进一步联系客户,及时了解客户反馈的问题,并妥善处理,能够帮助金融公司感知舆情潜在风险。
2、为了达到以上目的,本专利技术一方面公开了一种基于情感分析的用户评价数据处理方法,该方法包括:
3、对预先获取的用户评价数据进行编码,以生成长度固定的语义向量;
4、根据所述语义向量以及预生成的情感分类预测模型集合确定所述评价数据对应的情感属性;所述情感分类模型集合是基于多个roberta模型所形成。
5、一实施例中,获取用户评价数据的步骤包括:
6、获取多个网络平台的api接口;
8、一实施例中,获取用户评价数据的步骤包括:
9、通过网站解析器及/或正则表达式获取多个网络平台对应的用户评价数据。
10、一实施例中,所述对预先获取的用户评价数据进行编码,以生成长度固定的语义向量,包括:
11、对所述用户评价数据进行分词,以生成分词结果;
12、去除所述分词结果中的无用标签、特殊符号以及停用词,以生成清洗结果;
13、提取清洗结果中的特征向量;
14、根据所述特征向量生成长度固定的语义向量。
15、一实施例中,所述根据所述语义向量以及预生成的情感分类预测模型集合确定所述评价数据对应的情感属性,包括:
16、通过所述情感分类预测模型确定所述语义向量所对应的分类结果;
17、在所述分类结果下,根据所述情感分类预测模型确定所述评价数据对应的情感属性;所述情感属性包括积极倾向、中立倾向以及消极倾向。
18、一实施例中,所述根据所述情感分类预测模型确定所述评价数据对应的情感属性,包括:
19、将所述语义向量输入至所述多个roberta模型中,以生成每个roberta模型所对应的评价数据对应的情感属性;
20、对每个多个roberta模型所生成的情感数据进行加权平均以及投票,以生成所述评价数据对应的最终情感属性。
21、一实施例中,所述根据所述特征向量生成长度固定的语义向量包括:
22、将所述特征向量输入至预生成的transformer解编码模型中,以生成长度固定的语义向量。
23、一实施例中,所述transformer解编码模型包括多个相同的编码层,每个编码层包括多头注意力层以及前馈网络层;
24、生成所述transformer解编码模型包括以下步骤:
25、根据所述transformer解编码模型的初始模型中的查询向量以及键值向量计算自注意力函数;
26、根据所述自注意力函数计算自注意力值;
27、根据所述自注意力值对所述多头注意力层以及前馈网络层进行迭代,以生成所述transformer解编码模型。
28、一实施例中,基于情感分析的用户评价数据处理方法还包括:
29、对所述评价数据对应的情感属性进行标签平滑。
30、一实施例中,所述对所述评价数据对应的情感属性进行标签平滑包括:
31、根据所述情感属性中的词表大小以及目标词的预测结果构建损失函数;
32、根据所述损失函数对所述价数据对应的情感属性进行标签平滑。
33、第二方面,本专利技术还公开了一种基于情感分析的用户评价数据处理装置,该装置包括:
34、语义向量生成模块,用于对预先获取的用户评价数据进行编码,以生成长度固定的语义向量;
35、情感属性确定模块,用于根据所述语义向量以及预生成的情感分类预测模型集合确定所述评价数据对应的情感属性;所述情感分类模型集合是基于多个roberta模型所形成。
36、一实施例中,基于情感分析的用户评价数据处理装置还包括:评价数据获取第一模块,用于获取用户评价数据;所述评价数据获取第一模块包括:
37、接口获取单元,用于获取多个网络平台的api接口;
38、评价数据爬取单元,用于根据所述api接口爬取所述多个网络平台对应的用户评价数据。
39、一实施例中,基于情感分析的用户评价数据处理装置还包括:评价数据获取第二单元,用于获取用户评价数据;所述评价数据获取第二单元包括:
40、评价数据获取子单元,用于通过网站解析器及/或正则表达式获取多个网络平台对应的用户评价数据。
41、一实施例中,所述语义向量生成模块包括:
42、分词结果生成单元,用于对所述用户评价数据进行分词,以生成分词结果;
43、清洗结果生成单元,用于去除所述分词结果中的无用标签、特殊符号以及停用词,以生成清洗结果;
44、特征向量提取单元,用于提取清洗结果中的特征向量;
45、语义向量生成单元,用于根据所述特征向量生成长度固定的语义向量。
46、一实施例中,所述情感属性确定模块包括:
47、分类结果确定单元,用于通过所述情感分类预测模型确定所述语义向量所对应的分类结果;
48、情感属性确定单元,用于在所述分类结果下,根据所述情感分类预测模型确定所述评价数据对应的情感属性;所述情感属性包括积极倾向、中立倾向以及消极倾向。
49、一实施例中,所述情感属性确定单元包括:
50、初始情感属性生成单元,用于将所述语义向量输入至所述多个roberta模型中,以生成每个roberta模型所对应的评价数据对应的情感属性;
51、最终情感属性生成单元,用于对每个多个roberta模型所生成的情感数据进行加权平均以及投票,以生成所述评价数据对应的最终情感属性。
52、一实施例中,所述语义向量生成单元包括:
53、语义向量生成子单元,用于将所述特征向量输入至预生成的transformer解编码模型中,以生成长度固定的语义向量。
54、一实施例中,所述transformer解编码模型包括多个相本文档来自技高网...
【技术保护点】
1.一种基于情感分析的用户评价数据处理方法,其特征在于,包括:
2.根据权利要求1所述的用户评价数据处理方法,其特征在于,获取用户评价数据的步骤包括:
3.根据权利要求1所述的用户评价数据处理方法,其特征在于,获取用户评价数据的步骤包括:
4.根据权利要求1所述的用户评价数据处理方法,其特征在于,所述对预先获取的用户评价数据进行编码,以生成长度固定的语义向量,包括:
5.根据权利要求1所述的用户评价数据处理方法,其特征在于,所述根据所述语义向量以及预生成的情感分类预测模型集合确定所述评价数据对应的情感属性,包括:
6.根据权利要求5所述的用户评价数据处理方法,其特征在于,所述根据所述情感分类预测模型确定所述评价数据对应的情感属性,包括:
7.根据权利要求4所述的用户评价数据处理方法,其特征在于,所述根据所述特征向量生成长度固定的语义向量包括:
8.根据权利要求7所述的用户评价数据处理方法,其特征在于,所述Transformer解编码模型包括多个相同的编码层,每个编码层包括多头注意力层以及前馈网络层
9.根据权利要求1所述的用户评价数据处理方法,其特征在于,还包括:
10.根据权利要求9所述的用户评价数据处理方法,其特征在于,所述对所述评价数据对应的情感属性进行标签平滑包括:
11.一种基于情感分析的用户评价数据处理装置,其特征在于,包括:
12.根据权利要求11所述的用户评价数据处理装置,其特征在于,还包括:评价数据获取第一模块,用于获取用户评价数据;所述评价数据获取第一模块包括:
13.根据权利要求11所述的用户评价数据处理装置,其特征在于,还包括:评价数据获取第二单元,用于获取用户评价数据;所述评价数据获取第二单元包括:
14.根据权利要求11所述的用户评价数据处理装置,其特征在于,所述语义向量生成模块包括:
15.根据权利要求11所述的用户评价数据处理装置,其特征在于,所述情感属性确定模块包括:
16.根据权利要求15所述的用户评价数据处理装置,其特征在于,所述情感属性确定单元包括:
17.根据权利要求14所述的用户评价数据处理装置,其特征在于,所述语义向量生成单元包括:
18.根据权利要求17所述的用户评价数据处理装置,其特征在于,所述Transformer解编码模型包括多个相同的编码层,每个编码层包括多头注意力层以及前馈网络层;所述用户评价数据处理装置还包括:解码模型生成模块,用于生成所述Transformer解编码模型,所述解码模型生成模块包括:
19.根据权利要求11所述的用户评价数据处理装置,其特征在于,还包括:
20.根据权利要求19所述的用户评价数据处理装置,其特征在于,所述属性标签平滑模块包括:
21.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至10任一项所述基于情感分析的用户评价数据处理方法的步骤。
22.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至10任一项所述基于情感分析的用户评价数据处理方法的步骤。
23.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10任一项所述基于情感分析的用户评价数据处理方法的步骤。
...【技术特征摘要】
1.一种基于情感分析的用户评价数据处理方法,其特征在于,包括:
2.根据权利要求1所述的用户评价数据处理方法,其特征在于,获取用户评价数据的步骤包括:
3.根据权利要求1所述的用户评价数据处理方法,其特征在于,获取用户评价数据的步骤包括:
4.根据权利要求1所述的用户评价数据处理方法,其特征在于,所述对预先获取的用户评价数据进行编码,以生成长度固定的语义向量,包括:
5.根据权利要求1所述的用户评价数据处理方法,其特征在于,所述根据所述语义向量以及预生成的情感分类预测模型集合确定所述评价数据对应的情感属性,包括:
6.根据权利要求5所述的用户评价数据处理方法,其特征在于,所述根据所述情感分类预测模型确定所述评价数据对应的情感属性,包括:
7.根据权利要求4所述的用户评价数据处理方法,其特征在于,所述根据所述特征向量生成长度固定的语义向量包括:
8.根据权利要求7所述的用户评价数据处理方法,其特征在于,所述transformer解编码模型包括多个相同的编码层,每个编码层包括多头注意力层以及前馈网络层;
9.根据权利要求1所述的用户评价数据处理方法,其特征在于,还包括:
10.根据权利要求9所述的用户评价数据处理方法,其特征在于,所述对所述评价数据对应的情感属性进行标签平滑包括:
11.一种基于情感分析的用户评价数据处理装置,其特征在于,包括:
12.根据权利要求11所述的用户评价数据处理装置,其特征在于,还包括:评价数据获取第一模块,用于获取用户评价数据;所述评价数据获取第一模块包括:
13.根据权利要求11所述的用户评价数据处理装置,其特征在于,还包括:评价...
【专利技术属性】
技术研发人员:冯晓刚,
申请(专利权)人:中信银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。