【技术实现步骤摘要】
本专利技术涉及基于深度学习的情感分析，尤其涉及一种细粒度情感识别方法、电子设备及存储介质。
技术介绍
1、文本情感分析是自然语言处理领域的一个重要分支，其研究目标是对带有情感色彩（褒义贬义/正向负向）的主观性文本进行分析，以确定该文本的观点、喜好、情感倾向等。细粒度情感分析(absa)旨在识别和分析文本中的情感极性与特定方面（aspect）之间的关系。absa的目标是确定文本中的主观情感，以及这些情感与哪些方面（例如产品特征、服务、事件等）相关联。细粒度文本情感分析广泛应用于舆情分析和内容推荐等方面，是近年来的研究热点。目前的主要研究方法包括基于传统深度学习的细粒度情感分析方法以及基于预训练模型情感细粒度分析方法。
2、现有的基于预训练模型情感细粒度分析方法的预训练模型采用了基于注意力机制的transformer模型。注意力机制可以帮助模型关注文本中与目标对象或方面相关的重要信息，忽略无关的信息，从而提高模型的准确性和鲁棒性，此外注意力机制还可以帮助模型捕捉文本中的长距离依赖关系，比如一个句子中的情感词和情感极性可能会受到其他句子中的修饰词或转折词的影响。然而，传统的attention计算方法也会导致注意力矩阵中存在大量的低概率注意值，这些值对于模型的性能没有太大的贡献，反而会增加模型的噪声和过拟合风险。并且传统的注意力计算矩阵的计算时间复杂度为，在长句子输入时计算成本会快速增加。lora方法是一种低秩分解的方法，它将注意力矩阵分解为两个低秩矩阵的乘积，从而降低了参数量和计算量 。然而，lora方法使用了固定比例的秩
3、最后，数据规模在深度学习方法中的模型训练过程中对预测效果有显著的正向影响。然而，获取和处理大型数据存在一定的困难和挑战。
技术实现思路
1、本专利技术的目的在于克服上述现有技术的不足，提供一种细粒度情感识别方法、电子设备及存储介质。
2、为实现上述目的，本专利技术的技术方案是：
3、第一方面，本专利技术提供一种细粒度情感识别方法，包括以下步骤：
4、获取影评文本数据并进行数据预处理，确认影评方面词并为其添加情感倾向标签，将标签添加的数据制作为数据集；
5、采用方面词替换算法来对所述数据集进行数据增强，以扩充所述数据集；
6、以bloom预训练语言模型作为基础网络，并采用扩充后的数据集来进行训练，得到训练好的细粒度情感分析模型；
7、使用训练好的细粒度情感分析模型, 对影评文本进行细粒度情感分析。
8、进一步地，所述数据预处理包括数据清洗、方面词标注与方面词情感倾向标注。
9、进一步地，所述采用方面词替换算法来对所述数据集进行数据增强，以扩充所述数据集，包括：
10、从数据集中随机选取两条数据，使用一个数据的方面词替换其中一个方面词，生成新数据并重复操作，实现数据集扩充。
11、进一步地，所述bloom预训练语言模型包括输入层、隐藏层和输出层；
12、所述输入层将输入序列转换为向量矩阵表示，所述输入序列为文本序列和方面词序列的拼接；
13、所述隐藏层由若干个基于注意力机制的transformer块组成，注意力机制用于计算注意力矩阵，注意力矩阵计算过程中采用sparse attention算法和基于动态秩的lora的训练方法对注意力矩阵进行稀疏化和低秩化处理；
14、所述输出层通过全连接层将transformer的输出映射到另一个空间，并使用softmax层将分数转换为概率值，获得方面词的情感倾向序列。
15、进一步地，所述sparse attention算法的计算方式为：
16、
17、其中，表示的是注意力层输出的注意力矩阵，分别表示查询矩阵、键矩阵和值矩阵，表示key矩阵的维度；
18、所述的计算方式如下：
19、
20、其中，均为可计算的权重矩阵；
21、
22、其中，为稀疏化门槛值,取值范围为 t为输入到算法中的待稀疏化模型参数。
23、进一步地，所述基于动态秩的lora的训练方法为：
24、
25、其中，是预训练语言模型的第层的原参数，不参与梯度更新，和是可训练的秩分解矩阵，为目标秩；是一个缩放因子，用来调整适配器对原始权重矩阵的影响程度；为动态秩系数，其中的计算方法为:
26、
27、其中，为transformer块的数量,是第块transformer块。
28、进一步地，所述的计算方法为:
29、
30、其中，为transformer块的数量,是第块transformer块。
31、进一步地，所述对影评文本进行细粒度情感分析包括：
32、通过对保留的电影评论进行测试，将评论文本和方面词序列输入训练好的细粒度情感分析模型，得到情感分析结果序列；
33、对和的合理性进行评价。
34、第二方面，本专利技术提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如上任一所述的细粒度情感识别方法。
35、第三方面，本专利技术提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任一所述的细粒度情感识别方法。
36、本专利技术与现有技术相比，其有益效果在于：
37、1、本专利技术提出了方面词替换的数据增强算法，通过扩充数据集的数量，令模型在学习中获得丰富的特征，进而提高下游情感分析任务的准确性。
38、2、细粒度情感模型使用先进的bloom结构并引入预训练模型，模型因经历了大规模预料预训练而蕴含丰富的语义特征，且信息抽取能力更强, 有利于提高情感分析任务的效果。
39、3、在注意力的计算过程中提出了sparse attention算法，将不可靠的低概率注意舍弃，避免发生过拟合，从而降低计算和存储的开销。同时，将剩余的注意力值扩大，可以增强模型对重要位置的关注度，从而提高模型的性能。
40、4、在注意力的计算过程中提出了基于动态秩的lora算法对transformer层的注意力矩阵进行分解、对于靠近输入层或输出层的transformer层的注意力矩阵，使用较大的秩增加了模型的表达能力，使得模型能够更好地捕捉输入序列或输出序列中不同位置之间的复杂关系。对于靠近中间层的transformer层的注意力矩阵，使用较小的秩减少了模本文档来自技高网...
【技术保护点】
1.一种细粒度情感识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的细粒度情感识别方法，其特征在于，所述数据预处理包括数据清洗、方面词标注与方面词情感倾向标注。
3.如权利要求1所述的细粒度情感识别方法，其特征在于，所述采用方面词替换算法来对所述数据集进行数据增强，以扩充所述数据集，包括：
4.如权利要求1所述的细粒度情感识别方法，其特征在于，
5.如权利要求4所述的细粒度情感识别方法，其特征在于，所述Sparse Attention算法的计算方式为：
6.如权利要求5所述的细粒度情感识别方法，其特征在于，所述基于动态秩的LoRA的训练方法为：
7.如权利要求6所述的细粒度情感识别方法，其特征在于，所述的计算方法为:
8.如权利要求1所述的细粒度情感识别方法，其特征在于，所述对影评文本进行细粒度情感分析包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的细粒度情感识别方法。
...【技术特征摘要】
1.一种细粒度情感识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的细粒度情感识别方法，其特征在于，所述数据预处理包括数据清洗、方面词标注与方面词情感倾向标注。
3.如权利要求1所述的细粒度情感识别方法，其特征在于，所述采用方面词替换算法来对所述数据集进行数据增强，以扩充所述数据集，包括：
4.如权利要求1所述的细粒度情感识别方法，其特征在于，
5.如权利要求4所述的细粒度情感识别方法，其特征在于，所述sparse attention算法的计算方式为：
6.如权利要求5所述的细粒度情感识别方法，其特征在于，所述基于动态秩的lora的训练方法为：
7.如权利要求6所述的细粒度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。