基于LoRA的情感分析方法技术

本发明专利技术公开了一种基于LoRA的情感分析方法，属于人工智能技术领域，包括S1、预处理层，在预处理层对数据进行清洗，并使用BERT预训练模型对输入样本进行分词；S2、词嵌入层，对分词后的输入样本经过向量表示层，映射为高维连续的词向量以捕捉语义信息；S3、特征提取层，将高维词向量作为特征提取层的输入，进一步提取出特征向量；S4、输出层，将生成的特征向量作为最终输入样本表示，并通过情感分类层对文本情感进行极性判断。本发明专利技术采用上述一种基于LoRA的情感分析方法，通过在训练低秩矩阵的同时，利用低秩矩阵的增量更新预训练权重矩阵，在不增加训练参数和推理时间的前提下增加了模型的可控因素，缓解了原始LoRA方法对低秩矩阵的过度依赖问题。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其是涉及一种基于lora的情感分析方法。

技术介绍

1、在数字化时代的背景下，情感分析成为了企业和服务提供商关注用户体验的关键工具。其在社交媒体分析、情感驱动的内容推荐、舆情监控等方面得到广泛应用，不仅发挥着重要作用，还蕴含着巨大的商业潜力和应用前景。

2、文本情感分析按照处理文本的粒度不同可以划分为三个层次：篇章级情感分析、句子级情感分析和方面级情感分析。但无论是篇章级还是句子级情感分析，它们都只假设一段文本只包含一种情感色彩，并不能充分反映文本中不同对象的更细致的情感表达。在计算层面的发展来看又可以将其划分为基于词典的统计方法、基于机器学习的方法、基于传统的深度学习方法以及基于预训练模型的方法。基于词典、机器学习以及传统的深度学习方法普遍存在数据依赖性强、标注成本高昂、泛化能力有限、无法充分考虑文本的上下文信息等缺陷。本专利技术是基于预训练模型的方面级情感分析。

3、现有基于预训练模型的高效微调方法大都是通过冻结预训练模型增加模型深度来实现的，这类方法无疑会增加模型在推理阶段的复杂度。

本文档来自技高网...

【技术保护点】

1.一种基于LoRA的情感分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于LoRA的情感分析方法，其特征在于：S1中，采用工具包对输入样本进行分词得到分词结果S＝[t1,t2,...tn]。

3.根据权利要求1所述的基于LoRA的情感分析方法，其特征在于，S2的词嵌入层具体步骤如下：

4.根据权利要求1所述的基于LoRA的情感分析方法，其特征在于，S3中采用LoRA方法通过低秩矩阵分解来模拟原始权重参数的改变量，具体为在原有网络中引入一个旁路结构，旁路结构由一个低秩矩阵A和低秩矩阵B组成，将低秩矩阵A和低秩矩阵B的乘机的增量作为原始权...

【技术特征摘要】

1.一种基于lora的情感分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于lora的情感分析方法，其特征在于：s1中，采用工具包对输入样本进行分词得到分词结果s＝[t1,t2,...tn]。

3.根据权利要求1所述的基于lora的情感分析方法，其特征在于，s2的词嵌入层具体步骤如下：

4.根据权利要求1所述的基于lora的情感分析方法，其特征在于，s3中采用lora方法通过低秩矩阵分解来模拟原始权重参数的改变量，具体为在原有网络中引入一个旁路结构，旁路结构由一个低秩矩阵a和低秩矩阵b组成，将低秩矩阵a和低秩矩阵b的乘机的增量作为原始权重w更新的参照，在训练过程中更新低秩矩阵a和低秩矩阵b的同时也利用其乘机的增量动态地更新训练原始权重w，更新过程如下式：

5.根据权利要求1所述的基于lora的情感分析方法，其特征在于：为提升模型在下游任务上的表现能力，结合textcnn方法和注意力机制设计一个特征表示模块，输入样本在经...

【专利技术属性】
技术研发人员：沈君凤，肖梦秦，周星辰，
申请(专利权)人：湖北大学，
类型：发明
国别省市：