一种低资源场景下情感分析的方法和存储介质技术

本发明专利技术涉及自然语言处理技术领域。本发明专利技术构建了一种低资源场景下情感分析的方法和存储介质并且提出了针对低资源场景下连续情感分析任务的持续注意力建模方法称为CAM。在多个情感分析任务的学习过程中,CAM既可以保留不同任务的情感信息,缓解灾难性遗忘问题,也可以高效地捕捉不同任务的情感信息并进行融合。CAM主要由两个部分组成:用于保留单个任务情感信息的情感掩码Adapter称为SMA，和用于融合不同任务情感信息的动态情感注意力称为DSA。可以有效融合不同任务类型之间的情感信息，有效解决了单个任务类型训练资源不足的问题，同时SMA模块可以有效的缓解灾难性遗忘问题。题。题。

【技术实现步骤摘要】
一种低资源场景下情感分析的方法和存储介质


[0001]本专利技术涉及自然语言处理
，尤其是指一种低资源场景下情感分析的方法和存储介质。

技术介绍

[0002]近年来,随着大数据驱动型深度神经网络快速发展,其在计算机视觉(CV)、自然语言处理(NLP)等领域取得了显著的成果,其中深度神经网络在各种高资源场景任务下的性能提升尤为显著。但是大数据驱动型深度神经网络的训练过程需要大量数据,这意味着高昂的标注成本和算力成本。因此越来越多的研究人员开始关注低资源场景下的任务,即要求模型能够利用受限的训练数据量解决问题。相关研究普遍借助数据增强或迁移学习等方法得到更多数据资源,以克服标记数据的缺乏,从而提高低资源场景下的任务性能。在情感分析领域同样存在大量低资源场景下的任务,这是因为情感分析领域中的标注数据往往集中于商品评论或社交媒体,缺乏专业领域的标注数据。此外,真实用户的情感分析数据具有一定的隐私性,有时难以获取。上述问题限制了现有的情感分析技术在低资源场景下的应用和推广。目前针对低资源场景下情感分析研究主要集中于单个情感分析任务,这导致模型无法利用其他情感任务的情感信息。Pfeiffer等人提出了基于Adapter的两阶段学习算法AdapterFusion。第一阶段训练每个任务独有的Adapter,第二阶段使用单独的Fusion层进行知识组合.通过分离知识抽取和知识组合,AdapterFusion可以有效缓解避免灾难性遗忘，但AdapterFusion两阶段学习之间存在一定矛盾，使模型的效率无法有效提升。而现有的持续学习方法缺少针对不同任务间知识融合的研究,普遍不具有情感信息融合能力,且当前的方法例如CTR、B
‑
CL等需要使用胶囊网络和动态路由,对超参选取十分敏感。此外,CTR等方法训练的模型参数大小会随着任务数量增加动态增加,导致模型推理速度变慢,这进一步增加了完成任务需要的代价。

技术实现思路

[0003]为此，本专利技术所要解决的技术问题在于克服现有技术中低资源场景下情感分析研究主要集中于单个情感分析任务,这导致模型无法利用其他情感任务的情感信息，导致单任务训练数据匮乏的问题，并且现有的融合模型会导致产生灾难性遗忘问题，同时存在模型推理速度慢，效率低的问题。
[0004]为解决上述技术问题，本专利技术提供了一种低资源场景下情感分析的方法，其特征在于：包括：
[0005]将获得的不同任务类型的数据集按照输入模型的时间顺序排列，得到多个低资源场景下的连续情感分析数据集；
[0006]基于预训练语言处理模型BERT构建情感分析模型，情感分析模型包括低资源场景下连续情感分析任务的持续注意力模块CAM，CAM模块包括：情感掩码Adapter模块，以及动态情感注意力模块，CAM模块对N个任务构建对应的N个Adapter模型；
[0007]将排列好的任务t＝1
···
N按照时间步输入情感分析模型，首先对任务t进行初步特征提取得到特征信息h
t
，利用提取到的特征信息h
t
训练第t个Adapter模型，并且利用情感掩码Adapter模块中的掩码嵌入单元对训练后的第t个Adapter模型生成情感掩码，掩盖第t个Adapter模型的部分参数，将特征信息h
t
输入1～t
‑
1的Adapter模型对其进行进一步训练，利用经过训练的t个Adapter模型对输入的特征信息h
t
进行进一步的特征提取得到特征信息a1···
a
t
；
[0008]动态情感注意力模块利用动态情感注意力将提取到的特征信息h
t
作为Query，将特征信息a1···
a
t
作为Key和Value进行情感信息融合，将融合的信息记为O
t
作为CAM模块的输出结果，当第N个任务经过CAM模块处理之后，情感分析模型训练完成。
[0009]进一步地，所述情感分析模型具有两层结构，包括：
[0010]第一层网络结构，包括：Multi
‑
Headed Attention层、Feed
‑
Forward Layer层、CAM层和Layer Norm层；
[0011]第二层网络结构，包括：两个并行的Feed
‑
Forward Layer层、CAM层以及Layer Norm层。
[0012]进一步地，所述第一层网络结构与第二层网络结构设有残差网络，第一层残差网络将输入情感分析模型的数据以及经过第一层网络结构中的CAM模块处理的数据进行融合，第二层残差网络将第一层网络结构中的Layer Norm层输出的数据与经过第二层网络结构中CAM模块处理的数据进行融合。
[0013]进一步地，所述Multi
‑
Headed Attention层的机制为多头注意力机制，由多个自注意力的探头组成，通过自注意力的探头来提取输入的任务中与情感分析的类型相关的特征。
[0014]进一步地，所述Feed
‑
Forward Layer层利用线性变换的方法将得到的数据映射到高维空间，然后在映射到低维空间，在这个过程中使数据中深层的特征进行进一步的增强，将不重要的特征进行抑制。
[0015]进一步地，所述Layer Norm层对其输入的数据进行归一化处理并输出。
[0016]进一步地，所述情感分析模型在训练时Multi
‑
Headed Attention层、Feed
‑
Forward Layer层、以及两个并行的Feed
‑
Forward Layer层的参数保持固定。
[0017]进一步地，所述情感分析模型还具有分类头，对第二层网络结构中的Layer Norm层输出的情感分析信息数据分析为对应的情感属性结果。
[0018]进一步地，待检测的情感分析任务输入经过训练的情感分析模型后Multi
‑
Headed Attention层先对输入的任务通过其注意力机制进行初步的情感特征提取，然后Feed
‑
Forward Layer层对输入的任务进行深度的情感特征提取并输出至CAM模块，CAM模块对数据进行进一步的提取，并对提取的数据进行融合，将CAM模块处理的数据与待检测的情感分析任务数据融合输入第二层网络结构对数据进行进一步的特征提取，经过第二层网络结构中的Layer Norm层归一化处理后通过对应的分类头处理为对应的情感属性结果。
[0019]一种存储介质，所述计算机程序被处理器执行时实现上述任一项所述一种低资源场景下情感分析的方法的步骤。本专利技术的上述技术方案相比现有技术具有以下优点：
[0020]本专利技术所述的一种低资源场景下情感分析的方法和存储介质首次构建了低资源场景下的连续情感分析任务,旨在利用持续学习方法,让模型随时间步学习多个情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低资源场景下情感分析的方法，其特征在于：包括：将获得的不同任务类型的数据集按照输入模型的时间顺序排列，得到多个低资源场景下的连续情感分析数据集；基于预训练语言处理模型BERT构建情感分析模型，情感分析模型包括低资源场景下连续情感分析任务的持续注意力模块CAM，CAM模块包括：情感掩码Adapter模块，以及动态情感注意力模块，CAM模块对N个任务构建对应的N个Adapter模型；将排列好的任务t＝1
···
N按照时间步输入情感分析模型，首先对任务t进行初步特征提取得到特征信息ht，利用提取到的特征信息ht训练第t个Adapter模型，并且利用情感掩码Adapter模块中的掩码嵌入单元对训练后的第t个Adapter模型生成情感掩码，掩盖第t个Adapter模型的部分参数，将特征信息ht输入1～t
‑
1的Adapter模型对其进行进一步训练，利用经过训练的t个Adapter模型对输入的特征信息ht进行进一步的特征提取得到特征信息a1···
a
t
；动态情感注意力模块利用动态情感注意力将提取到的特征信息ht作为Query，将特征信息a1···
a
t
作为Key和Value进行情感信息融合，将融合的信息记为Ot作为CAM模块的输出结果，当第N个任务经过CAM模块处理之后，情感分析模型训练完成。2.根据权利要求1所述的一种低资源场景下情感分析的方法，其特征在于：所述情感分析模型具有两层结构，包括：第一层网络结构，包括：Multi
‑
Headed Attention层、Feed
‑
ForwardLayer层、CAM层和Layer Norm层；第二层网络结构，包括：两个并行的Feed
‑
Forward Layer层、CAM层以及Layer Norm层。3.根据权利要求2所述的一种低资源场景下情感分析的方法，其特征在于：所述第一层网络结构与第二层网络结构设有残差网络，第一层残差网络将输入情感分析模型的数据以及经过第一层网络结构中的CAM模块处理的数据进行融合，第二层残差网络将第一层网络结构中的Layer Norm层输出的数据与经过第二层网络结构中CAM模块处理的数据进行融...

【专利技术属性】
技术研发人员：张涵，王晶晶，罗佳敏，
申请(专利权)人：苏州大学，
类型：发明
国别省市：