【技术实现步骤摘要】
本专利技术涉及自然语言处理的，尤其是涉及一种流形学习和度量学习的多模态情感分析方法及系统。
技术介绍
1、多模态情感分析是一种研究人类情感表达和识别的方法，它结合了多种感知模态(通常包括文本、音频和视频)来分析和理解人类情感(积极的/消极的)。准确的识别多模态信息中的情感对于监测病人心理健康和分析社交媒体中的公众舆情等是至关重要的。
2、近年来，随着神经网络的发展，许多基于神经网络的方法被应用于多模态情感分析任务，多模态情感分析技术也取得了飞速发展。对于给定的多模态信息，模型通过学习每个模态中的重要信息并进行融合来判断表达的情感。然而现有的方法往往忽视了声音和视觉信息中的噪声和冗余，这会导致模型无法准确判断情感。
技术实现思路
1、有鉴于此，本专利技术提供了一种流形学习和度量学习的多模态情感分析方法及系统，利用流形学习和度量学习，将视觉和声音特征转化为流形特征，以降低噪声和信息冗余。同时，通过对流形特征进行度量学习，模型可以获得更具辨别性的特征，从而更好地完成多模态情感分析的任务。
2、本专利技术采用以下技术方案：
3、本专利技术公开了一种基于流形学习和度量学习的多模态情感分析方法，包括：
4、获取多模态情感分析信号，并将所述多模态情感分析信号转化为初级特征；所述多模态情感分析信号包括文本、视频和声音；
5、将多模态的初级特征分别编码为高级特征，所述高级特征具有上下文关系和位置关系；
6、利用主成分分析方法将视
7、融合之后的特征经过线性层映射在一维的空间中，经过sigmoid层进行归一化，得到所述多模态情感分析信号对应的情感分类。
8、进一步地，将所述多模态情感分析信号转化为初级特征，包括：
9、利用tokenizer、openface、covarep分别将文本、视频和声音信号转化为初级特征。
10、进一步地，将多模态的初级特征分别编码为高级特征，包括：
11、使用预训练模型deberta对文本的初级特征进行编码，捕捉文本中的上下文信息，包括前后文的词语和句子；
12、使用transformer的编码器对声音的初级特征和视频的初级特征进行编码，获得具有时序特性和注意力特性的表示。
13、进一步地，在训练时对所述流形特征计算度量损失，包括：
14、根据标签类别将流形特征分为正例和负例，使用点积相似度计算度量损失。
15、进一步地，所述情感分类的任务损失采用二元交叉熵损失函数。
16、本专利技术还公开了一种基于流形学习和度量学习的多模态情感分析系统，包括：
17、初级特征获取模块，获取多模态情感分析信号，并将所述多模态情感分析信号转化为初级特征；所述多模态情感分析信号包括文本、视频和声音；
18、高级特征获取模块，将所述初级特征获取模块获取的多模态的初级特征分别编码为高级特征，所述高级特征具有上下文关系和位置关系；
19、流形特征获取模块，利用主成分分析方法将所述高级特征获取模块获取的视频和声音的高级特征变成维度更低的流形特征，再将流形特征与所述高级特征获取模块获取的文本的高级特征进行融合；
20、度量模块，在训练时对所述流形特征获取模块获取的所述流形特征计算度量损失，将所述度量损失与任务损失叠加；
21、预测模块，将融合之后的特征经过线性层映射在一维的空间中，经过sigmoid层进行归一化，得到所述多模态情感分析信号对应的情感分类。
22、与现有技术相比，本专利技术的有益效果是：
23、1)通过使用流形学习方法，可以在保留主要结构特征的前提下对视觉和声音特征降维，在减少计算量的同时，又减少了噪声和冗余带来的影响。
24、2)通过对视觉和声音的流形特征计算度量损失，可以获得更具有区分度的流形特征，让模型获得更低维并且高效的特征。
25、3)本专利技术可以有效提升情感分类精确度，在多个数据集上的表现达到sota的结果。
本文档来自技高网...【技术保护点】
1.一种基于流形学习和度量学习的多模态情感分析方法，其特征在于，包括：
2.根据权利要求1所述的多模态情感分析方法，其特征在于，将所述多模态情感分析信号转化为初级特征，包括：
3.根据权利要求1所述的多模态情感分析方法，其特征在于，将多模态的初级特征分别编码为高级特征，包括：
4.根据权利要求1所述的多模态情感分析方法，其特征在于，在训练时对所述流形特征计算度量损失，包括：
5.根据权利要求4所述的多模态情感分析方法，其特征在于，所述情感分类的任务损失采用二元交叉熵损失函数。
6.一种基于流形学习和度量学习的多模态情感分析系统，其特征在于，包括：
【技术特征摘要】
1.一种基于流形学习和度量学习的多模态情感分析方法，其特征在于，包括：
2.根据权利要求1所述的多模态情感分析方法，其特征在于，将所述多模态情感分析信号转化为初级特征，包括：
3.根据权利要求1所述的多模态情感分析方法，其特征在于，将多模态的初级特征分别编码为高级特征，包括：
【专利技术属性】
技术研发人员：张益嘉，王新刚，王梦意，于兴宇，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。