基于流形学习和度量学习的多模态情感分析方法及系统技术方案

本发明专利技术公开了一种基于流形学习和度量学习的多模态情感分析方法及系统，涉及自然语言处理技术领域。包括：获取多模态情感分析信号，并将所述多模态情感分析信号转化为初级特征；所述多模态情感分析信号包括文本、视频和声音；将多模态的初级特征分别编码为高级特征，所述高级特征具有上下文关系和位置关系；利用主成分分析方法将视频和声音的高级特征变成维度更低的流形特征，再将流形特征与文本的高级特征进行融合；在训练时对所述流形特征计算度量损失，将所述度量损失与任务损失叠加；融合之后的特征经过线性层映射在一维的空间中，经过sigmoid层进行归一化，得到所述多模态情感分析信号对应的情感分类。本发明专利技术可以有效提升情感分类精确度。

【技术实现步骤摘要】

本专利技术涉及自然语言处理的，尤其是涉及一种流形学习和度量学习的多模态情感分析方法及系统。

技术介绍

1、多模态情感分析是一种研究人类情感表达和识别的方法，它结合了多种感知模态(通常包括文本、音频和视频)来分析和理解人类情感(积极的/消极的)。准确的识别多模态信息中的情感对于监测病人心理健康和分析社交媒体中的公众舆情等是至关重要的。

2、近年来，随着神经网络的发展，许多基于神经网络的方法被应用于多模态情感分析任务，多模态情感分析技术也取得了飞速发展。对于给定的多模态信息，模型通过学习每个模态中的重要信息并进行融合来判断表达的情感。然而现有的方法往往忽视了声音和视觉信息中的噪声和冗余，这会导致模型无法准确判断情感。

技术实现思路

1、有鉴于此，本专利技术提供了一种流形学习和度量学习的多模态情感分析方法及系统，利用流形学习和度量学习，将视觉和声音特征转化为流形特征，以降低噪声和信息冗余。同时，通过对流形特征进行度量学习，模型可以获得更具辨别性的特征，从而更好地完成多模态情感分析的任务。

2本文档来自技高网...

【技术保护点】

1.一种基于流形学习和度量学习的多模态情感分析方法，其特征在于，包括：

2.根据权利要求1所述的多模态情感分析方法，其特征在于，将所述多模态情感分析信号转化为初级特征，包括：

3.根据权利要求1所述的多模态情感分析方法，其特征在于，将多模态的初级特征分别编码为高级特征，包括：

4.根据权利要求1所述的多模态情感分析方法，其特征在于，在训练时对所述流形特征计算度量损失，包括：

5.根据权利要求4所述的多模态情感分析方法，其特征在于，所述情感分类的任务损失采用二元交叉熵损失函数。

6.一种基于流形学习和度量学习的多模态情感分析系统，...

【技术特征摘要】

1.一种基于流形学习和度量学习的多模态情感分析方法，其特征在于，包括：

2.根据权利要求1所述的多模态情感分析方法，其特征在于，将所述多模态情感分析信号转化为初级特征，包括：

3.根据权利要求1所述的多模态情感分析方法，其特征在于，将多模态的初级特征分别编码为高级特征，包括：

【专利技术属性】
技术研发人员：张益嘉，王新刚，王梦意，于兴宇，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：