一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法技术

本发明专利技术公开了一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，步骤包括：首先，对语音、文本和视频进行编码提取深度特征，通过本发明专利技术提出的基于三模态Mamba交互模块捕获不同模态信息长距离的依赖关系，并利用不同模态信息间互补性得到多模态特征的增强表示；然后利用提出的级联分层融合机制来动态整合不同阶段的语义特征，获得语义丰富的多模态情感表示；最后，进行了消融实验，验证了该方法的有效性。本发明专利技术实现了对多模态情感识别的有效并行计算，提高了多模态情感识别系统的识别性能和泛化能力。

【技术实现步骤摘要】

本专利技术属于多模态情感识别，具体涉及一种基于三模态mamba交互和级联分层融合的多模态情感识别方法。

技术介绍

1、随着信息技术的不断进步，人机交互领域已经成为计算机科学中的一个蓬勃发展的研究方向。近年来，越来越多的研究集中于“情感计算”，即开发能够识别、理解和管理人类情感反应的系统。情感计算的目标是使机器具备理解和回应人类情感的能力，从而在多个应用场景中提升用户体验，例如在语音呼叫中心增强客户体验，通过语音分析帮助诊断抑郁症等。情感识别正是情感计算中的一个关键组成部分，涉及通过多种渠道感知和解释人类的情感状态。常见的情感识别方法利用语音、面部表情、身体姿势和文本等多种模态信息来识别用户的情感状态。每种模态都有其独特的优势和局限性。例如，语音信号可以传达丰富的情感信息，但在嘈杂环境中效果较差；面部表情可以反映即时的情感状态，但在遮挡或光线不足的情况下可能不准确。多模态情感识别方法试图通过融合来自多个模态的信息来提高识别的准确性和鲁棒性。然而，多模态数据的异质性给信息融合带来了巨大的挑战。不同模态的数据在时间、空间和特征维度上存在显著差异，如何有效地融合这本文档来自技高网...

【技术保护点】

1.一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述该方法包括如下步骤：

2.根据权利要求1所述的一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤1具体包括：

3.根据权利要求1所述的种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤2具体包括：

4.根据权利要求1所述的一种基于三模态Mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤3具体包括：

5.根据权利要求1所述的一种基于三模态Mamba交互和级联分层融合的多模态情...

【技术特征摘要】

1.一种基于三模态mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述该方法包括如下步骤：

2.根据权利要求1所述的一种基于三模态mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤1具体包括：

3.根据权利要求1所述的种基于三模态mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤2具体包括：

4.根据权利要求1所述的一种基于三模态mamba交互和级联分层融合的多模态情感识别方法，其特征在于，所述步骤3具体包括：

5.根据权利要求1所述的一种基于三模态mamba交互和...

【专利技术属性】
技术研发人员：孙林慧，汤熠，陈帅潼，李平安，叶蕾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：