基于表征子空间映射在对话中的多模态情感识别方法技术

本发明专利技术公开了一种基于表征子空间映射在对话中的多模态情感识别方法，所述方法包括构建多模态情感识别模型及其损失函数，训练模型并利用训练后的模型进行多模态情感识别；模型包括：不同模态的特征提取模块，用以提取对话中的不同模态特征；公共编码器，用以获取不同模态特征在公共子空间的公共表征；对应的私有编码器，用以获取对应模态特征在私有子空间的私有表征；对应的跨模态注意力交互模块，用以进行私有表征的跨模态增强；特征级联模块，用以融合所有公共表征、跨模态增强的私有表征；情感识别模块，用以识别融合特征的情感类别。使用本发明专利技术的模型可提高多模态情感识别性能。

【技术实现步骤摘要】

本专利技术涉及情感识别领域，特别是涉及基于表征子空间映射在对话中的多模态情感识别方法。

技术介绍

1、多模态情感识别在各个领域发挥着至关重要的作用，包括促进自然人机交互，加强智能教育辅导，有助于心理健康诊断，等等。人类通常通过语言和非语言线索的组合来表达他们的情绪，如音频、视觉和文本模式。以往的研究主要集中在特定模式下的单模态情感识别，包括文本内容，面部表情和音频信号等。然而，单模态情绪识别通常会获得相对有限的表征。为了缓解这一问题，人们对采用多模态方法进行情感识别越来越感兴趣。大多数多模态情感识别方法都集中于发展先进的多模态融合技术，如基于张量的融合方法和基于注意力的融合方法(见文献：zhang s，yang y，chen c，et al.deep learning-basedmultimodal emotion recognition from audio，visual，and text modalities：asystematic review of recent advancements and future prospects[j].expert本文档来自技高网...

【技术保护点】

1.一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述方法包括构建多模态情感识别模型及其损失函数，训练模型并利用训练后的模型进行多模态情感识别；

2.如权利要求1所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述多模态包括音频和文本。

3.如权利要求1所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述跨模态注意力交互模块中，任一模态的私有表征向另一模态的私有表征增强的注意力交互表示为

4.如权利要求1-3任一项所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述构建...

【技术特征摘要】

1.一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述方法包括构建多模态情感识别模型及其损失函数，训练模型并利用训练后的模型进行多模态情感识别；

2.如权利要求1所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述多模态包括音频和文本。

3.如权利要求1所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述跨模态注意力交互模块中，任一模态的私有表征向另一模态的私有表征增强的注意力交互表示为

4.如权利要求1-3任一项所述的一种基于表征子空间映射在对话中的多模态情感识别方法，其特征在于，所述构建损失函数包括：

5.如权利要求4所述的一种基于表征子空间映射在对话中的多模态情感识...

【专利技术属性】
技术研发人员：余宙，杜旭龙，赵小明，张石清，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：