【技术实现步骤摘要】
本专利技术属于多模态情感识别，涉及一种基于互信息的多模态情感识别方法及系统。
技术介绍
1、情感识别技术通过分析人的面部表情、语音语调、身体语言等非言语信息，以及通过文本分析来识别和理解人类的情感。随着信息技术的不断进步，互联网上的数据量呈现爆炸式增长，这些数据以多模态的形式存在，包括文本、音频、图像等多模态形态。多模态情感识别技术通过充分发挥多模态数据的互补优势，并有效融合这些数据，可以显著提升情感识别的准确性，从而提供更自然、更智能的人机交互体验。
2、多模态情感识别领域的研究重点在于如何从不同模态中提取全面而准确的多模态特征表示。目前大多数多模态特征表示学习方法现主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而，不同模态不仅仅具有共同的信息，也存在每个模态自身所特有的信息。在多模态特征表示学习过程中只学习共同特征则会把每个模态所独立的、特有的信息给削弱或者去掉，造成巨大的信息损失。同时，多模态融合过程中生成的高维度多模态表示向量中含有的噪声和冗余信息会造成过拟合。因此，如何充分挖掘模态间的互补信息...
【技术保护点】
1.一种基于互信息的多模态情感识别方法，其特征在于，包括：
2.根据权利要求1所述的基于互信息的多模态情感识别方法，其特征在于，
3.根据权利要求2所述的基于互信息的多模态情感识别方法，其特征在于，所述多模态情感识别模型的训练方法还包括：
4.根据权利要求3所述的基于互信息的多模态情感识别方法，其特征在于，根据所述单模态特有信息学习损失函数，基于信息瓶颈理论，利用互信息学习所述学习单模态特征各自特有的信息并过滤音频模态和视频模态中的噪声冗余信息，获得视频模态特征的最小充分表示和音频模态特征的最小充分表示，包括：
5.根据...
【技术特征摘要】
1.一种基于互信息的多模态情感识别方法，其特征在于，包括：
2.根据权利要求1所述的基于互信息的多模态情感识别方法，其特征在于，
3.根据权利要求2所述的基于互信息的多模态情感识别方法，其特征在于，所述多模态情感识别模型的训练方法还包括：
4.根据权利要求3所述的基于互信息的多模态情感识别方法，其特征在于，根据所述单模态特有信息学习损失函数，基于信息瓶颈理论，利用互信息学习所述学习单模态特征各自特有的信息并过滤音频模态和视频模态中的噪声冗余信息，获得视频模态特征的最小充分表示和音频模态特征的最小充分表示，包括：
5.根据权利要求4所述的基于互信息的多模态情感识别方法，其特征在于，所述多模态情感识别模型的训练方法还包括：将视频模态特征的最小充分表示和音频模态特征的最小充分表示进行拼接，得到初始多模态融合特征。
...
【专利技术属性】
技术研发人员：王莉，王康宁，薛旻昊，蒋顺举，沈捷，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。