【技术实现步骤摘要】
本专利技术涉及人工智能、多模态情绪识别，尤其涉及一种基于最大化互信息和对比学习的多模态情绪识别方法及系统。
技术介绍
1、随着信息处理、大数据、人工智能等技术的发展，自动化分析用户对产品或服务的情绪的需求越来越大。尽管使用单模态进行情绪识别已经取得了很大的进展，但是单一数据源可能无法提供足够的信息来全面理解人的情绪，为提升情绪识别的准确性、鲁棒性以及应用性，多模态情绪识别成为一个重要的研究领域。
2、目前的多模态情绪识别方法大多采用复杂的融合策略，但是会引入大量的参数，可能会导致计算的复杂性增加，影响模型的效率；同时复杂的融合策略可能导致模型在训练数据上过度拟合，预测结果不准确。
技术实现思路
1、为了提高情绪识别结果的准确率，本专利技术提供一种基于最大化互信息和对比学习的多模态情绪识别方法及系统。
2、一方面，本专利技术提供的一种基于最大化互信息和对比学习的多模态情绪识别方法，包括：
3、步骤1：构建多模态情绪识别模型，包括最大化互信息模块、保留模态特...
【技术保护点】
1.一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，从视频数据中提取对象的多模态数据。
3.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，所述预设的特征提取网络包括BERT和sLSTM；其中，使用所述BERT根据文本信号提取得到文本特征ft，使用所述sLSTM分别根据音频信号和视频信号提取得到音频特征fa和视频特征fv。
4.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情...
【技术特征摘要】
1.一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，从视频数据中提取对象的多模态数据。
3.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，所述预设的特征提取网络包括bert和slstm；其中，使用所述bert根据文本信号提取得到文本特征ft，使用所述slstm分别根据音频信号和视频信号提取得到音频特征fa和视频特征fv。
4.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，步骤4中，采用最大互信模块最大化任意两个模态特征之间的互信息，具体包括：
5.根据权利要求1所述的一种基于最大化互信息和对比学习的多模态情绪识别方法，其特征在于，步骤4中，采...
【专利技术属性】
技术研发人员：王雅娣，杨曼，谢玉琳，吕依阳，李若菲，郭小丁，
申请(专利权)人：河南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。