一种基于多模态特征融合的情绪识别方法及系统技术方案

本发明专利技术公开了一种基于多模态特征融合的情绪识别方法及系统，该情绪识别方法构建了适合于时间序列特征提取的情绪识别模型，通过量化的情绪标签与注意力机制训练各个模态的权重并融合，最后通过输出层进行情绪量化分类；同时通过采集脑电信号、脉搏信号、语音信号三种模态的数据，作为情绪识别模型的输入数据。本发明专利技术通过结合多模态数据，能够更全面地反映人的情绪状态，提高情绪识别的准确性和鲁棒性；同时，本发明专利技术通过实时采集和处理数据，实现对受试者情绪状态的实时监测和预警；此外，本发明专利技术利用深度学习算法对特征进行自动提取和分类，避免了传统方法中人工特征提取的复杂性和主观性。

【技术实现步骤摘要】

本专利技术属于情绪识别，具体涉及一种基于多模态特征融合的情绪识别方法及系统。

技术介绍

1、人机交互和智能技术日益发展的今天，情绪识别系统作为一种新兴的技术手段，正逐渐改变着我们的生活。情绪识别是指通过识别语音、图像、生理信号等相关数据来判断人的情感状态，包括愉快、伤心、愤怒、惊讶等不同的情绪状态。

2、目前传统的情绪识别系统主要采用单模态的数据进行特征提取并分类，并使用单一的预训练模型进行预测，但人类情绪是多种多样的，与个体的经历、年龄、喜好等有着密切的关联，仅靠部分群体的情绪模式无法较好地预测未知个体的情绪模式。此外，如果仅用愉快、伤心等这类词汇去描述情绪带有主观的语言理解色彩，而且情绪变化是一种循序渐进的过程，不能单纯地通过“是”与“否”这种简单的概念进行划分，不同语言所对应的词汇翻译是一项很难的工作，因此需要使用一种更加客观的方法来描述。很多情绪算法采用视频、图片等计算机视觉方法，模型较为复杂，参数量极大，训练成本很高，而时间序列是一种一维数据，现阶段成熟的网络模型较多，适合作为一种情绪数据集。

3、亟须对现有情绪识别方法进本文档来自技高网...

【技术保护点】

1.一种基于多模态特征融合的情绪识别方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于多模态特征融合的情绪识别方法，其特征在于：所述的步骤一中，从脑电信号序列、语音信号序列、脉搏信号序列中选取两种或两种以上的信号序列作为模态数据。

3.根据权利要求2所述的一种基于多模态特征融合的情绪识别方法，其特征在于：所述的模态数据进行预处理的方法为：使用带通滤波器去除模态数据中的背景噪声、低频趋势以及基线漂移；若模态数据包括脑电信号序列，则在带通滤波器处理后，通过独立成分分析方法分解脑电信号序列，分离出伪迹成分并去除；若模态数据包括脉搏信号序列，则在带通滤波器...

【技术特征摘要】

1.一种基于多模态特征融合的情绪识别方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于多模态特征融合的情绪识别方法，其特征在于：所述的步骤一中，从脑电信号序列、语音信号序列、脉搏信号序列中选取两种或两种以上的信号序列作为模态数据。

3.根据权利要求2所述的一种基于多模态特征融合的情绪识别方法，其特征在于：所述的模态数据进行预处理的方法为：使用带通滤波器去除模态数据中的背景噪声、低频趋势以及基线漂移；若模态数据包括脑电信号序列，则在带通滤波器处理后，通过独立成分分析方法分解脑电信号序列，分离出伪迹成分并去除；若模态数据包括脉搏信号序列，则在带通滤波器处理后，对脉搏信号序列进行数据平滑处理，消除信号中的短期波动，并通过模板匹配去除脉搏信号序列中的伪迹部分；分别对处理后的模态数据进行标准化和归一化，将模态数据的振幅缩放到预设范围。

4.根据权利要求1所述的一种基于多模态特征融合的情绪识别方法，其特征在于：所述的步骤一中，采用自我情绪评定量表对采集的模态数据进行标签量化。

5.根据权利要求1所述的一种基于多模态特征融合的情绪识别方法，其特...

【专利技术属性】
技术研发人员：孙芳芳，白冰，杨勇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：