【技术实现步骤摘要】
本专利技术提供了一种基于门控跨注意力机制的多模态特征融合情感识别方法，它提供了针对受试者头皮脑电信号与眼动信号的特征提取与融合方法，为多模态实时情感分析提供了新的途径，属于信号处理和模式识别。
技术介绍
1、多模态情感识别是一项关键的研究领域，它旨在通过多种感知模态的综合分析，如脑电和眼动信号，来准确地理解和识别人类的情感状态。这种研究对于理解人类情感体验、改善情感识别技术以及在诸如人机交互、心理健康评估和情感智能等领域的应用具有重要意义。
2、脑电信号作为一种直接反映大脑神经活动的生理信号，可以提供关于情感产生和处理的重要线索。通过分析脑电信号的频谱特征、时域波形和时频变化等信息，我们可以获得关于情感状态的客观指标。脑电信号可以帮助我们理解情感的神经机制，识别不同情感状态之间的差异，甚至预测个体的情感体验。此外，眼动信号是反映视觉注意和信息处理过程的重要指标。眼动数据可以提供有关个体对不同刺激的注意力分配、情感反应和认知负荷的信息。通过分析眼动轨迹、注视点、扫视行为和瞳孔直径等特征，我们可以了解个体对情感刺激的感知和反应模式。眼动信号与脑电信号的结合分析可以提供更全面的情感识别结果，增强对情感状态的理解和预测能力。
3、在过去的研究中，单一感知模态情感识别方法存在着提取特征不充分的问题，包括：
4、1)仅仅依靠脑电信号进行情感分析，往往无法捕捉到其他感知模态如眼动信号在情感产生过程中的关键作用；
5、2)由于情感状态的复杂性，单一特征在不同情感状态之间可能存在重叠和模糊，使得识别
6、3)传统方法还受制于情感状态的多样性和环境的变化，从而导致了鲁棒性不足的问题。例如，在现实场景中，人们的情感表达可能受到多个因素的影响，如外部刺激、情感状态的变化等。
7、这就导致了现有的情感识别方法难以适应不同的情境和个体差异。
技术实现思路
1、为解决现有基于深度学习的情感识别方法在单域特征提取不充分、识别准确率低和鲁棒性差的问题，本专利技术提供了一种基于门控跨注意力机制的多模态特征融合情感识别方法。通过数据处理、模型构建、模型训练和模型测试等步骤，在多模态情感识别数据集seediv上对该方法进行了性能评估和实验验证。首先对预先获取到的公开多模态情感识别数据进行预处理，即脑电信号和眼动信号，并构建对应的训练集和测试集；其次构建基于门控跨注意力机制的多模态特征融合情感识别神经网络模型；然后将预处理好的训练集输入构建好的模型中，更新模型参数，并将预处理好的测试集输入训练好的模型中进行方法的性能测试，最终输出识别准确率，进行结果比对，并从可解释性角度对结果进行分析。
2、根据本专利技术的一个实施例的一种基于门控跨注意力机制的多模态特征融合情感识别方法包括以下步骤：
3、步骤1：对预先获取的公开的多模态情感识别数据集seediv进行预处理，并建立对应的训练集和测试集；
4、步骤2：使用pytorch深度学习框架，构建基于门控跨注意力机制的多模态特征融合情感识别神经网络模型；
5、步骤3：将步骤1中预处理后的训练集输入构建好的模型，更新网络参数；
6、步骤4：将步骤1中预处理后的测试集输入训练好的模型中，获取多模态情感识别性能指标；
7、其中：
8、在所述步骤s1中，数据预处理包括数据筛选、带通滤波、基线校正、重参考和坏导剔除等操作；
9、在所述步骤s2中，所构建的基于门控跨注意力机制的多模态特征融合情感识别网络模型结构包括脑电信号多尺度时频特征计算模块、双分支动态图卷积网络和多维度眼动信号特征编码模块、基于门控跨注意力机制的多模态特征融合模块。其中，多尺度时频特征计算模块和双分支动态图卷积网络串行连接作为针对脑电信号的总体特征提取环节，再与多维度眼动信号特征编码模块并行连接，最终将从脑电信号与眼动信号的提取到的特征输入到基于门控跨注意力机制的多模态特征融合模块进行特征融合。具体地，多尺度时频特征计算模块用于提取脑电信号的时频域有效特征，双分支动态图卷积网络用于从空间维度层面对脑电信号特征进行通道关联信息挖掘，多维度眼动信号特征编码模块用于捕捉实时眼动特征变化，基于门控跨注意力机制的多模态特征融合模块用于融合脑电信号与眼动信号两类模态特征；
10、在所述步骤s3中：将预处理后的训练集分别输入构建好的基于门控跨注意力机制的多模态特征融合情感识别网络模型，更新模型参数，生成最终训练模型。具体包括：使用交叉熵损失函数计算模型输出与标签的误差，并通过误差反向传播和随机梯度下降迭代更新模型参数。设置训练数据批大小为128，模型学习率为0.0001，采用adam优化器进行模型参数优化。训练过程中可以设置迭代次数为100次或当准确率开始下降时停止训练，并保存模型参数；
11、在所述步骤s4中：选取1s单位时间窗口，将预处理后的测试集分别输入训练好的基于门控跨注意力机制的多模态特征融合情感识别网络模型中，获取多模态情感识别分类性能指标，对不同的受试者分别进行独立模型性能验证，采用准确率、f1-score、auc三类指标来评价模型的多模态情感识别分类效果。
本文档来自技高网...【技术保护点】
1.面向多模态特征融合情感识别的基于门控跨注意力机制的多模态特征融合情感识别神经网络模型的建模方法，其特征在于包括：
2.根据权利要求1所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于进一步包括：
3.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
4.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
5.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
6.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
7.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
8.一种基于门控跨注意力机制的多模态特征融合情感识别方法，其特征在于包括：
9.如权利要求8所述的基于门控跨注意力机制的多模态特征融合情感识别方法，其特征在于：
10.一种存储计算机可执行程序的计算机可读存储介质，该计算机可执行程序能
...【技术特征摘要】
1.面向多模态特征融合情感识别的基于门控跨注意力机制的多模态特征融合情感识别神经网络模型的建模方法，其特征在于包括：
2.根据权利要求1所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于进一步包括：
3.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
4.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于：
5.根据权利要求1或2所述的多模态特征融合情感识别神经网络模型的建模方法，其特征在于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。