【技术实现步骤摘要】
本专利技术涉及情感计算领域，主要是涉及情绪识别方面，具体来说，本专利技术提供了一种多模态生理信号特征融合的情绪识别方法。
技术介绍
1、近年来，随着深度卷积神经网络的不断发展，其在情感计算中也得到了越来越多的应用。情绪识别的性能也因此而不断提高。
2、基于深度学习的情绪识别主要有以下三个研究热点：一是利用深度学习技术挖掘脑电信号中的深层情感特征；二是利用神经网络将脑电信号与其他生理信号进行深度融合；三是利用深度迁移学习技术提升基于脑电信号的情绪识别准确率。其中，本专利技术主要选取前两个热点问题作为专利技术创新点。
3、首先，在利用深度学习技术挖掘脑电信号中的深层情感特征这一问题上，对于eeg信号，已有一些不同的深度特征表示方式，其中，4d spatial-spectral-temporal特征表示方式提出在将不同通道的相对位置映射到矩阵中以提取eeg信号的空间信息。但其所得到的信息矩阵维度较小且写实性较弱，无法针对信息矩阵构造相对复杂的神经网络，无法提取较为深层次的特征。
4、其次，在将信号数据切分为子数据进行识别的过程中，数据间隙会出现信息损失问题，无法充分保有原数据信息，影响最终识别性能。
5、最后，在利用神经网络将脑电信号与其他生理信号进行深度融合问题上，国内外已有一些研究人员将eeg特征与其他信号特征融合进行情绪识别，且都指出脑电信号与其他生理信号之间存在互补性。但在将多模态特征进行融合的过程中，会存在信息缺失等情况。如何有效地提取各个模态信号特征并将其融合，仍然存在着较大
技术实现思路
1、针对现有技术存在的以上问题，本专利技术旨在4d spatial-spectral-temporal这类方法的基础上，对数据进行适当扩充，重新设计更深层次的网络结构并辅以注意力机制以对不同重要程度的数据分配不同的注意力权重。此外，设计外周生理信号特征提取网络并与脑电特征提取网络进行有效拼接，并将特征进行融合，从而提升情绪识别准确率。
2、本专利技术的技术方案如下：
3、拟对由eeg信号转换得到的数据矩阵进行差值扩充，以扩大矩阵维度，进而为其设计层次较深网络模型。并将注意力机制应用到网络模型当中，以提高特征提取效果，提升模型的鲁棒性和准确率。
4、同时，拟采用时序聚合模块并对其进行改进来更好地对数据信号的时序特征施加关注，以将时序-空间特征结合提取，提高特征维度，提升识别准确度。
5、此外，针对多模态数据在切分为子数据过程中会出现的信息缺失的问题，计划采用overlap的数据预处理方式，以寻求尽可能地保留各数据片段连接部分的信息。
6、最后，由于多模态数据各具有其特点，不同生理信号具有不同的特征提取方式，故计划设计分支形式网络结构，对eeg信号和各模态外周信号采用不同网络结构提取特征，最终将特征进行融合，以达到较好的识别效果。
7、本专利技术具有以下有益效果：
8、1)将脑电信号空间映射后的数据矩阵进行插值扩充，增大了数据维度，解决了脑电空间映射时非通道位置零填充写实性较低的不足。
9、2)针对扩充后的脑电数据设计模型结构以提取更深层次特征，并优化了注意力机制的增益效果。
10、3)对数据片段进行overlapping处理，有效地保有了数据片段间隙部分的信息，防止信息损失情况出现，增大了有效数据量。
11、4)对具有不同特点的脑电信号和外周信号分别设计特征提取网络，并对提取得到的特征进行了有效融合，提升了识别准确率，且整体模型的收敛速度远大于分支网络各自的收敛速度。
本文档来自技高网...【技术保护点】
1.一种多模态生理信号特征融合的情绪识别方法，其特征在于，使用多模态特征提取网络对生理信号进行情感识别，多模态特征融合网络包括脑电分支网络和外周分支网络；
2.根据权利要求1所述多模态生理信号特征融合的情绪识别方法，其特征在于，所述多模态特征提取网络包含的特征选择模块中的时序特征聚合模块、卷积模块以及卷积注意力模块的数据处理中均添加了25％程度的overlapping混合注意力机制组件，增大有效数据量，减轻了数据切割造成的信息丢失程度，进一步提高本方法的检测定位效果。
【技术特征摘要】
1.一种多模态生理信号特征融合的情绪识别方法，其特征在于，使用多模态特征提取网络对生理信号进行情感识别，多模态特征融合网络包括脑电分支网络和外周分支网络；
2.根据权利要求1所述多模态生理信号特征融合的情绪识别方法，其特征在于，所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。