一种融合多尺度特征的脑电信号情感识别算法制造技术

本发明专利技术提供一种融合多尺度特征的脑电信号情感识别算法，通过引入可变形卷积

【技术实现步骤摘要】
一种融合多尺度特征的脑电信号情感识别算法


[0001]本专利技术属于深度学习领域，涉及情感识别技术，具体为一种融合多尺度特征的脑电信号情感识别算法
。

技术介绍

[0002]情感的产生源于人类心理活动，对人类的精神状态
、
认知和决策产生着深远的影响
。
情感识别在人机交互领域具有广泛的应用和潜力，因为有效的识别情感可以提升计算机的智能水平
。
在情感识别中，面部表情和语音信号容易受到个体主观控制的影响，而脑电信号不受个体主观性的影响，能更加客观地反映出个体真实的情感状态
。
由于脑电图
(EEG)
信号具有弱振幅
、
背景噪声复杂
、
随机性
、
显著个体差异性以及在形成过程中包含丰富的时间和空间信息等特点，使得实现可靠识别具有挑战性
。
[0003]残差网络
(Residual Network
，
ResNet)
是由
He
等人于
2015
年提出的一种深度卷积神经网络结构，旨在解决深层网络中的梯度消失和梯度爆炸等问题
。
其核心思想是引入了残差连接，通过跨层直接传递信息，有效地减轻了信息丢失问题，从而使网络能够训练更深的层次
。ResNet
的出现极大地推动了深度神经网络的发展，使得模型在更复杂的任务上取得了更好的性能
。
[0004]特征金字塔网络
(Feature Pyramid Network
，
FPN)
是一种用于多尺度特征融合的网络结构，由
Lin
等人于
2017
年提出
。
它通过构建金字塔式的特征层级，将来自不同尺度的特征进行融合，从而在图像分析任务中实现更好的特征表达
。FPN
在目标检测
、
图像分割等领域取得了显著的成果，提高了模型对于不同尺度和物体大小的适应能力
。
[0005]这两类网络模型虽然在脑电信号情感识别方面取得了不错的效果，但仍然存在一些不足
。
首先，在低维特征矩阵映射到高维特征矩阵过程中易造成信息丢失
。
其次，信号的时频域和空域特征提取不足，且传统卷积核的形状只能是正方形或矩形，不能根据识别目标动态改变
。
最后，这些研究往往将不同的电极通道看作独立的个体，对电极通道之间的相关性研究不够充分
。
以上这些不足导致了其脑电信号情感识别算法性能不高
。

技术实现思路

[0006]为了克服现有技术中存在的不足，本专利技术提供一种融合多尺度特征的脑电信号情感识别算法，通过引入可变形卷积
、
注意力机制和自下而上特征金字塔网络，有效地提升了基于脑电图信号的情感识别性能
。
[0007]本专利技术为解决其技术问题采用的技术方案是：
[0008]一种融合多尺度特征的脑电信号情感识别算法，步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模
型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息
。
[0009]进一步的，所述将原始脑电信号转换为三维特征矩阵，步骤包括：
[0010]将前
3s
脑电信号作为基准，采用滑动窗口对后
60s
脑电信号进行分割，滑动窗口步长设置为
1s
，分割的脑电信号片段之间没有重复，每个片段都被分配有与原始脑电信号相同的标签；然后，采用
Butterworth
带通滤波器将每个片段划分为若干个频带，分别从不同的频带中提取脑电信号通道的微分熵特征；之后，将所有脑电信号通道转换为
2D
矩阵，将从不同脑电信号通道中提取的微分熵特征按其相对位置坐标放入
2D
矩阵中对应的位置，
2D
矩阵中未使用的位置设为0，构造出三维特征矩阵，最后将构造的三维特征矩阵输入到所述基于残差网络的多尺度可变形卷积交互注意网络模型中
。
[0011]进一步的，所述基于残差网络的多尺度可变形卷积交互注意网络模型具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构
、
第二层残差结构
、
第三层残差结构
、
第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元
、
全连接层和
softmax
层得到最终脑电信号情感类别结果
。
[0012]进一步的，网络模型输入为9×9×4的三维特征矩阵，经过
64
个卷积核大小为7×7的卷积操作后变为9×9×
64
大小，然后经过第一层残差结构保持9×9×
64
大小不变，经过第二层残差结构变为5×5×
128
大小，经过第三层残差结构变为3×3×
256
大小，经过第四层残差结构变为2×2×
512
大小；之后每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络
256
个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致
。
[0013]进一步的，所述每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络
256
个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致，具体为：
[0014]第一层残差结构至第四层残差结构输出的三维特征矩阵经自下而上特征金字塔网络卷积操作后得到的三维特征矩阵依次记为
T2、T3、T4、T5
，从
T2
开始进行下采样处理：
[0015][0016]其中，
m
为输出特征矩阵的大小；
n
为输入特征矩阵的大小；
p
表示
padding
，为填充像素的大小；
f
表示
filter
，为卷积核的大小；
s
表示
strides
，为滑动步长；对
T2
下采样后，与
T3
进行张量相加，得到三维特征矩阵
...

【技术保护点】

【技术特征摘要】
1.
一种融合多尺度特征的脑电信号情感识别算法，其特征步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息
。2.
根据权利要求1所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，所述将原始脑电信号转换为三维特征矩阵，步骤包括：将前
3s
脑电信号作为基准，采用滑动窗口对后
60s
脑电信号进行分割，滑动窗口步长设置为
1s
，分割的脑电信号片段之间没有重复，每个片段都被分配有与原始脑电信号相同的标签；然后，采用
Butterworth
带通滤波器将每个片段划分为若干个频带，分别从不同的频带中提取脑电信号通道的微分熵特征；之后，将所有脑电信号通道转换为
2D
矩阵，将从不同脑电信号通道中提取的微分熵特征按其相对位置坐标放入
2D
矩阵中对应的位置，
2D
矩阵中未使用的位置设为0，构造出三维特征矩阵，最后将构造的三维特征矩阵输入到所述基于残差网络的多尺度可变形卷积交互注意网络模型中
。3.
根据权利要求1所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，所述基于残差网络的多尺度可变形卷积交互注意网络模型具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构
、
第二层残差结构
、
第三层残差结构
、
第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元
、
全连接层和
softmax
层得到...

【专利技术属性】
技术研发人员：杜秀丽，孟一飞，邱少明，吕亚娜，刘庆利，
申请(专利权)人：大连大学，
类型：发明
国别省市：