一种基于ResCNN-BiGRU的运动想象脑电分类方法技术

本发明专利技术请求保护一种基于ResCNN

【技术实现步骤摘要】
一种基于ResCNN
‑
BiGRU的运动想象脑电分类方法


[0001]本专利技术属于脑机接口中脑电信号处理领域，具体为一种基于ResCNN
‑
BiGRU的运动想象脑电分类方法。

技术介绍

[0002]此部分的陈述仅仅提供与本公开有关的
技术介绍
信息，并且这些陈述可能构成现有技术。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题。
[0003]脑机接口是大脑与外部设备(计算机或其他电子设备)间通过大脑活动时产生的信号建立起的一种通讯控制系统。该系统不依赖除大脑以外的肌肉和神经，在大脑与机器间建立直接的交流。近年来，随着人工智能技术的迅速发展，越来越多的研究人员进入了BCI(脑机接口技术)相关研究领域，特别是基于运动想象的BCI技术，该技术目前在康复医疗、通信安全、环境保护等领域都得到了广泛应用。
[0004]近年来，深度学习网络模型在运动想象脑电信号特征提取及分类领域受到广泛关注，各种不同架构的神经网络已经被用于BCI范例。卷积神经网络(CNN)是深度学习模型之一。典型的CNN网络结构由卷积层、降采样层、全连接层组成。其中卷积层与降采样层配合,组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。卷积操作是基于局部感受野，使用滤波器(卷积核)完成对原始图像的卷积变换；降采样层主要是为了降低数据维度。脑电信号本质上是按时间顺序排列的非线性信号，在其分类过程中对于脑电信号的时序特征的关注也是必不可少的。为提取脑电信号的时序特征，研究人员引入了一种递归神经网络(RNN)来解决脑电图信号的时间相关性。随着近年的深入研究，RNN也发展出了许多变体并被应用在运动想象脑电信号的研究工作中如LSTM和GRU。
[0005]然而，大部分研究在处理运动想象脑电信号分类任务时往往采用序列结构的分类网络提取空间特征，忽略了脑电信号作为时间序列信号含有丰富的时序信息和神经网络层间的特征，导致分类性能较差。
[0006]针对脑电信号利用不充分而导致分类性能差的问题，如申请号202310309411.8专利名称为“一种基于多头注意力的多维运动想象脑电信号分类方法”，对时频特征、空间特征、原始信息进行特征维度的拼接得到多维运动想象脑电信号，并利用多头注意力机制从不同的角度对特征进行分析，解决了在运动想象脑电信号分析中忽略了空间信息和原始信号中的信息的问题；同时解决了在特征提取过程中造成特征的丢失从而导致分类性能较差的问题，进而提高了分类的准确性。但根据专利技术人对该专利实验发现，该专利的分类准确度在实验中并不十分理想。

技术实现思路

[0007]针对上述问题，本专利技术的目的在于解决现有技术中的一部分问题，或至少缓解这些问题。
[0008]一种基于ResCNN
‑
BiGRU的运动想象脑电分类方法，包括：
[0009]对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；
[0010]对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；
[0011]将所述时频特征图和预处理后的脑电信号送入ResCNN
‑
BiGRU特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述ResCNN
‑
BiGRU特征融合网络，由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成；
[0012]将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类。
[0013]将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。
[0014]进一步的，基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：
[0015]使用交叉熵损失函数，欧几里得范数(L2)正则化提高泛化能力，使用Adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3；训练的每批样本(Batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。
[0016]优选，对原始运动想象脑电信号进行预处理，包括使用所有22个脑电图通道并对原始22通道脑电信号在8～30Hz波段进行滤波。
[0017]进一步的，对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：
[0018]选择复莫莱小波(复morlet小波)作为小波变换的母小波；
[0019]对预处理后的时间序列信号进行连续小波变换(continuous wavelet transform，CWT)；对于预处理后的脑电信号x(t)，CWT的表达式定义为：
[0020][0021]其中t是时间，x(t)是预处理后的脑电信号，是母小波，是的复共轭函数，s是尺度参数，s≠0，τ是转换参数；
[0022]将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。
[0023]所述残差卷积神经网络(ResCNN)的输入为小波变换后得到的时频特征图，用于提取脑电信号时频图中的混合特征；双向门控循环单元(BiGRU)的输入为预处理后的脑电信号的时间序列表示，用于提取时间序列特征。
[0024]进一步的，在所述残差卷积神经网络(ResCNN)的第一个残差块与第二个残差块后增加了卷积注意力机制模块(CBAM)；所述CBAM注意力机制包括通道注意力模块和空间注意力模块，包括如下步骤：
[0025]所述通道注意力模块将输入的所述时频特征图的每个通道分别经过平均池化层和最大池化层，然后分别经过多层感知机(MLP)，得到MLP输出的特征；再将MLP输出的特征进行加和操作，并经过S型生长曲线函数(sigmoid)运算进行激活操作，生成最终的通道注意力特征图；将最终的通道注意力特征图和输入的时频特征图做乘法操作，生成通道注意力模块输出的特征图；
[0026]将通道注意力模块输出的特征图输入所述空间注意力模块，首先通过串联的平均池化层和最大池化层，然后将两个池化层输出的结果基于通道进行拼接操作，并经过一个7
×
7的卷积层，降维为一个通道的特征图；再经过sigmoid生成空间注意力特征图；最后将空间注意力特征图和通道注意力模块输出的特征图做乘法，得到最终生成的更有判别性的特征图。
[0027]进一步的，所述残差卷积神经网络(ResCNN)的残差块结构选择深度残差网络(ResNet)的瓶颈层(bottleneck)结构，由两个1
×...

【技术保护点】

【技术特征摘要】
1.一种基于ResCNN
‑
BiGRU的运动想象脑电分类方法，其特征在于，包括：对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；将所述时频特征图和预处理后的脑电信号送入ResCNN
‑
BiGRU特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述ResCNN
‑
BiGRU特征融合网络，由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成；将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类。2.根据权利要求1所述的基于ResCNN
‑
BiGRU的运动想象脑电分类方法，其特征在于，将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。3.根据权利要求2所述的基于ResCNN
‑
BiGRU的运动想象脑电分类方法，其特征在于，基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：使用交叉熵损失函数，欧几里得范数(L2)正则化提高泛化能力，使用Adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3；训练的每批样本(Batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。4.根据权利要求1所述的基于ResCNN
‑
BiGRU的运动想象脑电分类方法，其特征在于，对原始运动想象脑电信号进行预处理，包括使用所有22个脑电图通道并对原始22通道脑电信号在8～30Hz波段进行滤波。5.根据权利要求1所述的基于ResCNN
‑
BiGRU的运动想象脑电分类方法，其特征在于，对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：选择复莫莱小波(复morlet小波)作为小波变换的母小波；对预处理后的时间序列信号进行连续小波变换(continuous wavelet transform，CWT)；对于预处理后的脑电信号x(t)，CWT的表达式定义为：其中t是时间，x(t)是预处理后的脑电信号，是母小波，是的复共轭函数，s是尺度参数，s≠0，τ是转换参数；将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。6.根据权利要求1所述的基于ResCNN

【专利技术属性】
技术研发人员：胡章芳，吴若赛，王博琨，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：