一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法技术

本发明专利技术提供了一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法。采用公开的运动想象数据集BCIIV 2a和HGD进行有效性验证：首先对公开数据集预处理，并建立训练集和测试集；其次构建时空频域有效通道注意力卷积神经网络的模型结构；再将预处理后的训练集输入模型，采用对比学习方法训练模型；最后将测试集输入训练好的模型中，测试模型性能。本发明专利技术的优点包括：设计时空频域有效通道注意力特征提取块，弥补了单一特征域特征提取不足问题，同时降低了模型复杂性；采用对比学习方法，增强了模型的泛化性能，提升了模型解码准确率。在BCIIV 2a和HGD上对本方法进行了有效性验证，平均识别准确率分别达到了76.09％和93.58％，均优于现有最优方法。均优于现有最优方法。均优于现有最优方法。

【技术实现步骤摘要】
一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法


[0001]本专利技术提供了一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法。

技术介绍

[0002]脑机接口(Brain Computer Inter
‑
face，BCI)技术提供了大脑和外界信息交换和控制的通道，增强了人脑与环境的通信和交互能力。基于运动想象(Motor Imagery Electroencephalogram，MI)的BCI是脑机交互中常用的范式之一，当被试者想象移动身体的某个部位时，大脑皮层中相应的运动神经元会变得活跃，可通过监测大脑的电信号来映射神经元的状态，从而解码脑电运动意图，帮助残障患者控制外骨骼等设备实现脑机交互，其中，准确、快速地解码脑电运动意图是脑机交互的关键。
[0003]深度卷积神经网络(CNN)已广泛用于MI
‑
BCI解码，其通过融合通道注意力机制显示出了极大的性能提升潜力。然而，由于通道数量较大，现有基于通道注意力机制的深度卷积神经网络参数量较大，解码时间较长，难以满足脑机交互中意图识别模型轻量化的应用要求。有效通道注意机制(Efficient Channel Attention，ECA)已被证明是一种轻量级的脑电信号解码方法，它避免了降维并以高效方式实现了跨通道信息交互。然而，当前基于ECA的MI
‑
BCI解码方法仅从单一时域或频域提取EEG信号特征，无法同时考虑频谱、时间和空间信息，难以进一步提升脑电运动意图解码准确率；此外，现有基于ECA的MI
‑
BCI解码方法需要足够的数据进行训练，并且模型泛化性能有待提升，限制了BCI跨被试者的使用性。

技术实现思路

[0004]为解决现有基于深度学习的脑电信号解码方法在EEG多域特征提取缺失、解码准确率不高、跨被式泛化性不足的问题，本专利技术提供了一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法。经过数据处理、模型构建、模型训练、模型测试四个步骤，在运动想象公开数据集BCI IV 2a和HGD上对方法进行了性能测试。先对获取的两个公开数据集BCI IV 2a和HGD进行预处理，建立各自对应的训练集和测试集；其次构建时空频域有效通道注意力卷积神经网络模型；然后将预处理好的训练集分别输入构建好的模型中，通过对比学习方法进行模型训练，并将预处理好的测试集分别输入训练好的模型中进行方法的性能测试，最终输出意图解码准确率、Kappa值和解码时长，并进行解码结果比对。
[0005]根据本专利技术的一个实施例的一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法包括以下步骤：
[0006]步骤1：对预先获取的公开的运动想象数据集BCI IV 2a和HGD进行预处理，并建立两个数据集各自对应的训练集和测试集；
[0007]步骤2：使用Pytorch深度学习框架，构建时空频域有效通道注意力卷积神经网络的模型结构；
[0008]步骤3：将步骤1中预处理后的两个训练集分别输入构建好的模型，通过对比学习方法进行训练；
[0009]步骤4：将步骤1中预处理后的两个测试集分别输入训练好的模型中，获取运动想象脑电信号解码性能指标，
[0010]其中：
[0011]在所述步骤1中，数据预处理包括带通滤波、基线校正、重参考和坏导剔除；
[0012]在所述步骤2中，所构建的时空频域有效通道注意力卷积神经网络包括：空间域有效通道注意力特征提取块、深度时域特征提取块、小波卷积频域特征提取块、时
‑
频域有效通道注意力特征提取块，其中，空间域有效通道注意力特征提取块分别与深度时域特征提取块和小波卷积频域特征提取块连接，深度时域特征提取块和小波卷积频域特征提取块再与时
‑
频域有效通道注意力特征提取块串行连接，最终将时域和频域提取特征进行融合；其中，空间域有效通道注意力特征提取块用于提取脑电信号中空间域有效特征；深度时域提取块和小波卷积频域特征提取块，用于提取深度时域特征和深度频域特征；时
‑
频域有效通道注意力特征提取块用于提取脑电信号中时域和频域有效特征；
[0013]在所述步骤3中：
[0014]通过对比学习方法进行时空频域有效通道注意力卷积神经网络模型训练时，采用对比损失函数计算模型输出与标签的误差，通过误差反向传播与随机梯度下降迭代更新模型参数，设置训练数据Batchsize为59，设置模型学习率为0.0001，采用Adam优化器进行模型参数优化，损失函数采用交叉熵损失函数，经过160次迭代训练后保存模型参数；
[0015]在所述步骤4中：
[0016]进行运动想象脑电信号解码性能指标计算时，选取运动想象任务事件发生前0.5s至任务事件发生后4s的时长窗口提取测试集中每个试验的脑电信号，采样频率为250Hz，每个试验的脑电信号包含1125个采样点，将划分后的数据输入训练好的时空频域有效通道注意力卷积神经网络模型中，并采用意图解码准确率、Kappa值和解码时长来评价模型的脑电信号解码效果。
[0017]本专利技术提出的基于对比学习的时空频域有效通道注意力运动想象脑电解码方法的主要优点包括：
[0018]1.针对现有运动想象脑电信号解码方法通常仅关注某一特定的频率范围或时域特征，从而导致其他频率范围或时域特征信息丢失的问题，本专利技术同时考虑脑电信号空间域、时域和频域信息，设计了时空频多域深度特征提取块，弥补了现有基于单一特征域对脑电信息提取不足问题，实现了脑电信息的时域、频域和空间域的信息互补，提高了模型的解码准确率；
[0019]2.针对脑电信号解码中模型准确率高和模型复杂度难以同时兼顾的问题，本专利技术引入了有效通道注意力卷积神经网络，通过引入一个可学习的1D卷积操作来建立通道间的关联，显著降低了模型参数量和解码时长，减少了存储和计算资源的需求。在BCI IV 2a和HGD上对本方法进行了有效性验证，平均识别准确率分别达到了76.09％和93.58％，均优于现有最优方法；
[0020]3.针对传统的监督学习方法需要大量标注数据进行模型训练，并且对于新的任务和环境可能存在泛化能力较弱的问题，本专利技术引入对比学习策略，通过学习样本之间的相
对关系，以最小化被试者间类间脑电信号模式相似度并最大化类内模式相似度，从而更好地捕捉数据的内在结构和特征之间的差异，进一步提高了模型的解码准确率和泛化性能。
附图说明
[0021]图1为根据本专利技术的一个实施例的基于对比学习的时空频域有效通道注意力运动想象脑电解码方法的流程图。
[0022]图2为根据本专利技术的一个实施例的空间域有效通道注意力特征提取块结构图。
[0023]图3为根据本专利技术的一个实施例的深度时域特征提取块结构图。
[0024]图4为根据本专利技术的一个实施例的小波卷积深度频域特征提取块结构图。
[0025]图5为根据本专利技术的一个实施例的时
‑
频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法，其特征在于包括：步骤S1：对预先获取的公开的运动想象数据集BCI IV 2a和HGD进行预处理，并建立两个数据集各自对应的训练集和测试集；步骤S2：使用Pytorch深度学习框架，构建时空频域有效通道注意力卷积神经网络；步骤S3：将步骤S1中预处理后的两个训练集分别输入构建好的模型，通过对比学习方法进行训练；步骤S4：将步骤S1中预处理后的两个测试集分别输入训练好的模型中，获取运动想象脑电信号解码性能指标，其中：所述步骤S1包括带通滤波、基线校正、重参考和坏导剔除；记单个被试运动想象脑电信号数据集为D
i
＝{(x1，y1)，...，(x
N
，y
N
)}，其中：N表示单个被试的脑电信号片段个数，x
i
∈R
E
×
1125
代表一个脑电信号片段，包含E个信号采集通道，每个通道采样点个数为1125个，y
i
是每个片段的标签，0表示该片段是左手运动想象电信号，1表示右手运动想象脑电信号，2表示舌头运动想象脑电信号，3表示双脚运动想象脑电信号，时空频域有效通道注意力卷积神经网络包括：A)空间域有效通道注意力特征提取块，用于提取脑电信号公开数据集中不同脑电采集通道间的空间域信息，所述空间域有效通道注意力特征提取块包括：首先，按照时间维度将原始信号进行平均池化(average pooling)和最大池化(max pooling)后拼接，提取脑电信号空间特征的原始空间特征f
spa
，计算式如下：式中AP表示平均池化函数，MP表示最大池化函数，两个池化函数的池化核与池化步长均为1
×
1125，表示按时间维度拼接，得到原始空间特征为f
spa
∈R
E
×2；然后，对于原始的空间特征f
spa
，本发明进一步使用一维卷积，将原始空间特征转换为采集通道的注意力权重，将其与原始信号进行向量相乘后，最后得到经过空间特征注意力加权过的脑电信号片段计算式为：式中Conv(
·
)表示卷积，卷积核大小为E
×
E
×
2，卷积步长为1
×
1，表示矩阵叉乘；B)深度时域特征提取块，用于提取脑电信号数据中的深度时域信息，包括：B1)首先通过U个时序卷积单元，提取脑电信号的深度时域特征，每个时序卷积单元由大小为1
×
3的最大池化层开始，以生成脑电信号时域特征的粗略表示；B2)然后使用卷积核大小为1
×
11的时序卷积，提取脑电信号高维时域特征，同时采用批量归一化层，在加快收敛速度的同时避免梯度爆炸；B3)使用dropout层，防止因数据量过小而带来的时空频域有效通道注意力卷积神经网络模型过拟合问题，一个时序卷积单元可定义为：f
i
＝Dropout(BN(Conv(MP(f
i
‑1))))
ꢀꢀꢀꢀꢀ
(3)，
式中f
i
表示第i个时序卷积单元的输出，BN(
·
)为批量归一化层，Dropout(
·
)表示dropout层，C)小波卷积频域特征提取块，用于提取脑电信号数据中的深度频域特征，包括：C1)使用5个小波卷积单元提取脑电信号的多频谱特征，通过小波卷积层，把脑电信号表示分解为对应于5个频带的多频谱表示：0
‑
4Hz即6节律，4
‑
8Hz即Θ节律，8
‑
12Hz即α节律，13
‑
30Hz即β节律，30
‑
50Hz即γ节律，C2)把小波分解参数选择为多贝西四阶小波Db4，给定输入脑电信号把时间t处小波卷积表示为：积表示为：式中u和v分别表示近似小波滤波器和精细小波滤波器，x
A
和x
D
分别表示近似小波系数和精细小波系数，R和s分别为小波卷积的卷积核大小和步长；D)时
‑
频域有效通道注意力特征提取块，用于提取脑电信号数据中的最具判别力时域和频域特征，包括：D1)首先通过平均池化层获取特征的全局信息，并使用最大池化层获取特征通道中最具判别力的特征，将两类特征拼接从而达到生成通道统计特征的目的；D2)然后使用自适应卷积核和指数线性单元ELU对通道信息进行特征提取与通道信息激活，以充分利用通道的相关性特征来计算通道间的权重系数，其中自适应卷积核的大小为2
×
k，卷积的padding为k表示自适应卷积核尺寸，t通过特征通道的数目C、衰减系数a和偏移系数b确定，计算式为：数a和偏移系数b确定，计算式为：式中表示向下取整，abs表示取绝对值，D3)然后将通道权重系数与特征映射相乘，将提取的特征通道注意力权重应用于特征，并使用残差网络将加权前的特征和新特征跳跃连接相加以避免深度神经网络中的梯度消失问题，时
‑
频域有效通道注意力特征提取块表示为：式中AdConv为自适应卷积核的卷积操作，为两个矩阵向量对应元素相加，表示按特征通道维度拼接，f表示输入的特征，代表经过轻量注意力加权过的特征，ELU为指数线性单元：
E)运动想象意图分类块，用于输出4分类运动想象任务分类结果，将时
‑
频域有效通道注意力特征提取块输出的深度时域特征和深度频域特征展开为1维特征向量后拼接，再输入包括三层全连接层、线性指数单元和非线性激活层的多层感知机分类器，对特征进行分类，最终输出4分类结果，即输入脑电信号片段是左手、右手、舌头或双脚的运动意图，计算式如下：式中：Softmax和ReLU为非线性激活函数，其计算式分别如式(11)和式(12)，FC表示线性全连接层，和分别表示深度频域特征和深度时域特征；对一维数据，针对t时刻的数据，Softmax和ReLU的计算式分别为：ReLU(x)(t)＝max(x(t)，0)
ꢀꢀꢀꢀꢀꢀ
(12)。2.如权利要求1所述的基于对比学习的时空频域有效通道注意力运动想象脑电信号解码方法，其特征在于：所述步骤S3包括：S31)首先定义训练集{x1，x2，...，x
n
}，使用剪切拼接和加椒...

【专利技术属性】
技术研发人员：李阳，严伟栋，向岩松，徐昭梁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：