基于CSP多尺度卷积神经网络的运动想象解码方法技术

本申请公开基于CSP多尺度卷积神经网络的运动想象解码方法，包括以下步骤：规范化EEG脑电信号数据，然后进行带通滤波处理，切分出若干个滤波频带，进行CSP共空间空域滤波处理；为每一个频带的数据分配权重；自动提取分配完权重的信号，进行不同精细度的过滤，进行池化和卷积，并将多个不同尺度卷积提取的特征进行相同维度的拼接，形成特征图；给不同频带的特征图重新分配特征权重，并使用门控循环网络提取更深层次的时序特征，然后做特征拼接；全连接网络分类处理，使最后输出的神经元个数为分类类别个数。本申请提供的运动想象解码方法能够极大的提升了滤波效果，进而有效提升运动想象解码分类的准确性以及分类模型的鲁棒性。解码分类的准确性以及分类模型的鲁棒性。解码分类的准确性以及分类模型的鲁棒性。

【技术实现步骤摘要】
基于CSP多尺度卷积神经网络的运动想象解码方法


[0001]本专利技术涉及运动想象
，尤其涉及基于CSP多尺度卷积神经网络的运动想象解码方法。

技术介绍

[0002]随着脑科学的发展，脑机接口技术也在医疗等领域中得到不断发展。在脑机接口技术中的运动想象中，一般是通过设计相应的运动想象范式，引导被试者通过相应的画面想象肢体的运动，然后通过脑电帽获取相应的脑电波，最后通过算法实现对脑电信号的解码，实现对被试者意图的识别。通过解码信号，可以控制外部设备，如机械手、轮椅等，从而有效地帮助有肢体运动障碍的患者能够依靠自己的意愿进行一些日常操作。
[0003]传统的脑电信号解码是基于机器学习，对信号进行手动特征提取，再将特征送入分类器进行分类解码。常见的特征提取方法有共空间模式(CSP)、滤波器组共空间模式(FBCSP)等。常见的分类器有线性判别分析(LDA)、支持向量机(SVM)以及随机森林(RF)等。
[0004]传统的机器学习特征提取需要大量的先验知识，在分析数据时需要消耗大量时间，同时脑电信号因外界环境干扰以及被试者状态等外界因素的影响，数据间的差异性较大，导致训练出来的模型泛化性能较弱，在测试集上的分类准确度较低，进而在实际应用时存在重大挑战。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术提供一种基于CSP多尺度卷积神经网络的运动想象解码方法，通过切分规范化后的数据，并对切分后的数据做CSP空域滤波处理，能够最大程度的有分区的保留EEG脑电信号的有用信息，极大的提升了滤波效果，进而有效提升了运动想象解码分类的准确性。
[0006]此外，本专利技术还通过对不同频带的信号分别采用多尺度卷积提取特征，最后进行特征融合，可以防止由于卷积核尺度选择不合适导致的信息丢失，从而保留信号中更多信息，有益于分类准确率的提升，模型泛化性能强，提高分类模型的鲁棒性。
[0007]为达到本专利技术以上至少一个优势，第一方面，本专利技术提供一种基于CSP多尺度卷积神经网络的运动想象解码方法，包括以下步骤：
[0008]规范化EEG脑电信号数据；
[0009]对规范化后的EEG脑电信号数据进行带通滤波处理，切分出若干个滤波频带；
[0010]对带通滤波后单一频带的数据进行CSP共空间空域滤波处理；
[0011]利用自注意力机制模块为每一个频带的数据分配权重；
[0012]利用多尺度混合神经网络自动提取分配完权重的信号，并进行不同精细度的过滤，然后进行池化和卷积，并将多个不同尺度卷积提取的特征进行相同维度的拼接，形成特征图；
[0013]使用注意力机制模块给不同频带的特征图重新分配特征权重，并使用门控循环网
络给分配完特征权重的特征图提取更深层次的时序特征，最终将多个频带的时序特征做特征拼接，形成三维特征；
[0014]全连接网络分类处理，使最后输出的神经元个数为分类类别个数。
[0015]根据本专利技术一实施例，所述对规范化后的EEG脑电信号数据进行带通滤波处理，切分出若干个滤波频带，包括：
[0016]切分出四个滤波频带，分别为：(1
‑
4Hz)、(4
‑
8Hz)、(8
‑
13Hz)、(13
‑
30Hz)。
[0017]根据本专利技术一实施例，所述CSP共空间空域滤波处理包括：
[0018]将训练数据按照标签类别进行切分，首先计算第i类信号的协方差，其中N
i
表示第i类样本的数量；
[0019]然后再根据两类协方差矩阵计算空间投影矩阵W，计算方法为∑1W＝λ∑2W，其中w为空间投影矩阵W的某一列；
[0020]最后将脑电信号通过空间滤波矩阵W变换得到Z＝W
T
X，其中信号Z为CSP共空间空域滤波后的信号。
[0021]根据本专利技术一实施例，所述利用自注意力机制模块为每一个频带的数据分配权重具体为：
[0022]将空域滤波后的信号输入到自注意力机制模块中，然后通过全局池化将数据压缩到频带数目，再使用两层前馈网络将数据压缩，然后再经过两层全连接网络将数据数目扩张回频带个数，经过sigmoid函数进一步映射，得到频带权重系数，将频带权重系数与原始输入信号Z相乘得到的数据然后采用残差连接将原始输入信号与重新分配后的数据相加，得到即重新分配频带权重后的数据。
[0023]根据本专利技术一实施例，所述利用多尺度混合神经网络自动提取空域滤波后的信号包括：
[0024]将重新分配频带权重后的数据其中C为通道数，N
s
为采样点数，使用多个不同的时间卷积核进行时间特征提取；
[0025]然后使用ReLU激活函数激活，激活公式为：
[0026]根据本专利技术一实施例，所述进行池化和卷积包括：
[0027]将通过时间卷积进行时间特征提取出来的数据激活后，使用最大池化层进行一次池化，然后对一次池化后的数据进行二次卷积，然而对二次卷积后的数据进行二次池化，其中一次池化和二次池化中的池化核为(1,p)，步长为(1,p)，padding为valid。
[0028]根据本专利技术一实施例，所述不同的时间卷积核被实施为四个，四个卷积核的参数分别为：(filters,1,t1)、(filters,1,t2)、(filters,1,t3)、(filters,1,t4)，这四个卷积核并行地进行特征提取。
[0029]根据本专利技术一实施例，一次卷积中filters为14，步长为(1,1)，padding为same；
[0030]其中二次卷积中filters为28，其它参数不变。
[0031]根据本专利技术一实施例，所述门控循环网络有两个控制门，分别控制记忆单元以及输出单元，一次能够保存上一次获取数据的信息，同时又可以随时忘记上一次的信息。
[0032]根据本专利技术一实施例，所述全连接网络分类处理包括：
[0033]首先对所述三维特征进行平化操作，转换成一维特征向量；
[0034]然后将该一维特征向量输入到两个隐藏层的全连接网络，其中两层神经元的个数依次递减，且激活函数为ReLU函数；
[0035]在激活函数后进行随机丢弃操作，以减少单次迭代的神经元个数；
[0036]最后将输出的神经元个数设置为分类类别个数；
[0037]其中整个全连接网络模型使用的是交叉熵损失函数，公式为：
[0038][0039]优化器使用的随机梯度下降进行反向传播更新网络模型参数，学习率设置为0.0001。
[0040]本专利技术的这些和其它目的、特点和优势，通过下述的详细说明，得以充分体现。
附图说明
[0041]图1示出了本申请一较佳实施例运动想象解码方法的流程示意图。
[0042]图2示出了本申请一较佳实施例运动想象解码方法的细化流程示意图。
[0043]图3示出了本申请中注意力权重分配模块示意图。
...

【技术保护点】

【技术特征摘要】
1.基于CSP多尺度卷积神经网络的运动想象解码方法，其特征在于，包括以下步骤：规范化EEG脑电信号数据；对规范化后的EEG脑电信号数据进行带通滤波处理，切分出若干个滤波频带；对带通滤波后单一频带的数据进行CSP共空间空域滤波处理；利用自注意力机制模块为每一个频带的数据分配权重；利用多尺度混合神经网络自动提取分配完权重的信号，并进行不同精细度的过滤，然后进行池化和卷积，并将多个不同尺度卷积提取的特征进行相同维度的拼接，形成特征图；使用注意力机制模块给不同频带的特征图重新分配特征权重，并使用门控循环网络给分配完特征权重的特征图提取更深层次的时序特征，最终将多个频带的时序特征做特征拼接，形成三维特征；全连接网络分类处理，使最后输出的神经元个数为分类类别个数。2.如权利要求1所述基于CSP多尺度卷积神经网络的运动想象解码方法，其特征在于，所述对规范化后的EEG脑电信号数据进行带通滤波处理，切分出若干个滤波频带，包括：切分出四个滤波频带，分别为：(1
‑
4Hz)、(4
‑
8Hz)、(8
‑
13Hz)、(13
‑
30Hz)。3.如权利要求2所述基于CSP多尺度卷积神经网络的运动想象解码方法，其特征在于，所述CSP共空间空域滤波处理包括：将训练数据按照标签类别进行切分，首先计算第i类信号的协方差，其中N
i
表示第i类样本的数量；然后再根据两类协方差矩阵计算空间投影矩阵W，计算方法为∑1W＝λ∑2W，其中w为空间投影矩阵W的某一列；最后将脑电信号通过空间滤波矩阵W变换得到Z＝W
T
X，其中信号Z为CSP共空间空域滤波后的信号。4.如权利要求3所述基于CSP多尺度卷积神经网络的运动想象解码方法，其特征在于，所述利用自注意力机制模块为每一个频带的数据分配权重具体为：将空域滤波后的信号输入到自注意力机制模块中，然后通过全局池化将数据压缩到频带数目，再使用两层前馈网络将数据压缩，然后再经过两层全连接网络将数据数目扩张回频带个数，经过sigmoid函数进一步映射，得到频带权重系数，将频带权重系数与原始输入信号Z相乘得到的数据θ(Z)，然后采用残差连接将原始输入信号与重新分配后的数据相加，得到Z...

【专利技术属性】
技术研发人员：周良伟，李迎新，金晶，王薇，
申请(专利权)人：上海术理智能科技有限公司，
类型：发明
国别省市：