基于深度卷积神经网络识别脑电成像图的方法技术

本发明专利技术公开了基于深度卷积神经网络识别脑电成像图的方法，对采集到的运动想象脑电信号进行基线消除预处理；将每导联信号分成若干时间窗口，对每个窗口MI‑EEG型号分别进行快速傅里叶变换，将之分别进行快速傅里叶逆变换，计算其相应的时域功率值；将每个窗口得到的时域功率值求均值，得到时域功率特征；将提取的三频带功率特征在数据矩阵中进行插值成像，得到MI‑EEG信号的伪RGB图像；DCNN模型设计成五段卷积，每段卷积结束后使用卷积层替代最大池化层进行数据降维；使用训练好的DCNN模型在测试集上进行评估，完成分类测试。MI‑EEG成像图在特征表达方面的优势，配合模型拟合能力更强的30层DCNN，对于提升MI‑EEG信号特征表达、分类精度具有重要意义。

EEG Recognition Based on Deep Convolution Neural Network

【技术实现步骤摘要】
基于深度卷积神经网络识别脑电成像图的方法
本专利技术属于基于深度卷积神经网络(DeepConvolutionalNeuralNetwork,DCNN)的运动想象脑电信号(MI-EEG)特征提取与分类领域，具体涉及：基于快速傅里叶变换(FastFourierTransform,FFT)的特征提取与2D导联坐标插值成像法生成MI-EEG的伪RGB三通道特征图，并基于DCNN进行特征降维与分类。
技术介绍
深度卷积神经网络(DCNN)是一种前馈神经网络，具有局部感受野、卷积核权值共享、神经元非线性激活、卷积操作进行数据降维等多项技术，被广泛应用于图像识别领域。该网络在对多维度特征数据进行特征提取、降维等方面有着很大优势，表现出较好的深度特性，具有较强的模型拟合能力和较强的模型泛化能力。采用多层卷积结构的DCNN对输入图像进行卷积操作，可以实现图像降维与像素压缩，最终得到对应图像类别的输出概率值。由于DCNN的每个卷积层中都包含若干神经元，能同时完成对输入数据多维度的特征抽取。经过多个神经元非线性激活函数进行“激活”输出有助于增加原始特征的非线性组合，并能对体现类别差异性的主要特征信息进行充分表达，对类别差异性贡献较小的次要特征信息进行抑制。另外，DCNN模型结构适应性好，对数据的拟合性能和对不同数据的泛化能力较强，其在处理具有多维度特征的MI-EEG信号方面具有独特的优势。原始MI-EEG信号为时域离散序列，需将其转换为平面图象或数据矩阵后再使用DCNN进行识别。MI-EEG信号的成像方法主要分为两类：第一种成像方法是将每导联的信号分为若干时间窗，对各时间窗内信号提取频域特征，并沿x轴方向将所有频域特征按序排列，同时，沿y轴方向将各个导联的特征信息进行堆叠。第二种成像方法是利用共空间模式(CommonSpatialPattern，CSP)方法对MI-EEG信号进行特征提取，在多个频带上将信号按类别差异最大化的方向投影。具体操作是对若干个频带进行多级分解，利用CSP滤波器提取信号特征，然后将每个子带滤波器提取的特征沿x轴排列，不同子带滤波器提取的特征沿y轴排列，形成数据矩阵。相关研究表明，基于DCNN进行MI-EEG信号成像图识别取得了相对较高的识别准确率，但仍存在以下问题：(1)选用频域特征提取方法对脑电信号进行成像时，在特征提取阶段，对各导MI-EEG进行FFT，各频率点频谱取模或模的平方运算作为信号特征，不能充分表现信号功率特征的数值差异；(2)脑电成像利用了MI-EEG的频域特征或空域特征，但时频特征并未得到有效体现，另外，将若干导联或多个子带特征无序堆叠形成成像矩阵，使得原BCI采集系统所包含的导联电极位置信息丢失，这都将会对识别造成不利影响；(3)卷积神经网络的层数及每层卷积的神经元数量设置过少，使得网络拟合能力较差，泛化性能不强，不利于信号特征的多维度深度提取；且在卷积操作后，采用最大池化操作进行数据降维会舍弃75％的像素点，使得在处理高阶特征图时损失的信息过多，影响分类结果。
技术实现思路
针对上述不足之处，本专利技术对现有的脑电信号成像方法与DCNN结构进行了改进，提出了一种基于MI-EEG特征成像图与DCNN的MI-EEG识别方法。具体涉及：(1)将信号变换到频域后，提取与运动想象相关节律的频率序列再逆变换到时域，计算时域功率值作为特征，显著提升了不同类别信号间的数值差异。(2)采用上述方法得到的信号功率值作为特征，结合BCI采集系统的导联坐标信息将特征插值到NxN像素的图像中。保留信号时频特征的同时，完整地利用了导联间的空间信息，提升了原始信号在成像操作时的特征表达效果。(3)采用6段卷积共30层的深度卷积神经网络结构。卷积神经网络的层数的增加提升了模型性能，增强了拟合能力和对数据的泛化能力。同时，去除了卷积神经网络的池化层结构，用步长为2的卷积结构代替。可以减少信息损失同时增加网络训练的稳定性，提升识别准确率。因此，本专利技术采用的技术方案为基于深度卷积神经网络识别脑电成像图的方法，首先对想象运动脑电信号进行预处理，使用静息态数据对其进行基线消除。将每次实验的每导联数据划分为多个窗口后，分别进行8-13Hz、13-21Hz、21-30Hz的快速傅里叶变换后，再分别通过傅里叶反变换，提取时域功率值作为信号时频特征。将提取的特征根据BCI采集系统坐标图按导联插值到像素网格中，得到想象运动信号成像图。将成像图输入到针对脑电信号优化的深度卷积神经网络中进行监督训练，采用反向传播算法对网络神经元的权值参数进行调整，使网络能更好地拟合输入数据分布，训练完成后使用网络输出图像类别概率。基于上述分析，本专利技术的具体实现步骤如下：S1MI-EEG信号预处理；S1.1假设为第i次实验第m导联采集的运动想像期间的脑电信号，其中，m∈{1，2，3，...，Nc}表示采集运动想象脑电任务的导联标签，Nc代表导联数；i∈{1，2，3，…，Nm}，Nm表示采集实验次数；Ns代表一次实验采样点数。则第i次采集实验获得脑电数据为S1.2针对每次实验的各导联数据使用运动想象前的静息数据作为基线参考线，进行基线消除处理，获得消除基线的信号S2基于快速傅里叶变换的MI-EEG信号特征提取方法；S2.1对于基线消除后的一次想象运动实验数据其每个每导联信号按采样时刻表示为将其按序等分为ND个窗口，ND∈N+。设每个窗口序列为则包含的采样时刻为：其中，m为导联序号，i为实验序号，j为窗口序号。S2.2将每个窗口序列XDm，i，j补0，使XDm，i，j的序列长度达到NFFT＝2K，以提高其数字分辨率，其中K为正整数，补0后的ND个窗口序列记为S2.3对每一导联的XWm，i，j进行快速傅里叶变换(FastFourierTransform，FFT)，得到长度为NFFT的频域序列S2.4根据神经生理学理论，选择与想象运动密切相关的α、β节律对应的频率范围8-30Hz，并将其三等分为8～13Hz、13～21Hz和21～30Hz三频段，取得XFm，i，j在各频段上的子序列为频率段序号，NF，f表示每段序列长度，计算式如下：其中，FH，f为该频率段最高频率，FL，f为该频率段最低频率，fs为EEG原始信号采样频率。S2.5将XFm，i，j，f进行快速傅里叶逆变换(InverseFastFourierTransform，IFFT)其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号。得到三个时域序列S2.6使用Tf表示每个频带的序列时刻，则每个频带独立计算平局功率值XPm，i，j，f，计算式如下：其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号，m∈{1，2，3，...，Nc}，i＝{1，2，3，…，Nm}，j＝{1，2，3，...，nD}，f∈{1，2，3}。S2.7将每个时域序列ND个窗口对应产生的ND个平均功率值相加取平均，最终得到一次想象运动实验每导联上的三个特征值，XFm，i，f∈R1，m∈{1，2，3，...，Nc}，i＝{1，2，3，…，Nm}，f∈{1，2，3}。则第i次采集实验获得的脑电数据特征值为S3MI-EEG信号特征成像方法S3.1根据BCI采集系统坐标图提供的坐标信息提取Nc导联的2D坐标点。获取的Nc导本文档来自技高网...

【技术保护点】
1.基于深度卷积神经网络识别脑电成像图的方法，其特征在于：首先对想象运动脑电信号进行预处理，使用静息态数据对其进行基线消除；将每次实验的每导联数据划分为多个窗口后，分别进行8‑13Hz、13‑21Hz、21‑30Hz的快速傅里叶变换后，再分别通过傅里叶反变换，提取时域功率值作为信号时频特征；将提取的特征根据BCI采集系统坐标图按导联插值到像素网格中，得到想象运动信号成像图；将成像图输入到针对脑电信号优化的深度卷积神经网络中进行监督训练，采用反向传播算法对网络神经元的权值参数进行调整，使网络能更好地拟合输入数据分布，训练完成后使用网络输出图像类别概率。

【技术特征摘要】
1.基于深度卷积神经网络识别脑电成像图的方法，其特征在于：首先对想象运动脑电信号进行预处理，使用静息态数据对其进行基线消除；将每次实验的每导联数据划分为多个窗口后，分别进行8-13Hz、13-21Hz、21-30Hz的快速傅里叶变换后，再分别通过傅里叶反变换，提取时域功率值作为信号时频特征；将提取的特征根据BCI采集系统坐标图按导联插值到像素网格中，得到想象运动信号成像图；将成像图输入到针对脑电信号优化的深度卷积神经网络中进行监督训练，采用反向传播算法对网络神经元的权值参数进行调整，使网络能更好地拟合输入数据分布，训练完成后使用网络输出图像类别概率。2.根据权利要求1所述的基于深度卷积神经网络识别脑电成像图的方法，其特征在于：具体实现步骤如下：S1MI-EEG信号预处理；S1.1假设为第i次实验第m导联采集的运动想像期间的脑电信号，其中，m∈{1，2，3，...，Nc}表示采集运动想象脑电任务的导联标签，Nc代表导联数；i∈{1，2，3，...，Nm}，Nm表示采集实验次数；Ns代表一次实验采样点数；则第i次采集实验获得脑电数据为S1.2针对每次实验的各导联数据使用运动想象前的静息数据作为基线参考线，进行基线消除处理，获得消除基线的信号3.根据权利要求1所述的基于深度卷积神经网络识别脑电成像图的方法，其特征在于：S2基于快速傅里叶变换的MI-EEG信号特征提取方法；S2.1对于基线消除后的一次想象运动实验数据其每个每导联信号按采样时刻表示为将其按序等分为ND个窗口，ND∈N+；设每个窗口序列为则包含的采样时刻为：其中，m为导联序号，i为实验序号，j为窗口序号；S2.2将每个窗口序列补0，使的序列长度达到NFFT＝2K，以提高其数字分辨率，其中K为正整数，补0后的ND个窗口序列记为S2.3对每一导联的XWm，i，j进行快速傅里叶变换，得到长度为NFFT的频域序列S2.4根据神经生理学理论，选择与想象运动密切相关的α、β节律对应的频率范围8-30Hz，并将其三等分为8～13Hz、13～21Hz和21～30Hz三频段，取得XFm，i，j在各频段上的子序列为频率段序号，NF，f表示每段序列长度，计算式如下：其中，FH，f为该频率段最高频率，FL，f为该频率段最低频率，fs为EEG原始信号采样频率；S2.5将XFm，i，j，f进行快速傅里叶逆变换其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号；得到三个时域序列S2.6使用Tf表示每个频带的序列时刻，则每个频带独立计算平局功率值XPm，i，j，f，计算式如下：其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号，m∈{1，2，3，...，Nc}，i＝{1，2，3，…，Nm}，j＝{1，2，3，...ND}，f∈{1，2，3}；S2.7将每个时域序列ND个窗口对应产生的ND个平均功率值相加取平均，最终得到一次想象运动实验每导联上的三个特征值，XFm，i，f∈R1，m∈{1，2，3，...，Nc}，i＝{1，2，3，…，Nm}，f∈{1，2，3}；则第i次采集实验获得的脑电数据特征值为4.根据权利要求1所述的基于深度卷积神经网络识别脑电成像图的方法，其特征在于：S3MI-EEG信号特征成像方法S3.1根据BCI采集系统坐标图提供的坐标信息提取Nc导联的2D坐标点；获取的Nc导联坐标信息记为S3.2以在x、y坐标轴上的最大值、最小值组成的四个点(xmax，ymax)，(xmax，ymin)，(xmin，ymax)，(xmin，ymin)为边界，建立64*64像素分辨率的网格系统，记为G∈R64*64；S3.3将按照坐标信息插值映射到G∈R64*64网格系统中，形成三张包含了特征信息与导联坐标信息的伪RGB三通道图像Gf∈R64*64，f∈{1，2，3}。5.根据权利要求1所述的基于深度卷积神经网络识别脑电成像图的方法，其特征在于：S4基于深度学...

【专利技术属性】
技术研发人员：李明爱，韩健夫，杨金福，孙炎珺，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11