时空特征融合的并行卷积网络运动想象脑电图分类方法技术

本发明专利技术请求保护一种时空特征融合的并行卷积神经网络运动想象脑电图识别方法。以运动想象脑电信号作为研究对象，提出一种新的深度网络模型‑并行卷积神经网络提取运动想象脑电信号的时空特征。与传统脑电分类算法往往丢弃脑电空间特征信息不同，通过快速傅里叶变换，提取Theta波(4‑8Hz)、alpha波(8‑12Hz)以及beta波(12‑36Hz)，生成2D脑电特征图。基于多重卷积神经网络对脑电特征图进行训练，提取空间特征。此外，利用时间卷积神经网络进行并行训练，提取时序特征。最后基于Softmax对空间特征以及时序特征进行融合以及分类。实验结果表明，并行卷积神经网络具有良好的识别精度，并且优于其他最新的分类算法。

A classification method of EEG based on parallel convolution network with temporal and spatial feature fusion

【技术实现步骤摘要】
时空特征融合的并行卷积网络运动想象脑电图分类方法
本专利技术属于运动想象脑电分类领域，特别是一种基于时空特征融合的并行卷积神经网络运动想象脑电图识别方法。
技术介绍
脑电作为头皮脑细胞生理活动的全面反映，其中包含大量的生理和疾病信息。基于EEG信号通信的脑机交互系统(BCI)，可以替代大脑神经和肌肉组织传送作为信号传输通道，从而实现大脑和仿生机械的交互。BCI作为人机交互的延伸，一直受到科学界学者和研究员的广泛关注。基于运动想象脑电识别，是BCI系统交互关于与外界交互的关键节点。运动想象是由人脑主观进行想象，例如想象左手握手、想象右手握手，以及想象腿屈伸等。通过对运动想象脑电信号的分析，可以识别人脑运动想象的意图，输出到BCI的仿生系统之中，从而实现脑机控制。因此，对运动想象脑电信号处理的研究，可以提升对大脑神经认知、大脑疾病康复以及大脑皮层信号分析的探索。充满潜力的应用前景将EEG研究推向高速发展的时期，使得它成为最具吸引力的学科方向之一。在BCI系统之中，存在特征提取以及特征分类两个重要部分。常用的特征提取方法有快速傅里叶变换(FFT)，共同空间模式(CSP)，以及小波变换(DT)等，这些特征提取方法不仅需要大量的人为数据处理，而且对噪声敏感，容易造成特征混乱。常用的特征分类方法有人工神经网络，支持向量机等。由于EEG复杂的生成机制，这些特征分类方法存在迭代层次较浅，特征提取不充分的问题。近年来，随着深度学习在图像识别，自然语言处理，电力负荷预测，模式识别等研究领域取得巨大的成功。由于其具有强大处理非线性和高维数据能力，其也被应用到脑电数据分析之中。EEG信号包含电极位置所代表的空间信息以及固有的时间信息。但是以往算法，归因于脑电采集设备，只可视化时序通道数据，因此多数研究者主要研究时间序列下如何提取脑电特征。因此，需要一种新的网络模型，提取并融合运动想象EEG时间特征与空间特征，以提高运动想象EEG分类性能。本专利技术提出并行深度卷积神经网络，充分利用时空信息强化脑电特征提取。为有效的转化脑电的时空特征信息，基于快速傅里叶变换，生成2D脑电特征图。卷积神经网络连接稀疏，卷积核参数共享，减小了模型存储容量，能有效的提取图形存在的空间特征。时间卷积神经网络，基于扩展卷积建模，符合EEG的时序特性。本专利技术结合两者优势，构建并行卷积网络，在卷积提取EEG空间特征，在时间卷积提取EEG时序特征，最后通过特征拼接方式，融合EEG时空特征。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种时空特征融合的并行卷积网络运动想象脑电图识别方法。本专利技术的技术方案如下：一种时空特征融合的并行卷积网络运动想象脑电图识别方法，其包括以下步骤：步骤1：获取原始EEG(脑电)通道数据，并采用包括归一化、去均值在内的步骤处理原始EEG通道数据；步骤2：基于重叠切割的方式切分步骤1预处理后的原始EEG通道数据；步骤3：对步骤2所得每个EEG通道进行小波变换，求取Theta波、alpha波以及beta波三个频带；步骤4：将步骤3中所得的Theta波、alpha波以及beta波三个频带，求取每个频带值的平方和；步骤5：将步骤4求取的每个频带值的平方和，基于插值算法，对2D通道分布图进行插值，生成2D脑电特征分布图；步骤6：采用多重卷积神经网络对步骤5生成的2D特征分布图进行网络训练；步骤7：基于时间卷积神经网络同时对步骤5中的2D特征图进行并行训练。步骤8：基于Softmax对空间特征以及时序特征进行融合以及分类。进一步的，所述步骤1采用包括归一化、去均值在内的步骤处理原始EEG通道数据，具体包括：去均值：将数据中的平均值减去振幅，使得脑电信号的平均值为0；归一化：对原始数据进行线性变换，使得结果映射到[0,1]之间。进一步的，所述步骤2基于重叠切割的方式切分步骤1预处理后的原始EEG通道数据，具体包括：基于重叠切割处理原始时序通道EEG数据，使得一个运动想象周期内提取的每一帧EEG数据存在部分重叠，定义公式xi＝xi-1+f-o*fi≠0xi＝0i＝0式中,x为切割起点，i为第几个样本，f为频率大小，o*f为重叠大小，其中o为切割权重，范围在0～1之间；根据数据矩阵[[x0,x0+128],[x1,x1+128],[x0,x0+128],...,[xn,xn+128]]，对14个EEG通道进行切分，并且把每个时间窗口数据进行数据排列，保证数据时间序列不破坏。进一步的，所述步骤3对步骤2所得每个EEG通道进行小波变换，求取Theta波、alpha波以及beta波三个频带，具体包括：对于每个EEG通道数据，在经过预处理以后，对每一帧的数据，进行傅里叶变换，设x∈CN是长度为N的EEG信号，则快速傅里叶变换为：其中，n＝0,1,...,N-1为不同频率，WN＝e-j(2π/N)。则快速傅里叶的逆变换为：长度为的N的实值离散傅里叶有长度为N/2的复值快速傅里叶变换得到。设x∈RN，则实值快速傅里叶变换为：由快速傅里叶变换后，我们将频带属于Theta波、alpha波以及beta波从得到包含各个频带的数据矩阵xn中提取出来。进一步的，所述步骤5，根据所采集的脑电通道位置数据，生成2D通道分布图，求取每个频带值的平方和，计算公式为:其中，x为频带值，i的范围为1～n。由前面求取的Theta、alpha以及beta值的平方和，作为图像RGB三个通道值。基于插值算法对2D通道分布图进行插值，生成脑电特征2D分布图。进一步的，所述步骤6，多重卷积神经网络的具体网络结构为：输入层为28*28的2D脑电特征图；在输入层后是卷积模块1，其由连续堆叠两个卷积层构成，其中卷积层1是基于边缘填充方式，卷积2是基于边缘缩小方式；卷积模块1后是最大池化层，卷积模块2，其由连续堆叠两个卷积层构成，其中卷积层3是基于边缘填充方式，卷积4是基于边缘缩小方式，卷积模块2后是最大池化层，最后是堆叠全连接层；初始化多重卷积网络网络参数，进行前向传播训练；基于均方误差，反向传播调整网络参数；当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。进一步的，所述步骤7，基于时间卷积神经网络提取EEG数据时序特征，其网络具体网络结构为：输入层，输入层后堆叠时序卷积层，时序卷积层后堆叠全连接层；原始输入为28*28，输入序列经过一维卷积模块作用得到T*M特征序列，T为时间序列长度，M为一维卷积核数量；一维卷积由扩展卷积输入序列，其卷积核计算大小为：fj_d＝(d-1)*(fk-1)+fk其中，fk_d表示加入扩展卷积之后的卷积核大小，d为扩张率，k为第几个卷积核；扩展卷积的输出由激活函数ReUL作用每个元素，ReUL函数的计算公式为：f(x本文档来自技高网...

【技术保护点】
1.一种时空特征融合的并行卷积网络运动想象脑电图分类方法，其特征在于，包括以下步骤：/n步骤1：获取原始EEG脑电通道数据，并采用包括归一化、去均值在内的步骤处理原始EEG通道数据；/n步骤2：基于重叠切割的方式切分步骤1预处理后的原始EEG通道数据；/n步骤3：对步骤2所得每个EEG通道进行小波变换，求取Theta波、alpha波以及beta波三个频带；/n步骤4：将步骤3中所得的Theta波、alpha波以及beta波三个频带，求取每个频带值的平方和；/n步骤5：将步骤4求取的每个频带值的平方和，基于插值算法，对2D通道分布图进行插值，生成2D脑电特征分布图；/n步骤6：采用多重卷积神经网络对步骤5生成的2D特征分布图进行网络训练；/n步骤7：基于时间卷积神经网络同时对步骤5中的2D特征图进行并行训练；/n步骤8：基于Softmax对空间特征以及时序特征进行融合以及分类。/n

【技术特征摘要】
1.一种时空特征融合的并行卷积网络运动想象脑电图分类方法，其特征在于，包括以下步骤：
步骤1：获取原始EEG脑电通道数据，并采用包括归一化、去均值在内的步骤处理原始EEG通道数据；
步骤2：基于重叠切割的方式切分步骤1预处理后的原始EEG通道数据；
步骤3：对步骤2所得每个EEG通道进行小波变换，求取Theta波、alpha波以及beta波三个频带；
步骤4：将步骤3中所得的Theta波、alpha波以及beta波三个频带，求取每个频带值的平方和；
步骤5：将步骤4求取的每个频带值的平方和，基于插值算法，对2D通道分布图进行插值，生成2D脑电特征分布图；
步骤6：采用多重卷积神经网络对步骤5生成的2D特征分布图进行网络训练；
步骤7：基于时间卷积神经网络同时对步骤5中的2D特征图进行并行训练；
步骤8：基于Softmax对空间特征以及时序特征进行融合以及分类。


2.根据权利要求1所述的一种时空特征融合的并行卷积网络运动想象脑电图分类方法，其特征在于，所述步骤1采用包括归一化、去均值在内的步骤处理原始EEG通道数据，具体包括：
去均值：将数据中的平均值减去振幅，使得脑电信号的平均值为0；
归一化：对原始数据进行线性变换，使得结果映射到[0,1]之间。


3.根据权利要求2所述的一种时空特征融合的并行卷积网络运动想象脑电图分类方法，其特征在于，所述步骤2基于重叠切割的方式切分步骤1预处理后的原始EEG通道数据，具体包括：
基于重叠切割处理原始时序通道EEG数据，使得一个运动想象周期内提取的每一帧EEG数据存在部分重叠，定义公式
xi＝xi-1+f-o*fi≠0
xi＝0i＝0
式中,x为切割起点，i为第几个样本，f为频率大小，o*f为重叠大小，其中o为切割权重，范围在0～1之间；
根据数据矩阵[[x0,x0+128],[x1,x1+128],[x0,x0+128],...,[xn,xn+128]]，对14个EEG通道进行切分，并且把每个时间窗口数据进行数据排列，保证数据时间序列不破坏。


4.根据权利要求3所述的一种时空特征融合的并行卷积网络运动想象脑电图分类方法，其特征在于，所述步骤3对步骤2所得每个EEG通道进行小波变换，求取Theta波、alpha波以及beta波三个频带，具体包括：
对于每个EEG通道数据，在经过预处理以后，对每一帧的数据，进行傅里叶变换，设x∈CN是长度为N的EEG信号，则快速傅里叶变换为：



其中，n＝0,1,...,N-1为不同频率，WN＝e-j(2π/N)。
则快速傅里叶的逆变换为：



长度为的N的实值离散傅里叶有长度为N/2的复值快速傅里叶变换得到。设x∈RN，则实值快速傅里叶变换为：



由快速傅里叶变换后，我们将频带属于Th...

【专利技术属性】
技术研发人员：唐贤伦，孔德松，邹密，刘行谋，马伟昌，李伟，王婷，彭德光，李锐，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50