一种结合卷积神经网络和长短时记忆网络的脑电识别方法技术

本发明专利技术请求保护一种结合卷积神经网络(CNN)和长短时记忆网络(LSTM)的脑电识别方法，首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行去均值、滤波、归一化等预处理；其次，将预处理后的数据输入卷积层和池化层提取空间特征；然后，在池化层后直接接入LSTM，提取脑电数据的时序信息，最后经过Dropout和全连接层，完成分类任务。本发明专利技术能充分利用脑电信号的时空特征，提取脑电数据的空间和时序信息，从而提高脑电信号的分类准确率，也为研究脑电识别提供了一个新的途径。

EEG recognition method based on convolution neural network and long time memory network

The invention requests protection of a method of EEG identification combining convolution neural network (CNN) and long short time memory network (LSTM). First, the Emotiv acquisition instrument is used to collect EEG data, and the collected EEG signals are preprocessed by means of averaging, filtering, normalization and so on. Secondly, the pre processed data are entered into the coiling layer and pool. Then, the spatial feature is extracted from the layer; then, after the pool layer is directly connected to LSTM, the time sequence information of the EEG data is extracted. Finally, the classification task is completed through the Dropout and the full connection layer. The invention can make full use of the temporal and spatial characteristics of EEG signals, extract the spatial and temporal information of EEG data, thus improve the classification accuracy of EEG signals, and provide a new way for the study of EEG recognition.

【技术实现步骤摘要】
一种结合卷积神经网络和长短时记忆网络的脑电识别方法
本专利技术属于脑电信号的特征提取及识别领域，特别是一种结合卷积神经网络(CNN)和长短时记忆网络(LSTM)的脑电识别方法。
技术介绍
脑-机接口(BCI)是一种不依赖于肌肉和外围神经，就可以实现人脑和计算机或其他设备的通信的新的交互方式。在医疗领域、认知科学、心理学、军事领域和生活娱乐等领域都具有巨大的实用价值，特别是在医疗领域，BCI技术可以帮助那些天生或后天损伤了肌肉神经的(例如脑瘫、肌萎缩侧索硬化等)病人正常的和外界进行交流甚至康复。脑电信号(EEG)处理是BCI系统的关键技术，包括脑电信号预处理、特征提取和分类3个部分。常用的脑电信号特征提取方法有小波变换、共同空间模式(CSP)等。常用的特征分类方法包括线性判别式分析(LDA)，贝叶斯分类器(BayesianClassifier)，支持向量机(SVM)等。脑电信号是一种复杂的非线性随机时序信号，而且脑电信号有大量的噪音(例如，低信号噪声比和不完整的信号脑电信号)，并且具有高维多通道的特点，因此很难对其进行建模。然而，深度学习具有强大的处理非线性和高维数据的能力，能够自动从原始数据中学习并提取有效信息，因此很多深度学习的方法也被应用到脑电信号的分析中。现有的深度学习方法如DBN、DSN等对EEG数据进行处理时，往往忽略了脑电信号的时间序列信息，还有不同电极的多通道对应大脑不同区域的空间信息，所以处理过程中一些隐含的有用信息可能没有被利用到，导致模型的分类准确率不高。公开号为CN107239142A的专利：一种结合公共空间模式算法和EMD的脑电信号特征提取方法，分别对单个受试者的C3、C4两个通道中的信号进行预处理，然后进行经验模式分解，得到一系列固有模态函数IMFi，随后将单次试验的C3、C4通道前三阶IMF分量合并，最后分别进行公共空间模式分解。但是脑电信号是一种典型的时序信号，该方法忽略了脑电信号间隐藏的有用信息。公开号为CN105559777A的专利：基于小波包和LSTM型RNN神经网络的脑电识别方法，首先，利用平均功率谱法分析脑电信号的时域特性，然后对脑电信号进行小波包分解，并构成脑电特征。最后，以LSTM型RNN神经网络作为分类器对脑电信号进行分类。该方法考虑到了脑电的时序信息，但脑电信号维数高，通道数多，信噪比低，导致用传统方法特征提取会有些困难，而深度神经网络具有强大的学习能力，能够自动从原始数据中提取有效信息，通过卷积运算，可以使原信号增强，并且降低噪声，提高信噪比；采用权值共享策略，可以大大减少计算量；通过LSTM网络提取脑电信号间的时序信息。结合CNN和LSTM的网络可以充分利用脑电信号的时空信息提高脑电信号的识别率。基于此，本专利技术提出一种结合CNN和LSTM的脑电识别方法。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种提高脑电信号的识别率的结合卷积神经网络和长短时记忆网络的脑电识别方法。本专利技术的技术方案如下：结合卷积神经网络和长短时记忆网络的脑电识别方法，其包括以下步骤：1)、首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理；2)、其次，将预处理后的数据输入卷积神经网络，所述卷积神经网络从上至下包括两层卷积和两层池化，通过卷积池化提取脑电数据的空间特征；3)、然后，将步骤2)提取的脑电数据空间特征直接输入长短时记忆LSTM网络，提取脑电数据的时序信息，所述LSTM网络改进在于：通过在每个LSTM单元中引入门结构，即sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重或者占比；以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。4)、最后将提取的脑电数据的时序信息经过Dropout和全连接层，完成分类任务。进一步的，所述步骤1)对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理，具体包括：去均值：即将每个样本的幅值都减去其平均幅值，使脑电信号的均值为零；带通滤波：对脑电信号进行8-30Hz的带通滤波；归一化：对滤波后的脑电信号进行归一化使其在[0,1]范围内。进一步的，所述步骤2)将经过预处理后的脑电信号重构成三维数据，建立卷积神经网络，包括两层卷积和两层池化，卷积部分分别使用16和32个5*5的内核，最大池化使用2*2的过滤器，步幅都是1。进一步的，所述卷积层的计算公式为：其中，表示第l层输出的特征图m的激活值，f()为激活函数，P表示选择的输入特征图集合，表示卷积运算，表示卷积函数，是偏置量；卷积后得到的特征图在小邻域进行下采样得到新的特征，池化的计算公式如下：其中，分别为l层中特征图的偏置系数，down()为下采样函数，这样便提取到脑电数据的空间特征。进一步的，所述步骤3)使用LSTM网络提取脑电数据的时序信息，其计算过程如下：(1)设当前时刻为t，候选cell的值为计算公式如下：式中，xt为t时刻的输入数据，ht-1为t-1时刻隐藏层的输出值，Wxc、Whc分别为对应的权值，bc为第一偏置量；(2)输入门是决定让多少新的信息加入到cell状态中来，其计算公式如下：it＝σ(Wxixt+Whiht-1+bi)式中，Wxi、Whi分别是对应的权值，σ表示logisticsigmoid函数，bi是第二偏置量；(3)遗忘门是决定cell的哪些信息是要去掉的，其计算公式如下：ft＝σ(Wxfxt+Whfht-1+bf)式中，Wxf、Whf分别是对应的权值，bf是第三偏置量；(4)当前时刻t，cell的状态值ct，其计算公式如下：式中，⊙表示逐点相乘；(5)输出门是决定cell的哪些部分要输出，其计算公式如下：ot＝σ(Wxoxt+Whoht-1+bo)式中，Wxo、Who分别是对应的权值，bo是第四偏置量；(6)LSTM单元的输出：ht＝ot⊙tanh(ct)进一步的，所述Emotion脑电信号采集仪总共包含16个电极，其中CMS和DRL为两个参考电极，电极根据国际10-20标准电极安放法安放，信号的采样频率为128Hz，采集到的脑电信号经过放大和滤波之后，通过无线USB接收器传输到计算机上。本专利技术的优点及有益效果如下：本专利技术为采用CNN和LSTM网络相结合的脑电信号识别方法。脑电信号维数高，通道数多，信噪比低，导致特征提取困难；脑电信号的数据信息不是静态的，它的幅值、频率、方差等随时间不断变化，一般网络无法利用脑电信号间的时序性。由于CNN网络是空间上卷积，不同的大脑区域对应不同的大脑活动，因此可以利用CNN提取分布在大脑不同区域的电极所采集脑电数据的空间信息，而且通过卷积运算，可以使原信号增强，并且降低噪声，提高信噪比；采用权值共享策略，可以大大减少计算量；另外，脑电信号是一种典型的时序信号，而LSTM网络可以真正有效的利用脑电信号中的时序信息。因此，通过CNN-LSTM网络结构可以充分利用脑电信号的时空信息提高脑电信号的识别率。附图说明图1是本专利技术提供优选实施例基于BCI系统结构图；图2为基于CNN-LSTM的脑电识别方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例本文档来自技高网...

【技术保护点】
一种结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，包括以下步骤：1)、首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理；2)、其次，将预处理后的数据输入卷积神经网络，所述卷积神经网络从上至下包括两层卷积和两层池化，通过卷积池化提取脑电数据的空间特征；3)、然后，将步骤2)提取的脑电数据空间特征直接输入长短时记忆LSTM网络，提取脑电数据的时序信息，所述LSTM网络改进在于：通过在每个LSTM单元中引入门结构，即sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重或者占比；以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。4)、最后将提取的脑电数据的时序信息经过Dropout和全连接层，完成分类任务。

【技术特征摘要】
1.一种结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，包括以下步骤：1)、首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理；2)、其次，将预处理后的数据输入卷积神经网络，所述卷积神经网络从上至下包括两层卷积和两层池化，通过卷积池化提取脑电数据的空间特征；3)、然后，将步骤2)提取的脑电数据空间特征直接输入长短时记忆LSTM网络，提取脑电数据的时序信息，所述LSTM网络改进在于：通过在每个LSTM单元中引入门结构，即sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重或者占比；以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。4)、最后将提取的脑电数据的时序信息经过Dropout和全连接层，完成分类任务。2.根据权利要求1所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤1)对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理，具体包括：去均值：即将每个样本的幅值都减去其平均幅值，使脑电信号的均值为零；带通滤波：对脑电信号进行8-30Hz的带通滤波；归一化：对滤波后的脑电信号进行归一化使其在[0,1]范围内。3.根据权利要求2所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤2)将经过预处理后的脑电信号重构成三维数据，建立卷积神经网络，包括两层卷积和两层池化，卷积部分分别使用16和32个5*5的内核，最大池化使用2*2的过滤器，步幅都是1。4.根据权利要求3所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述卷积层的计算公式为：其中，表示第l层输出的特征图m的激活值，...

【专利技术属性】
技术研发人员：蔡军，魏畅，唐贤伦，昌泉，陈晓雷，曹慧英，万亚利，李佳歆，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50