一种基于时、频和时频域分析和深度学习的SSVEP的识别方法技术

本发明专利技术公开了一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，属于脑指令识别技术领域，该基于时、频和时频域分析和深度学习的SSVEP的识别方法，包括：分别对采集到的原始的EEG信号进行滤波、频谱分析、时频分析，以获取对应的时域信息、频谱信息、时频谱图，基于卷积神经网络算法CNN针对所述EEG信号的时域、频域、时频域分别构建深度模型一、二和三，以挖掘所述EEG信号分类相关的特征，对EEG特征进行融合，然后对SSVEP进行识别并分类。通过综合利用EEG信号的时域、频域、时频域特征，能够更加准确和全面的反映出EEG信号，为准确识别EEG信号提供依据，以卷积神经网络作为基础，构建深度网络模型，大大提高了SSVEP算法的抗干扰能力和识别准确率。扰能力和识别准确率。扰能力和识别准确率。

【技术实现步骤摘要】
一种基于时、频和时频域分析和深度学习的SSVEP的识别方法


[0001]本专利技术属于脑指令识别
，具体涉及一种基于时、频和时频域分析和深度学习的SSVEP的识别方法。

技术介绍

[0002]当一个恒定频率(通常大于5Hz)对人眼进行不断刺激时，这种剌激会调制大脑视皮层的脑电信号，这种被外界频率所调制的脑电信号就是稳态视觉诱发电位(Steady
‑
StateVisual Evoked Potential，SSVEP)。基于SSVEP的脑机接口(BCI)系统是目前的BCI领域研究最多应用最广的范式之一。
[0003]目前的SSVEP系统，从头皮电极采集多导联EEG(脑电图)信号，然后进行通过信号处理，机器学习等算法识别出相对应的刺激频率。目前的SSVEP识别技术大致分为2类：一类是以典型相关分析算法(CCA)、任务相关分量分析算法(TRCA)、以及最大信号分数分析(MSFA)等为代表的空域滤波算法，二是以EEGNet(EEGNet:a compact convolutional neural network for EEG
‑
based brain
–
computer interfaces，JOURNAL OF NEURAL ENGINEERING,VOLUME 15,NUMBER 5，27JULY 2018)为代表的深度学习技术。
[0004]然而，上述现有的两类识别方法具有以下缺点：
[0005]1)CCA、MSFA、TRCA均是通过解一个优化问题寻找一个线性变换ω，通过最大相关性等原理来估计刺激目标的空域滤波器，实际应用中CCA的改进算法(FBCCA)是目前采用最多的算法，在干电极(接触阻抗大)情况下，算法识别的准确率不理想，需要增加刺激时长来提高识别准确率，但刺激过长影响了使用的体验感。
[0006]而原始EEG信号近似非平稳随机信号，非常复杂，尤其在运动干扰、眼动等干扰、以及电极接触阻抗过大的情况下，算法准确率更低，EEG识别是一种非常复杂的非线性问题，单一的通过线性变换进行处理，并不完全适用。
[0007]2)EEGNet将多导联EEG信号作为输入，利用二维卷积神经网络(实际相当于一维卷积神经网络)构建深度模型。
[0008]EEGNet利用的是SSVEP信号的时域特征，并没有考虑到EEG信号的频域特征，原始EEG信号近似非平稳随机信号，从原始时域信号中准确学习到所需要特征非常困难，单靠时域或频域的特征，并不能够全面而准确的描述SSVEP。
[0009]如CN105302309A提出的基于SSVEP脑机接口的脑电波指令识别方法，通过刺激源的闪烁频率对人的视觉进行刺激，采用“指令码元+特征位”的方法对刺激源进行编解码，其中指令码元为指令的编码，特征位处于确定位数的指令码元之间，起间隔识别的作用；使用电极采集受到刺激产生的脑电信号；将采集到的原始脑电信号进行滤波与解调，最终获得指令码元，从而获得想要的指令类型。本专利技术提出了增加特征位用于间隔识别的方法，克服了现有技术中存在的需要学习训练操作，检测结果错误率高，扩展指令数少等缺陷。但其识别的方法仍然建立在基于频段分析的基础上，不能够全面准确的描述SSVEP。

技术实现思路

[0010]本专利技术的目的在于提供一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，综合信号的时域、频域、时频域特征，更加准确和全面的反映出SSVEP信号特征，且抗干扰能力强，识别准确率高。
[0011]为实现上述目的，本专利技术提供如下技术方案：一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，包括以下步骤：
[0012]a.数据预处理，分别对采集到的原始的EEG信号进行滤波、频谱分析、时频分析，以获取对应的时域信息、频谱信息、时频谱图；
[0013]b.特征提取：基于卷积神经网络算法CNN针对所述EEG信号的时域、频域、时频域分别构建深度模型一、二和三，以挖掘所述EEG信号分类相关的特征；
[0014]c.特征融合：对所述深度模型一、二和三分别针对所述EEG信号的时域、频域、时频域挖掘出的EEG特征进行融合；
[0015]d.特征分类：构建分类器，以对SSVEP进行识别并分类。
[0016]优选的，采用无限冲击响应IIR带阻滤波器和有限冲击响应FIR带通滤波器，对所述EEG信号进行滤波处理，其中数字滤波器，可以用以下常系数线性差分方程表示:
[0017][0018]其中，x(n),y(n)分别是输入和输出信号的序列，a
i
和b
j
‑1为滤波器的系数，当b
j
‑1均为零时，该滤波器为FIR数字滤波器，当b
j
‑1不均为零时，则为IIR数字滤波器，滤波器去除工频干扰、低频成分和高频成分，保留SSVEP刺激频率和其K次谐波对应的EEG频谱范围的成分(如K取3)。
[0019]优选的，针对所述EEG信号采用谱估计进行频域分析，所述谱估计选取经典功率谱分析方法中的直接法及其改进方法，包括Bartlett法、Welch法和Nuttall法，还利用时频分析所述EEG信号，以得出各个时刻的瞬时频率及其幅值，对应选用的时频谱分析方法包括短时傅里叶变换、小波变换、维格纳方程。
[0020]优选的，所述EEG信号进行频域分析选用Welch法谱估计：
[0021]将有限长序列x(n)分段，将长度为N的数据分为L段，每段长度为M，每一段有部分重叠，然后对每一段数据用一个窗函数进行平滑处理，先对每段数据用直接法进行谱估计，然后对L段求平均得到长度为N的数据的功率谱，可得功率谱为：
[0022][0023]式中w(n)是窗函数。
[0024]优选的，选用小波变换WT针对所述EGG信号进行时频分析，将信号转化为时频谱图：
[0025]对于x(t)信号的连续小波变换表示如下：
[0026]设函数ψ(t)∈L2(R)即能量有限)如果满足：
[0027][0028]则称：ψ(t)为一个基本小波和小波母函数，式中φ(ω)为ψ(t)的傅里叶变换，上式也可称为容性条件，满足容许条件，小波变换的逆变换存在；
[0029]令：
[0030][0031]式中a为尺度因子，b为位移因子。ψ
a,b
(t)是由母小波经过伸缩变换得到的分析小波；
[0032]小波变换WT表示如下：
[0033][0034]其中ψ
*
(t)为ψ(t)的共轭，通过a值收缩和伸张小波，以实现对不同频率信号的逼近，通过b值，以使小波能够遍历信号的时间轴。
[0035]优选的，所述深度模型一、二的网络结构：均先采用数层一维卷积神经网络CNN1D和池化层，然后使用改进的Inception结构进行堆叠，并引入基于残差神经网络的恒等连接结构，网络的输出是对应的特征矩阵。
[0036]优选的，所述深度模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，其特征在于：包括以下步骤：a.数据预处理，分别对采集到的原始的EEG信号进行滤波、频谱分析、时频分析，以获取对应的时域信息、频谱信息、时频谱图；b.特征提取：基于卷积神经网络算法CNN针对所述EEG信号的时域、频域、时频域分别构建深度模型一、二和三，以挖掘所述EEG信号分类相关的特征；c.特征融合：对所述深度模型一、二和三分别针对所述EEG信号的时域、频域、时频域挖掘出的EEG特征进行融合；d.特征分类：构建分类器，以对SSVEP进行识别并分类。2.根据权利要求1所述的一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，其特征在于：采用无限冲击响应IIR带阻滤波器和有限冲击响应FIR带通滤波器，对所述EEG信号进行滤波处理，其中数字滤波器，可以用以下常系数线性差分方程表示:其中，x(n),y(n)分别是输入和输出信号的序列，a
i
和b
j
‑1为滤波器的系数，当b
j
‑1均为零时，该滤波器为FIR数字滤波器，当b
j
‑1不均为零时，则为IIR数字滤波器，所述滤波器去除工频干扰、低频成分和高频成分，保留SSVEP刺激频率和其K次谐波对应的EEG频谱范围的成分。3.根据权利要求1所述的一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，其特征在于：针对所述EEG信号采用谱估计进行频域分析，所述谱估计选取经典功率谱分析方法中的直接法及其改进方法，包括Bartlett法、Welch法和Nuttall法，还利用时频分析所述EEG信号，以得出各个时刻的瞬时频率及其幅值，对应选用的时频谱分析方法包括短时傅里叶变换、小波变换、维格纳方程。4.根据权利要求3所述的一种基于时、频和时频域分析和深度学习的SSVEP的识别方法，其特征在于：所述EEG信号进行频域分析选用Welch法谱估计：将有限长序列x(n)分段，将长度为N的数据分为L段，每段长度为M，每一段有部分重叠，然后对每一段数据用一个窗函数进行平滑处理，先对每段数据用直接法进行谱估计，然后对L段求平均得到长度为N的数据的功率谱，可得功率谱为：式中w(n)是窗函数。5.根据权利要求3所述的一种基于时、频和时频域分析和深度学习的SSVEP的识别方法...

【专利技术属性】
技术研发人员：陈宝娜，
申请(专利权)人：燧人上海医疗科技有限公司，
类型：发明
国别省市：