基于卷积神经网络的想象言语脑电信号解码方法技术

本发明专利技术公开了一种基于卷积神经网络的想象言语脑电信号解码方法。该方法提出了一种用图片诱发受试者产生想象言语的流程，采用多尺度时间卷积和膨胀卷积构造卷积神经网络解码想象言语脑电信号。具体步骤包括：诱发受试者产生想象言语，生成训练集和测试集，构建卷积神经网络，训练卷积神经网络，输出想象言语脑电信号解码结果。本发明专利技术克服了现有技术诱发出的脑电信号包含想象言语信息较少，想象言语脑电信号解码方法采用单一尺度卷积核，解码中某些频段特征丢失，且脑电信号长时间的特征难以提取的问题，使得本发明专利技术提高了对想象言语脑电信号的分类准确率。信号的分类准确率。信号的分类准确率。

【技术实现步骤摘要】
基于卷积神经网络的想象言语脑电信号解码方法


[0001]本专利技术属于信息处理
，更进一步涉及脑
‑
机接口
中的一种基于卷积神经网络的想象言语脑电信号解码方法。本专利技术可以解码人脑中产生想象言语时对应的脑电信号。

技术介绍

[0002]想象言语是不依赖于发声器官而产生的大脑内部言语活动。虽然想象言语无法被肉眼直接观察到，但在大脑的言语功能区(布洛卡区和威尔尼克区)可以通过EEG脑电图观察到明显的高频活动。借助脑电信号采集和解码技术直接解码想象言语内容，为闭锁症患者提供了一种自然直观的外界交互方式。目前发音想象的诱发范式有视觉诱发、听觉诱发、视听结合诱发，但大多数诱发范式诱发出的脑电信号包含的想象言语信息不足以进行高效解码。目前对产生想象言语时脑电信号的解码方法主要有手工提取特征、机器学习方法和利用神经网络，但这些方法都无法有效地提取想象言语脑电信号特征，解码的精度都较低。
[0003]Lawhern V J在其发表的论文“EEGNet:A Compact Convolutional Neural Network for EEG
‑
based Brain
‑
Computer Interfaces”(Journal ofneural engineering,2018,15(5):056013)中提出了一个基于分类和解释的卷积网络(EEGNet)的脑电信号检测方法，采用了深度和分离卷积网络，封装特定脑电信号特征提取概念，从而构建了EEGNet模型。EEGNet模型从时间卷积开始学习频率滤波器，然后使用深度卷积分别连接到每个特征图，学习特定频率的空间滤波器。可分离卷积是深度卷积的组合，深度卷积分别学习每个特征图的综合时态，然后是逐点卷积，学习将最优的混合特征合并在一起。EEGNet模型引入深度和可分离的卷积网络封装特定脑电信号体征提取来检测脑电信号。该方法存在的不足之处是：卷积核的大小固定，不能有效提取特定频段的脑电信号特征信息，存在特征丢失的问题，而且脑电信号中长时间的特征无法被有效提取，降低了脑电信号解码的精度。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术的不足，提出了一种基于卷积神经网络的想象言语脑电信号解码方法，用于解决脑电信号中包含的想象言语信息不足，传统卷积神经网络卷积核的大小固定，不能有效提取特定频段的脑电信号特征信息，存在特征丢失的问题。
[0005]实现本专利技术目的的思路是：设计想象言语实验范式，采用图片来诱发受试者产生想象言语脑电信号，使受试者脑电信号包含更多想象言语信息；在卷积神经网络中引入多尺度卷积与膨胀卷积，提取想象言语脑电信号多频段的特征，减少特征丢失的概率，实现想象言语脑电信号高效解码。
[0006]本专利技术的具体步骤如下：
[0007](1)诱发受试者产生想象言语：
[0008](1a)通过屏幕向受试者展示至少8种不同目标类别的图片，诱导受试者产生与每种目标类别图片相对应的想象言语；其中，每种目标类别的图片至少有10张；
[0009](1b)每次诱发过程从每一种目标类别图片的至少10张图片中随机抽取一张展示，受试者观察目标类别的图片时进行相应的想象言语任务；；
[0010](1c)将所有目标类别图片各一次诱发过程组成一个单元，至少20个单元组成一个区块，至少10个区块组成整个想象言语脑电信号的诱发与采集过程每种目标类别图片至少进行200次诱发过程；
[0011](2)生成训练集和测试集：
[0012](2a)采集每位受试者每种目标类别的想象言语脑电信号的样本数至少200个；
[0013](2b)对每个样本进行预处理；
[0014](2c)将每位受试者预处理后的样本按照8:2的比例分为训练集、测试集；
[0015](3)构建一个由四个串联的模块组成的HS
‑
STDCN卷积神经网络：
[0016](3a)第1个模块包含依次串联的时间卷积层、批归一化层和相加层；时间卷积层设置有32个卷积核，其中包含一组8个大小均为1
×
63的卷积核、一组8个大小均为1
×
31的卷积核、一组8个大小均为1
×
19的卷积核、一组8个大小均为1
×
7的卷积核；所有卷积核的步长均设置为1，卷积后得到4组8通道的特征图；4组特征图经过批归一化层进行归一化；归一化后的4组8通道特征图送入相加层，每组之间对应的通道按元素进行相加，得到1组8通道特征图；
[0017](3b)第2个模块包含依次串联的空间卷积层、批归一化层、ELU激活层、平均池化层；空间卷积核数量设置为16个，空间卷积层中的卷积核大小设置为1
×
C，C与脑电信号的采集通道数相同，卷积步长设置为1；平均池化层下采样滤波器尺寸设置为1
×
16；Dropout层的drop_rate设为0.2；
[0018](3c)第3个模块包含两个相同的、依次串联的时间膨胀卷积单元；每个时间膨胀卷积单元包含两条并联的信息传输路径和与两条信息传输路径串联的合并层，其中一条信息传输路径包含依次连接的一维时间膨胀卷积层、批归一化层、ELU激活层、Dropout层、一维时间膨胀卷积层、批归一化层、ELU激活层、Dropout层；两个一维时间膨胀卷积层的卷积核个数均为16，大小均为1
×
3，前后两个一维时间膨胀卷积层的膨胀系数分别为1和2，卷积步长均设置为1；Dropout层的Dropout_rate设为0.3；另一条信息传输路径包含16个大小均为1
×
1的卷积核；两条信息传输路径的输出在合并层按元素相加；
[0019](3d)第4个模块包含一个以softmax为激活函数层的全连接层；全连接层输出8种目标类别的分类置信度，选取置信度最大的类别作为最终分类输出类别；
[0020](4)训练HS
‑
STDCN卷积神经网络：
[0021]将训练集输入到卷积神经网络中，采用Adam算法迭代更新网络参数，直至交叉熵损失函数收敛为止，得到训练好的HS
‑
STDCN卷积神经网络；
[0022](5)输出想象言语脑电信号解码结果：
[0023]将采集到的同一受试者测试集送入到训练好的卷积神经网络中，进行前向传播，得到解码结果。
[0024]本专利技术与现有技术相比较，具有以下优点：
[0025]第一，本专利技术提出了一种采用图片来诱发被试者产生想象言语脑电信号的范式，
图片包含更多的语义信息，能诱发出信息量更多的脑电信号，克服了现有技术诱发范式如通过声音或单纯文字提示诱发出的脑电信号包含想象言语信息较少的问题，使得本专利技术诱发的想象言语脑电信号包含更多可用于解码的信息，能够更加高效地被解码。
[0026]第二，本专利技术提出了一种由四个串联的模块组成的端到端的HS
‑
ST本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的想象言语脑电信号解码方法，其特征在于，设计了能诱发受试者产生包含更多言语信息的脑电信号的想象言语范式，构建了多尺度卷积和膨胀卷积HS
‑
STDCN卷积神经网络，该方法的步骤包括如下：(1)诱发受试者产生想象言语：(1a)通过屏幕向受试者展示至少8种不同目标类别的图片，诱导受试者产生与每种目标类别图片相对应的想象言语；其中，每种目标类别的图片至少有10张；(1b)每次诱发过程从每一种目标类别图片的至少10张图片中随机抽取一张展示，受试者观察目标类别的图片时进行相应的想象言语任务；(1c)将所有目标类别图片各一次诱发过程组成一个单元，至少20个单元组成一个区块，至少10个区块组成整个想象言语脑电信号的诱发与采集过程；每种目标类别图片至少进行200次诱发过程；(2)生成训练集和测试集：(2a)采集每位受试者每种目标类别的想象言语脑电信号的样本数至少200个；(2b)对每个样本进行预处理；(2c)将每位受试者预处理后的样本按照8:2的比例分为训练集、测试集；(3)构建一个由四个串联的模块组成的HS
‑
STDCN卷积神经网络：(3a)第1个模块包含依次串联的时间卷积层、批归一化层和相加层；时间卷积层设置有32个卷积核，其中包含一组8个大小均为1
×
63的卷积核、一组8个大小均为1
×
31的卷积核、一组8个大小均为1
×
19的卷积核、一组8个大小均为1
×
7的卷积核；所有卷积核的步长均设置为1，卷积后得到4组8通道的特征图；4组特征图经过批归一化层进行归一化；归一化后的4组8通道特征图送入相加层，每组之间对应的通道按元素进行相加，得到1组8通道特征图；(3b)第2个模块包含依次串联的空间卷积层、批归一化层、ELU激活层、平均池化层；空间卷积核数量设置为16个，空间卷积层中的卷积核大小设置为1
×
C，C与脑电信号...

【专利技术属性】
技术研发人员：李甫，晁伟兵，李意，付博勋，冀有硕，吴昊，石光明，张利剑，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：