一种基于时间-通道级联Transformer网络的脑电识别方法技术

本发明专利技术公开了一种基于时间

【技术实现步骤摘要】
一种基于时间
‑
通道级联Transformer网络的脑电识别方法


[0001]本专利技术属于脑机接口与深度学习领域，具体涉及了一种基于时间
‑
通道级联Transformer网络的脑电识别方法。

技术介绍

[0002]脑机接口(Brain Computer Interface,BCI)是一种涉及神经科学、信号处理、模式识别等多学科的交叉技术。它通过检测大脑神经活动来识别人的意图，将其转换成驱动外部设备的命令，并代替人的肢体或语言器官实现人与外界的交流以及对外部环境的控制，是一种新型的人机交互方式。随着相关领域的快速发展，脑机接口技术和理论研究已取得了显著进展，在国际上已受到广泛关注，并成为生物医学工程、计算机技术、通信等领域的研究热点之一。
[0003]为了实现神经元网络的高分辨率活动映射，可通过在脑内植入一组紧密排列的微电极阵列(Microelectrode Arrays,MEA)，在亚毫秒时间尺度上长期记录大脑皮层对应位置处的脑神经元电位活动。MEA的关键优势在于能够同时记录和刺激多个部位的神经元。以高灵敏度和高稳定性的电极排列记录目标神经元集群的信号，具有较高的信噪比和良好的时间、空间分辨率，可以同时保证大范围和高精度地记录神经元动作电位的精确发放时间和波形，为充分抽提神经信息，解读脑神经网络的活动奠定坚实基础。
[0004]神经系统疾病患者由于身体某部位神经受损而导致无法与外界进行有效的沟通，现有研究表明通过对受损脑区植入微电极阵列的形式可以用意念控制机械臂、意念打字、意念控制言语、唤起触觉等通过电刺激恢复丧失的一些功能，因此基于意念想象的脑电信号识别是BCI的重要发展方向。通过对意念想象脑电信号的分析，可以识别人脑在想象过程中的神经活动，从而使行动不便的患者可以将其思想和意图传达给外界，进一步实现神经解码。因此对意念想象脑电信号识别的研究，可以提升对大脑神经认知、大脑疾病康复的探索，在新型人机交互领域具有重要的研究价值和现实意义。本专利技术主要针对意念想象领域中字符想象脑电信号识别任务。
[0005]近年来，随着深度学习在计算机视觉、自然语言处理等研究领域的广泛应用，神经网络具有强大处理非线性和高维数据能力，因此也应用于脑机接口的数据分析之中。侵入式BCI具有较高的信噪比和良好的时间、空间分辨率，以高灵敏度和高稳定性的电极排列记录目标神经元集群的信号。以往算法在对脑电信号识别时通常只关注时间序列下的脑电特征，很少关注不同特征通道的重要性，使用的方法例如卷积神经网络(CNN)存在的问题在于依赖卷积核的选择，循环神经网络(RNN)存在的问题在于无法处理序列并行化，只关注于先前的记录和当前的状态。因此本专利技术提出一种基于时间
‑
通道级联Transformer网络的脑电识别方法，利用自注意力机制对时间维度和脑电通道维度信息进行特征提取，并通过残差级联的方式融合，进一步提取脑电通道特征信息。本专利技术可以有效地提高对字符想象脑电信号的识别性能。

技术实现思路

[0006]本专利技术提出一种基于时间
‑
通道级联Transformer网络的脑电识别方法，该方法可有效提高字符想象脑电信号的识别准确率。
[0007]本专利技术解决其技术问题所采用的技术方案包括如下步骤，如图1所示：
[0008]步骤S1：获取意念想象英文字符脑电数据，构建预处理模块，使用时间对齐技术进行数据预处理操作，该预处理模块的输入是意念想象英文字符脑电数据，该预处理模块的输出是预处理后的脑电数据；
[0009]步骤S2：构建时间
‑
通道级联Transformer网络的时间模块，该时间模块的输入数据为步骤S1输出的预处理后的脑电数据，该时间模块的输出是提取后的时间特征；
[0010]步骤S3：构建时间
‑
通道级联Transformer网络的脑电通道模块，该脑电通道模块的输入数据为步骤S2输出的时间特征，该脑电通道模块的输出是提取后的时空融合特征；
[0011]步骤S4：构建时间
‑
通道级联Transformer网络的分类模块，该分类模块的输入为步骤S3输出的时空融合特征，该分类模块的输出为分类结果。
[0012]本专利技术有益效果如下：
[0013]本专利技术提出了一种基于时间
‑
通道级联Transformer网络的脑电识别方法，其网络框图如图2所示。时间
‑
通道级联Transformer网络包括了时间模块，脑电通道模块和分类模块，分别用于获取时间特征，时空融合特征以及分类结果。同时，时间
‑
通道级联Transformer网络采用随机位置编码，增加分类标识位，以实现高精度的字符想象脑电分类性能。
附图说明
[0014]图1为本专利技术的主要步骤流程示意图
[0015]图2为时间
‑
通道级联的Transformer网络框图
[0016]图3为时间
‑
通道级联的Transformer网络模块内部结构图
具体实施方式
[0017]下面结合附图和实施例对本专利技术作进一步说明。
[0018]如图1
‑
3所示，一种基于时间
‑
通道级联Transformer网络的脑电识别方法，具体步骤如下：
[0019]步骤S1：获取意念想象英文字符脑电数据，构建预处理模块，使用时间对齐技术进行数据预处理操作，该预处理模块的输入是意念想象英文字符脑电数据，该预处理模块的输出是预处理后的脑电数据；
[0020]步骤S2：构建时间
‑
通道级联Transformer网络的时间模块，该时间模块的输入数据为步骤S1输出的预处理后的脑电数据，该时间模块的输出是提取后的时间特征；
[0021]步骤S3：构建时间
‑
通道级联Transformer网络的脑电通道模块，该脑电通道模块的输入数据为步骤S2输出的时间特征，该脑电通道模块的输出是提取后的时空融合特征；
[0022]步骤S4：构建时间
‑
通道级联Transformer网络的分类模块，该分类模块的输入为步骤S3输出的时空融合特征，该分类模块的输出为分类结果。
[0023]所述步骤S1包括：
[0024]所述的意念想象英文字符脑电数据获取方法为成熟技术，通常的数据大小为201*192。
[0025]所述的预处理模块采用时间对齐技术(F.R.Willett,D.T.Avansino,L.R.Hochberg,et al.High
‑
performance brain
‑
to
‑
text communication via handwriting)为成熟技术，用于消除意念想象字符书写速度的不一致问题，输出的数据大小与输入数据大小一致。
[0026]所述步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间
‑
通道级联Transformer网络的脑电识别方法，其特征在于包括如下步骤：步骤S1：获取意念想象英文字符脑电数据，构建预处理模块，使用时间对齐技术进行数据预处理操作，该预处理模块的输入是意念想象英文字符脑电数据，该预处理模块的输出是预处理后的脑电数据；步骤S2：构建时间
‑
通道级联Transformer网络的时间模块，该时间模块的输入数据为步骤S1输出的预处理后的脑电数据，该时间模块的输出是提取后的时间特征；步骤S3：构建时间
‑
通道级联Transformer网络的脑电通道模块，该脑电通道模块的输入数据为步骤S2输出的时间特征，该脑电通道模块的输出是提取后的时空融合特征；步骤S4：构建时间
‑
通道级联Transformer网络的分类模块，该分类模块的输入为步骤S3输出的时空融合特征，该分类模块的输出为分类结果。2.根据权利要求1所述的一种基于时间
‑
通道级联Transformer网络的脑电识别方法，其特征在于预处理模块采用时间对齐技术使得输出的数据大小与输入数据大小一致。3.根据权利要求1所述的一种基于时间
‑
通道级联Transformer网络的脑电识别方法，其特征在于所述的时间模块其结构依次为：步骤S1输出的预处理数据作为输入特征
‑
>位置编码层
‑
>多头自注意力机制模块
‑
>残差连接层
‑
>LN正则化层
‑
>前馈网络
‑
>残差连接层
‑
>LN正则化层
‑
>输出时间特征Ⅰ；时间模块部分循环执行2次，第一次输出的时间特征
Ⅰ‑
>多头自注意力机制模块
‑
>残差连接层
‑
>LN正则化层
‑
>前馈网络
‑
>残差连接层
‑
>LN正则化层
‑
>输出时间特征Ⅱ。4.根据权利要求1所述的一种基于时间
‑
通道级联Transformer网络的脑电识别方法，其特征在于多头自注意力机制模块将输入特征映射到不同的子空间，然后对所有子空间进行点乘运算，计算出注意力向量；最后将所有子空间中计算的注意力向量拼接并映射到原始输入空间，得到最终的注意力向量作为输出；多头自注意力机制模块的表达式如下式(1)：其中，代表不同的子空间，查询向量Q、键向量K和值向量V作为多头自注意力模块的输入，为不同子空间中Q的映射矩阵，为不同子空间中K的映射矩阵，为不同子空间中V的映射矩阵，W
O
由所有子空间中的拼接而成；单独子空间上注意力向量计算方式依次为：首先将查询向量Q与键向量K进行点乘运算，再除以键向量K的维度平方根得到查询向量Q的分数矩阵，Softmax函数具有很好的感知能力，利用它进行归一化得到权重矩阵，再乘以值向量V即得到一个子空间的注意力向量，表达式如下式(2)：其中，Q、K、V的参数矩阵维度d
q
、d
k
和d
v
均为为128，注意力头head的数量为16，d
model
为
256；通过线性变换，将查询向量Q从d
model
维度映射为d
q
*head，将键向量K从d
model
维度映射为d
k
*head，将值向量V从d
model
维度映射为d
v
*head。5.根据权利要求3或4所述的一种基于时间
‑
通道级联Transfor...

【专利技术属性】
技术研发人员：周文晖，王宇涵，莫良言，孔万增，戴国骏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：