一种基于Transformer时空特征学习的运动想象脑电解码方法技术

本发明专利技术涉及一种基于Transformer时空特征学习的运动想象脑电解码方法，属于运动想象脑电技术领域。首先对原始的运动想象脑电数据进行滤波处理，再构建空间模块，该模块使用点积注意力机制对数据的特征通道进行加权，以获取各个通道之间的相互关联程度，然后构建时间模块，对数据采用多头注意力机制，从不同的角度感知脑电信号的全局时间依赖关系，最后利用建立好的模型实现运动想象脑电信号的分类。通过在数据集BCICompetitionIVDataset 2a上进行验证，并与近年来具有良好表现的运动想象脑电信号分类方法进行比较，实验结果表明，本发明专利技术有更好的分类性能。有更好的分类性能。有更好的分类性能。

【技术实现步骤摘要】
一种基于Transformer时空特征学习的运动想象脑电解码方法


[0001]本专利技术涉及一种基于Transformer时空特征学习的运动想象脑电解码方法，属于运动想象脑电


技术介绍

[0002]脑机接口(brain computer interface,BCI)是基于大脑皮层或头皮表面产生的神经活动进行的，它不依赖于周围神经和人体肌肉的大脑组织的运行通路，可以直接把人头皮表面上提取到的脑电信息转换为对外部设备的控制命令，从而实现大脑与外部设备之间的通信。运动想象脑电图(motor imageryelectroencephalogram,MI
‑
EEG)是一种无需外部刺激的自我调节的脑电图，可通过电极检测到。BCI的一个主要挑战是从大脑活动中解释运动意图。高效的神经解码算法可以显著提高解码精度，从而提高BCI的性能。脑电信号的低信噪比、非线性、非平稳性等特点导致分类精度较低，为脑电解码带来了很大的挑战。因此，从预处理的脑电信号中提取特征以区分不同动作的脑电信号是BCI技术中最重要的部分，即脑电信号的特征提取与分类。
[0003]近些年来，深度学习的方法被大量应用于脑电信号的分类，它可以使用深度架构从原始MI
‑
EEG数据中自动学习高级和潜在的复杂特征，消除了手工特征提取的需要。卷积神经网络(convolutional neural networks,CNN)因其强大的局部特征学习能力而被广泛应用，但CNN的性能依赖于每一层卷积核的选择，大的卷积核会阻碍深层CNN的利用率，而小的卷积核则限制了CNN的感受野，如果没有相当深的结构，很难感知信号内部广泛的关系，这可能会导致大量的计算。研究者引入了循环神经网络(recurrent neural network,RNN)和长短时记忆网络(long
‑
short term memory,LSTM)的EEG信号分析方法，但是，这些方法仍然不足以处理更多的扩展数据，并且RNN只作用于先前的记忆和当前的状态。虽然LSTM能够捕获长距离依赖信息，但是无法并行计算，而卷积神经网络(CNN)能够并行计算，但是无法捕获长距离依赖信息，它需要通过层叠或者扩张卷积核来增大感受野。而Transformer模型在长序列特征相关性计算和模型可视化与可解释性方面优于其他模型，在处理长期依赖关系方面表现出更优的性能。

技术实现思路

[0004]本专利技术要解决的技术问题是提出一种基于Transformer时空特征学习的运动想象脑电解码方法，从而解决上述问题。
[0005]本专利技术的技术方案是：一种基于Transformer时空特征学习的运动想象脑电解码方法，具体步骤为：
[0006]Step1：构建预处理模块，对原始的运动想象脑电信号进行滤波处理。
[0007]Step2：构建空间变换模块，所述空间变换模块的输入数据为Step1输出的预处理后的运动想象脑电数据，所述空间变换模块的输出是提取后的空间特征。
[0008]Step3：构建时间变换模块，所述时间变换模块的输入数据为Step2输出的空间特征，所述时间变换模块的输出是运动想象脑电数据的时间特征。
[0009]Step4：构建分类模块。所述分类模块的输入为Step2和Step3学习到的时空特征输入到分类器得到运动想象分类结果。
[0010]所述的预处理为根据FBCSP的思想对原始的运动想象脑电信号进行滤波处理，并将多个OVR的输出进行叠加作为空间变换模块的输入。
[0011]将Step1得到的预处理的运动想象脑电信号经过卷积核为51，步长为1的卷积层对位置信息进行编码，位置编码后的输出作为空间变换模块的输入，然后将经过位置编码和空间变换后的特征序列作为多头注意力模型的输入。多头注意力模块是由3个相同的编码器层堆叠而成，每一层由5个注意力层和由两个完全连接层组成的前馈神经网络两个子层构成，两个子层的输出都经过层归一化和残差连接。
[0012]所述的空间变换模块为采用缩放点积注意力机制对特征通道进行加权，以获取通道之间的相关性。
[0013]所述加权具体为：
[0014]先将输入数据分别与三个不同的权重矩阵相乘得到查询(Query)向量Q、键(Key)向量K和值(Value)向量V，这三个权重矩阵大小相同，然后按公式(1)计算加权值，Q与K点乘的结果，再除以缩放因子进行归一化，再通过softmax函数，对应的就是各个通道之间的相互关联程度，然后乘上对应的矩阵V，得到最后的加权结果，即通道加权的表示，矩阵Q代表将用于匹配的每个通道，矩阵K代表使用点积的所有其他通道。
[0015][0016]其中，Attention(Q,K,V)是加权表示，查询向量Q、键向量K和值向量V是由向量打包的矩阵，作为缩放点积注意力模块的输入。
[0017]所述时间变换模块采用多头注意力机制模块，从不同的角度感知脑电信号的全局时间依赖关系，对经过空间模块压缩的数据进行切片，然后分成5个更小的部分，即头部，将各部分的输出线性变换并进行串联连接，最后将得到的注意力向量作为输出，具体如公式(2)
‑
(3)所示：
[0018]MutiHead(Q,K,V)＝Concat(head1,
…
,head
h
)W0ꢀꢀꢀ
(2)
[0019]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀ
(3)
[0020]其中，Concat是矩阵拼接函数，head
i
是第i个head的输出结果，h是head的个数，W0是最终输出的线性变换，W
iQ
,W
iK
,W
iV
分别为Q,K,V在第i个head上的线性变换。
[0021]对所述Step 4中和Step3中提取的时空特征进行层归一化和平均池化，再输入到一个完全连接层进行分类，经过分类模块输出对应的分类标签，通过与真实标签比对计算损失函数，所述损失函数为交叉熵损失函数，具体如下所示：
[0022][0023]其中，M是试验次数，N是类别数，第m次试验的真实标签，表示类别n第m次试验的预测概率。
[0024]本专利技术的有益效果是：可以在有限数据的情况下学习脑电信号的特征，并取得了良好的分类精度，有效提高运动想象脑电信号的分类准确率。
附图说明
[0025]图1是本专利技术步骤流程图；
[0026]图2是本专利技术基于Transformer的时空特征学习网络框图；
[0027]图3是本专利技术实施例中受试者的分类结果的混淆矩阵图；
[0028]图4是本专利技术实施例中受试者的训练损失和准确率曲线图。
具体实施方式
[0029]下面结合附图和具体实施方式，对本专利技术作进一步说明。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer时空特征学习的运动想象脑电解码方法，其特征在于：Step1：构建预处理模块，对原始的运动想象脑电信号进行滤波处理；Step2：构建空间变换模块，所述空间变换模块的输入数据为Step1输出的预处理后的运动想象脑电数据，所述空间变换模块的输出是提取后的空间特征；Step3：构建时间变换模块，所述时间变换模块的输入数据为Step2输出的空间特征，所述时间变换模块的输出是运动想象脑电数据的时间特征；Step4：构建分类模块；所述分类模块的输入为Step2和Step3学习到的时空特征输入到分类器得到运动想象分类结果。2.根据权利要求1所述的基于Transformer时空特征学习的运动想象脑电解码方法，其特征在于：所述的预处理为根据FBCSP的思想对原始的运动想象脑电信号进行滤波处理，并将多个OVR的输出进行叠加作为空间变换模块的输入。3.根据权利要求1所述的基于Transformer时空特征学习的运动想象脑电解码方法，其特征在于：所述的空间变换模块为采用缩放点积注意力机制对特征通道进行加权，以获取通道之间的相关性；所述加权具体为：先将输入数据分别与三个不同的权重矩阵相乘得到查询向量Q、键向量K和值向量V，然后按公式(1)计算加权值，得到最后的加权结果，即通道加权的表示，矩阵Q代表将用于匹配的每个通道，矩阵K代表使用点积的所有其他通道；其中，Attention(Q,K,V)是加权表示，查询向量Q、键向量K和值向量V是由向量打包的矩阵，作为缩放点积注意力模块的输入。4.根据权利要求1所述的基于Transformer时空特征学习的运动想象...

【专利技术属性】
技术研发人员：杨俊，殷喜喆，沈韬，宋耀莲，刘培，冯泽林，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：