基于集成Transformer的运动想象解码方法和解码系统技术方案

本申请公开基于集成Transformer的运动想象解码方法和解码系统，解码方法包括以下步骤：规范化EEG脑电信号数据；滑动时间窗口数据划分，以预定时间窗口参数切分通道数据，扩增数据量；Transformer模型自动特征提取，包括：将经过规范化和划分后的脑电数据转换成时间序列，然后将每一列数据捆绑成一个一维向量作为输入Transformer的单个词向量；对输入的数据进行嵌入处理；对嵌入后的数据进行位置编码；将编码后的数据输入至自注意力机制模块，以抽取得到与全序列相关的全局特征，进行特征抽取；全连接分类网络；投票策略处理，包括依次进行模型训练和数据测试。本申请提供的运动想象解码方法和解码系统能够有效提高分类解码的准确率，并具有良好的通用性和泛化性能。好的通用性和泛化性能。好的通用性和泛化性能。

【技术实现步骤摘要】
基于集成Transformer的运动想象解码方法和解码系统


[0001]本专利技术涉及运动想象
，尤其涉及基于集成Transformer的运动想象解码方法和解码系统。

技术介绍

[0002]脑机接口技术是一种依托于脑科学发展起来的新兴技术，在医疗、教育等领域发挥着越来越重要的作用。
[0003]脑机接口技术包含着运动想象、稳态视觉诱发电位等多个研究方向，其中通过运动想象与外部医疗器械的结合帮助肢体运动障碍患者实现残障肢体康复方面的应用也越来越多。运动想象康复训练一般是依次通过设计运动想象方式、脑电帽获取脑电波和算法来实现脑电波解码，进而实现对于患者运动意图的识别，最后将识别信号传递给外部辅助医疗器械实现肢体运动。
[0004]当前脑电信号解码的识别算法有很多，但大多是通过机器学习的方法实现特征提取，再将提取到的特征送入分类器进行分类解码。这些机器学习算法往往需要大量的经验知识才能提取出有效的特征，非常耗费时间；同时，由于大多数算法都是基于单个被试者，数据量往往较小，不能很好地表征真实的数据分布，这也导致了训练处理的模型泛化性能有限，在实际的应用中存在巨大挑战。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术提供一种基于集成Transformer的运动想象解码方法和解码系统，能节省特征提取的时间，提高模型的鲁棒性。
[0006]为达到本专利技术以上至少一个优势，第一方面，本专利技术提供一种基于集成Transformer的运动想象解码方法，包括以下步骤：S100，规范化EEG脑电信号数据，规范化公式为：，其中表示输入信号，为均值，为标准差，使得通道数据的均值为0，且幅值处于预定范围内；S200，滑动时间窗口数据划分，以预定时间窗口参数切分所述通道数据，扩增数据量，其中所述预定时间窗口参数包括窗口大小数据和滑动步长参数；S300，Transformer模型自动特征提取，包括：S310，将经过规范化和划分后的脑电数据转换成时间序列，其中,为通道数，为采样点数，然后将每一列数据捆绑成一个一维向量作为输入Transformer的单个词向量，其中表示时间序列中的第个位置，，将数据转换为形式；S320，对输入的数据进行嵌入处理，使得数据的输入契合Transformer模型数据输入的需要；
S330，对嵌入后的数据进行位置编码；S340，将编码后的数据输入至自注意力机制模块，以抽取得到与全序列相关的全局特征，进行特征抽取；S400，全连接分类网络；S500，投票策略处理，包括依次进行模型训练和数据测试。
[0007]根据本专利技术一实施例，在步骤S200中，设定原始数据为，其中为通道数，为采样点数，设定窗口大小为0.8，步长为0.05，切分出五个时间片段数据，分别为：，，，，。
[0008]根据本专利技术一实施例，在步骤S320中，通过对输入数据的嵌入处理，重新对输入的单个词向量进行编码，编码方式通过线性连接层实现，即。
[0009]根据本专利技术一实施例，在步骤S330中，所述位置编码使用cosine编码，cosine编码公式为：，其中为词向量维度，为时间点，为词向量每一个维度数据的位置。
[0010]根据本专利技术一实施例，在步骤S340中，将输入数据做三维全连接网络得到Q、K、V三个矩阵，然后做全时间序列的点积计算相似度，从而抽取得到与全序列相关的全局特征，其中多头代表通过不同的全连接得到多个Q、K、V矩阵去做计算多重尺度下的相似度。
[0011]根据本专利技术一实施例，在步骤S340中，在进行特征抽取过程中加入残差连接。
[0012]根据本专利技术一实施例，在步骤S340中，在多头自注意力机制之后进行层归一化，进而对数据进行归一化。
[0013]根据本专利技术一实施例，在步骤S400中，依次包括以下步骤：S410，首先将Transformer网络中提取的特征进行平化操作；S420，设置整个分类网络形成两层隐藏层，隐藏层的大小由大到小平滑减小；S430，使用交叉熵损失函数，公式如下： ；优化器使用的随机梯度下降(SGD)进行反向传播更新网络参数，学习率设置为0.0001。
[0014]根据本专利技术一实施例，在步骤S500中，通过Transformer网络进行模型训练；数据测试具体为：使用滑动时间窗进行数据切分，对切分后的数据进行数据预测，得到预测结果，统计不同类别预测结果的个数，其中个数多的分类结果为最终预测结果。
[0015]第二方面，本专利技术提供一种基于集成Transformer的运动想象解码系统，包括：
脑电数据规范单元，用于规范EEG脑电信号数据，使得通道数据的均值为0，且幅值处于预定范围内；滑动时间窗口数据划分单元，用于以预定时间窗口参数切分所述通道数据，以扩增数据量，其中所述预定时间窗口参数包括窗口大小数据和滑动步长参数；Transformer模型自动特征提取单元，用于进行前述基于集成Transformer的运动想象解码方法的Transformer模型自动特征提取；全连接分类网络单元；以及投票策略处理单元，其中所述投票策略处理单元包括模型训练单元和数据测试单元。
[0016]如上所述，本专利技术的基于集成Transformer的运动想象解码方法和解码系统，具有如下有益效果：通过首先将数据进行规范化处理，然后使用滑动时间窗口将数据切分成多份，以扩增数据量，然后再将多个被试的数据全部放入Transformer网络模型中进行自动特征提取，并通过数据切分以及多被试数据一起训练来增加数据量，以加强模型泛化性能，最后将模型提取出的特征使用全连接层进行分类，能够大大提高分类的准确率；另外，在数据测试阶段同样使用滑动窗口切成多份数据，使用模型训练预测出多个结果，最后使用投票策略集成多个预测结果，实现最终测试集的预测结果输出，能够有效提高整个模型的鲁棒性；通过Transformer模型自动特征提取，省去了手动特征提取中观察数据、分析数据以及验证特征差异性的时间。
[0017]本专利技术的这些和其它目的、特点和优势，通过下述的详细说明，得以充分体现。
附图说明
[0018]图1示出了本申请一较佳实施例基于集成Transformer的运动想象解码方法的原理示意图。
[0019]图2示出了本申请中滑动窗口切分数据的原理示意图。
[0020]图3示出了本申请中Transformer整体结构示意图。
[0021]图4示出了本申请Transformer网络中点积运算与多头注意力机制的计算结构示意图 。
[0022]图5示出了本申请投票策略处理中模型训练和数据测试的原理示意图。
[0023]图6示出了本申请中跨被试下不同方法的准确率数据表。
[0024]图7示出了本申请中跨被试下不同方法的准确率条形统计对比图。
具体实施方式
[0025]以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于集成Transformer的运动想象解码方法，其特征在于，包括以下步骤：规范化EEG脑电信号数据；滑动时间窗口数据划分，以预定时间窗口参数切分通道数据，扩增数据量，其中所述预定时间窗口参数包括窗口大小数据和滑动步长参数；Transformer模型自动特征提取；全连接分类网络；投票策略处理，包括依次进行模型训练和数据测试。2.如权利要求1所述基于集成Transformer的运动想象解码方法，其特征在于，所述Transformer模型自动特征提取，包括：将经过规范化和划分后的脑电数据 转换成时间序列，其中,为通道数，为采样点数，然后将每一列数据捆绑成一个一维向量作为输入Transformer的单个词向量，其中表示时间序列中的第个位置，，将数据转换为形式；对输入的数据进行嵌入处理，使得数据的输入契合Transformer模型数据输入的需要；对嵌入后的数据进行位置编码；将编码后的数据输入至自注意力机制模块，以抽取得到与全序列相关的全局特征，进行特征抽取。3.如权利要求2所述基于集成Transformer的运动想象解码方法，其特征在于，在所述滑动时间窗口数据划分，以预定时间窗口参数切分通道数据，扩增数据量，其中所述预定时间窗口参数包括窗口大小数据和滑动步长参数中，设定原始数据为，其中为通道数，为采样点数，设定窗口大小为0.8，步长为0.05，切分出五个时间片段数据，分别为：，，，，。4.如权利要求3所述基于集成Transformer的运动想象解码方法，其特征在于，在所述对输入的数据进行嵌入处理，使得数据的输入契合Transformer模型数据输入的需要中，通过对输入数据的嵌入处理，重新对输入的单个词向量进行编码，编码方式通过线性连接层实现，即。5.如权利要求4所述基于集成Transformer的运动想象解码方法，其特征在于，在所述对嵌入后的数据进行位置编码中，所述位置编码使用cosine编码，cosine编码公式为：，其中为词向量维度，为时间点，为词向量每一个维度数据的位置。6.如权利要求5所述基于集成Transformer的运动想象解码方法，其特征在于，在所述将编...

【专利技术属性】
技术研发人员：周良伟，魏家豪，李迎新，金晶，王薇，
申请(专利权)人：上海术理智能科技有限公司，
类型：发明
国别省市：