【技术实现步骤摘要】
本专利技术涉及人体脑电信号处理，尤其涉及一种基于注意力机制的多模态时序信息融合脑电解码方法。
技术介绍
1、脑机接口通过脑电信号实现人体大脑与外部设备之间的直接通信，已经成为一种新型的人机交互方式。脑机接口(brain-computer interface,bci)是一种直接将大脑活动与外部设备进行交互的技术。通过脑机接口技术，人们可以通过大脑活动来控制外部设备，实现脑控制游戏、脑控制机器人、脑控制轮椅等应用。脑机接口技术在康复医学、辅助通信、虚拟现实等领域具有广泛的应用前景。脑电解码在提高脑机接口的准确性与稳定性等方面具有重要的研究意义。
2、传统脑电解码方法依赖于人工设计的特征提取算法，有一定的局限性。基于卷积神经网络的脑电解码方法受限于卷积核的大小，只能学习局部数据的信息，忽略了数据之间的长期关联性。
3、因此，提出一种基于注意力机制的多模态时序信息融合脑电解码方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于注意力机制的多模态时序信息融合脑电解码方法，可以有效提高脑电解码算法的准确性、鲁棒性和训练效果。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于注意力机制的多模态时序信息融合脑电解码方法，包括以下步骤：
4、s1、数据获取步骤：获取原始脑电数据以及待解码脑电数据；
5、s2、数据预处理步骤：对s1中获得的原始脑电数
6、s3、解码模型构建步骤：构建脑电解码模型，并利用s2中获得的脑电数据训练脑电解码模型，得到训练后的脑电解码模型；
7、s4、数据解码步骤：利用s3中训练后的脑电解码模型对s1中待解码脑电数据进行特征提取，并对提取后的特征进行进一步融合分类；
8、s5、分类步骤：采用s4中得到的融合特征对脑电分类。
9、上述的方法，可选的，s2中具体步骤包括：
10、通过信号分割重组算法人为生成脑电数据，包括：
11、s201将同一类别的原始脑电数据沿着时间维度同等地分割为若干段数据；
12、s202将不同段的数据随机组合在一起，并保持每段数据的次序与其所在原始数据中的次序相同，得到重组新生成的数据；
13、s203将经过重组新生成的数据作为脑电数据。
14、上述的方法，可选的，s4中具体步骤包括：
15、s401、特征提取步骤：对s1中获取的待解码脑电数据进行特征提取，得到均值特征和方差特征；
16、s402、特征关联步骤：基于自注意力机制模型，捕捉s2中均值特征以及方差特征内部自身特征的时序关联信息；
17、s403、特征融合步骤：基于卷积编码器融合均值特征和方差特征，生成融合特征。
18、上述的方法，可选的，s401中具体内容包括：
19、采用4种具有不同卷积核大小的2d卷积，提取局部的时序信息，将4个不同卷积计算结果沿卷积输出通道的维度进行拼接，采用空间卷积学习不同电极通道之间的信息，基于均值池化和方差池化，得到两种不同的特征，均值特征和方差特征。
20、上述的方法，可选的，s402中自注意力机制模型包括多头注意力机制以及前馈网络模型两部分，其中：
21、多头注意力机制，注意力的计算过程如下：
22、
23、其中，q,k和v是由向量拼接成的矩阵，dk表示向量的维度大小；kt表示矩阵k的转置矩阵；先将特征向量线性映射h次，得到h组不同的向量组合，各自计算注意力，并将结果拼接起来作为最终结果；整个计算过程表示为，
24、
25、其中，headi表示第i个注意力机制结果，wiq,wik,wiv表示计算第i个注意力机制过程中特征向量的线性映射，concat(head1,...,headh)表示将得到的全部注意力机制结果拼接起来，wo表示计算最终注意力机制结果过程中的线性映射；
26、前馈网络模型包括两个不同的线性变换，中间由gelu激活函数进行连接，整个计算过程为：
27、
28、ffn(x)＝gelu(xw1+b1)w2+b2
29、其中，erf(x)表示高斯误差函数，x表示特征向量，w1,w2分别表示两个不同线性变换的权重，b1,b2表示两个不同线性变换的偏置。
30、上述的方法，可选的，多头注意力机制与前馈网络模型均采用残差连接的方式。
31、上述的方法，可选的，s403中卷积编码器包括一个bn层和一个elu激活函数，经过卷积编码器计算后，均值特征和方差特征融合在一起，生成融合特征。
32、经由上述的技术方案可知，与现有技术相比，本专利技术一种基于注意力机制的多模态时序信息融合脑电解码方法，具有以下有益效果：
33、1、本申请提供的多模态时序信息提取以及融合策略：通过提出多模态时序信息提取和融合策略，能够同时处理不同模态的数据，并在融合阶段动态调整不同模态特征的权重，从而更好地捕捉数据之间的关联性，进一步增强了脑电解码的准确性和鲁棒性；
34、2、本申请提供的注意力机制方法：引入注意力机制方法，能够帮助模型集中注意力在与当前任务相关的特征上，从而捕捉不同特征之间的关联性；通过多头注意力机制和前馈网络模型的结合，能够更好地学习特征之间的关联信息，提高脑电解码模型的性能；
35、3、本申请提供的数据增强算法，能够人为生成更多的训练数据，从而提升整体模型的训练效果；通过信号分割重组算法，可以有效扩大训练数据集，增加脑电解码模型的泛化能力和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
3.根据权利要求2所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
4.根据权利要求3所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
5.根据权利要求4所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
6.根据权利要求5所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
7.根据权利要求6所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
【技术特征摘要】
1.一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
3.根据权利要求2所述的一种基于注意力机制的多模态时序信息融合脑电解码方法，其特征在于，
4.根据权利要求3所述的一种基于注意力机制的多模...
【专利技术属性】
技术研发人员：陈伟海，马鑫至，张越，张静，裴忠才，王建华，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。