一种基于数据转换的多分支运动想象脑电信号特征融合分类方法技术

本发明专利技术提供一种基于数据转换的多分支运动想象脑电信号特征融合分类方法，旨在扩充网络结构宽度即网络分支的基础上，将脑电波数据转换为不同的输入格式，使用多个分支网络进行处理，使用格拉姆角场作为新的转换后的数据格式输入网络，和深度分离卷积及时频图相比提供了更加丰富的特征，有利于提高特征提取的完整性，使得不同网络分支之间具有的显著特征不同，提取的特征相互互补。转换为不同的数据格式有利于训练网络学习不同类型的特征。同时使用了分类任务中大任务和小任务以及其他任务的约束，即使用网络不同的任务目标实现多种约束，有利于网络提取到通适性更高、更全面的特征，取得了更佳的运动想象脑电信号分类效果。取得了更佳的运动想象脑电信号分类效果。取得了更佳的运动想象脑电信号分类效果。

【技术实现步骤摘要】
一种基于数据转换的多分支运动想象脑电信号特征融合分类方法


[0001]本专利技术涉及脑电波信号特征提取与分类技术，特别涉及运动想象脑电波分类中的数据转换和多分支特征融合与分类技术。

技术介绍

[0002]脑机接口BCI通过分析大脑产生的电信号并将其转换为实际命令，为人机交互提供了新的方式。运动想象脑电波信号被广泛应用于BCI研究，这有助于控制人体外部的设备。通过对运动想象相关的脑电信号进行正确的解码，患有运动疾病的病人可以正确控制外骨骼、轮椅设备等，也可应用于对外部机器人、智能汽车的控制。正确地对运动想象脑电波信号进行解码，提高对运动想象信号的分类精度是有意义的。
[0003]脑电波信号受到外界噪声和自身肌电噪声等的影响，具有非常低的信噪比，从脑电波信号中正确分类是BCI技术的重要组成部分。传统方法主要集中在时域、频域和空间域进行处理。时域上依靠发现信号波形的统计属性，频域上侧重分类信号的频谱特性。结合时频域上，采用了局部特征尺度分解LCD、离散小波变换DWT及柔性解析小波变换FAWT等，空间域分析采用了通用空间模式CSP和滤波器组通用空间模式FBCSP等方法。主要使用的机器学习算法包括线性判别分析LDA和支持向量机SVM等。这些特征提取方法和分类方法是不连续的且需要人工筛选特征，需要先验知识，因此提取到的特征通常不够全面，工作量大，且分类不够准确。
[0004]随着深度学习的发展，BCI领域许多研究人员受到了启发，将各种深度学习方法应用于脑电波领域，可以依靠深度学习网络自适应地选择和提取特征，减少对先验知识和人工筛选的依赖。目前已经有了多种架构的神经网络用于脑电波的特征提取。包括使用深度可分离卷积的EEGNet，处理时间序列的LSTM等递归神经网络，以及将运动想象脑电波信号转换为频谱图像并馈送到CNN网络中处理的方法。
[0005]由于脑电波数据的低信噪比以及脑电波数据数量少，在使用深度学习网络进行训练时容易出现过拟合情况，常使用浅层神经网络。同时由于不同的脑电波特征提取网络使用了不同的输入格式进行处理，提取到的特征更偏向与单一方向的特征。目前运动想象脑电波分类任务中，一般是对多种肢体的任务进行分类，常用的包括左手、右手、舌头和双脚四种，或者对单个肢体的多种不同的任务进行分类例如对单手握拳与张开手掌、左右摆动手掌。

技术实现思路

[0006]本专利技术所要解决的技术问题是，针对现有运动想象脑电波深度学习网络深度较浅的情况，提供一种基于数据转换增加网络分支以及增加网络目标任务的运动想象脑电波信号特征融合分类方法，通过在宽度方面对网络结构进行拓展能够在一定程度上对抗过拟合的情况并提高精度。
[0007]本专利技术为解决上述技术问题所采用的技术方案是，一种基于数据转换的多分支运动想象脑电信号特征融合分类方法，包括以下步骤：
[0008]预处理步骤：将脑电波信号进行预处理得到多通道脑电时序信号，将多通道脑电时序信号三个分支网络中，同时进行第一、第二和第三分支处理步骤；
[0009]第一分支处理步骤：对各通道的脑电时序信号进行基于时序的深度可分离卷积生成第一分支特征谱，进入融合步骤；
[0010]第二分支处理步骤：对各通道的脑电时序信号进行小波变换获得时频图像，将时频图像进行叠加作为一个多通道的二维图像，将该二维图像送入基于VGG
‑
13的卷积编码网络生成第二分支特征谱，进入融合步骤的同时，将第二分支特征谱输入与卷积编码网络对称的基于VGG
‑
13反卷积的卷积解码网络生成对应的时频图像，再在卷积解码网络生成的时频图像与输入至卷积编码网络的时频图像之间求损失对运动想象脑电信号特征分类网络的第二分支处理的训练过程进行约束；
[0011]第三分支处理步骤：对各通道的脑电时序信号构建格拉姆角场，将获得的各个通道的格拉姆角场进行叠加作为一个多通道的二维图像，将该二维图像送入基于VGG
‑
13的的卷积编码网络生成第三分支特征谱，进入融合步骤的同时，将第三分支特征谱输入与卷积编码网络对称的基于VGG
‑
13反卷积的卷积解码网络生成对应的格拉姆角场，再在卷积解码网络生成的格拉姆角场与输入至卷积编码网络的格拉姆角场之间求损失对运动想象脑电信号特征分类网络的第三分支处理的训练过程进行约束；
[0012]融合步骤：分别将生成的第一分支特征谱、第二分支特征谱和第三分支特征谱送入到通道注意力模块中生成第一分支注意力热图、第二分支注意力热图、第三分支注意力热图，再将三个分支的注意力热图对应与各自分支的特征谱相乘，得到三个分支的新的特征谱，将三个分支的新特征谱进行连接处理后同时进入细分类步骤和大分类步骤；
[0013]细分类步骤：将连接处理后的特征谱送入用于细分类的两层全连接层以及Softmax层之后，Softmax层输出细分的动作类，并求细分类损失对运动想象脑电信号特征分类网络的细分类训练过程进行约束；
[0014]大分类步骤：将连接处理后的特征谱送入用于大分类的两层全连接层以及Softmax层之后，Softmax层输出左手动作类或者右手动作类中两个类分类结果，并求大分类损失对运动想象脑电信号特征分类网络的大分类训练过程进行约束；
[0015]测试步骤：将训练结束得到的运动想象脑电信号特征分类网络用于运动想象脑电信号分类。
[0016]运动想象脑电波信号分类任务目标往往是输出正确对应的类别，增加任务目标有助于深度学习网络提取出更多特征，且不同任务之间的特征可以相互补充，提高分类的性能。本专利技术旨在扩充网络结构宽度即网络分支的基础上，将脑电波数据转换为不同的输入格式，使用多个分支网络进行处理，有利于提高特征提取的完整性，使得不同网络分支之间具有的显著特征不同，提取的特征相互互补。转换为不同的数据格式有利于训练网络学习不同类型的特征。同时使用了分类任务中大任务和小任务以及其他任务的约束，即使用网络不同的任务目标实现多种约束。脑电波数据进行提取特征时设定不同的任务目标，使得提取的特征不局限于分类任务，弥补分类任务提取特征不够全面的缺点，有利于网络提取到通适性更高、更全面的特征。
[0017]本专利技术的有益效果是，使用格拉姆角场作为新的转换后的数据格式输入网络，和深度分离卷积及时频图相比提供了更加丰富的特征，增加提取到的特征的鲁棒性；同时使用了不同数据格式提取特征并重建的损失函数以及具体运动分类任务中大任务和细分任务同时分类的损失函数，取得了更佳的分类效果。
附图说明
[0018]图1为实施例流程图。
具体实施方式
[0019]在对不同肢体的多种不同任务进行研究时一般只对细分任务进行分类，实施例使用的自测数据集中包括了对左手和右手共6种运动，同时将六种运动分为左手和右手两种大类别及更细分的6种小类别，例如左手握拳与舒张、右手握拳与舒张，左手手掌左右摆动等。本文损失函数：对大分类和细分类的损失函数均包含约束分类类别的交叉熵损失，大额分类损失还包含对大分类潜在特征使用的中心损失；对图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据转换的多分支运动想象脑电信号特征融合分类方法，其特征在于，包括以下步骤：预处理步骤：将脑电波信号进行预处理得到多通道脑电时序信号，将多通道脑电时序信号三个分支网络中，同时进行第一、第二和第三分支处理步骤；第一分支处理步骤：对各通道的脑电时序信号进行基于时序的深度可分离卷积生成第一分支特征谱，进入融合步骤；第二分支处理步骤：对各通道的脑电时序信号进行小波变换获得时频图像，将时频图像进行叠加作为一个多通道的二维图像，将该二维图像送入基于VGG
‑
13的卷积编码网络生成第二分支特征谱，进入融合步骤的同时，将第二分支特征谱输入与卷积编码网络对称的基于VGG
‑
13反卷积的卷积解码网络生成对应的时频图像，再在卷积解码网络生成的时频图像与输入至卷积编码网络的时频图像之间求损失对运动想象脑电信号特征分类网络的第二分支处理的训练过程进行约束；第三分支处理步骤：对各通道的脑电时序信号构建格拉姆角场，将获得的各个通道的格拉姆角场进行叠加作为一个多通道的二维图像，将该二维图像送入基于VGG
‑
13的的卷积编码网络生成第三分支特征谱，进入融合步骤的同时，将第三分支特...

【专利技术属性】
技术研发人员：万金鹏，李宏亮，崔建华，王世森，何乃宇，周毓轩，孟凡满，吴庆波，许林峰，潘力立，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：