一种基于多层次脑电信号表达下的特征融合方法技术

本发明专利技术提供一种基于多层次脑电信号表达下的特征融合方法，属于脑信息解码领域。本发明专利技术采用Bi

A feature fusion method based on multi-level EEG signal expression

【技术实现步骤摘要】
一种基于多层次脑电信号表达下的特征融合方法


[0001]本专利技术属于脑信息解码领域，具体涉及一种基于多层次脑电信号表达下的特征融合方法。

技术介绍

[0002]脑科学是公认的科技前沿，基于信息科学的脑研究与应用主要包括脑信息获取，脑信息解码和应用三个方面。脑信息解码又称脑意图信息特征提取与识别，是目前脑科学中最重要的研究领域之一，其目的是通过捕获自发或诱发产生的脑信息变化量来解读脑意图。脑信息解码是实现脑机接口(BCI)系统的关键环节。由于人体构造的复杂性，脑电信息的总体变化是无规律可循的，微小的刺激变化就需要进行大量的解码分析才能识别出。脑电解码需要对大量的脑电特征进行有效的提取和表达，但是通过合理的方法是完全能够设计出高效的解码方法。我们通过研究发现，同类任务信号间确实存在一定的内源共性，并且这种内源共性在不同类任务中表现得不明显。运动图像脑电图(MI
‑
EEG)可以被看作是不同时段的信号叠加后的结果，同一个时段信息反映的是由运动感觉区不同位置的脑区功能信息，由脑结构可以知道这些区域是相通并且具有很大的关联作用。因此针对不同时段的MI
‑
EEG来说，不仅要考虑其独立的特征对解码的影响，还要考虑特征组合以及全局特征对解码的影响。这意味着合理的特征提取方法(找出内源共性部分)指导识别模型进行学习能够提升识别性能。特征提取可以被看作是预处理的深入环节。这个环节里，我们只关注对识别任务有用或有意义的信息成分，因此进行特征提取的目的有两点：一是提升整个解码过程的效率，二是提升分类识别性能。因此围绕这两个目的，人们开展了大量的相关工作。当前方法大多关注单层次信息结构如时频能量数据，频率
‑
空间信息等方面。例如使用多层卷积神经网络用于对脑电特征提取，并采用自动编码器对所提出的特征进行融合；使用联合卷积和递归神经网络进行特征提取的深度模型，从原始脑电数据中学习高阶融合特征形式。但这些方法都只聚焦于关联信息提取和多结构下获取到的特征融合，很少有研究从脑
‑
机接口系统用途需求(偏重精度还是效率)角度出发，关注不同尺度通道选择下的多层次信息表达形式和辨识特征的利用情况。

技术实现思路

[0003]为了解决上述问题，本专利技术提供了一种基于多层次表达的脑电共性特征融合学习的多被试知识迁移学习方案，用于解决不同被试差异性下的脑机接口系统需要反复校准的问题。
[0004]具体技术方案为：
[0005]Step1对时序脑电信号进行预处理，将原始MI
‑
EEG数据过滤到ERS/ERD目标μ和β波段
[0006]运动想象任务下的脑电信号会产生事件相关同步/去同步现象。该现象在C3，C4和Cz电极通道上的u节律(8
‑
13Hz)和β节律(17
‑
30Hz)上有显著的能量变化特征，将这三个通
道作为目标通道。
[0007]Step1.1将目标通道的时序脑电信号进行串联；
[0008]Step1.2对串联后的时序脑电信号通过短时傅里叶变换转换为二维时频能量形式。
[0009]Step2对预处理的时序脑电信号进行特征提取
[0010]利用一种结合了Bi
‑
LSTM和CNN的并行特征学习方法来处理预处理的脑电图序列及其通过短时傅里叶变换(STFT)进行的二维转换。预处理涉及将原始MI
‑
EEG数据过滤到事件相关同步化(ERS)/事件相关去同步(ERD)目标μ和β波段。Bi
‑
LSTM有助于提取串联形式的上下文相关性，而CNN用于二维时间频谱数据处理；
[0011]Step2.1利用Bi
‑
LSTM提取Step1.1中串联后的时序脑电信号的时空特征信息；
[0012]Step2.2利用CNN提取Step1.2中转换后的时频能量的时频特征信息。
[0013]Step3对提取出的特征进行融合
[0014]利用两层堆叠式稀疏自编码器将不同层次特征重构融合，然后使用域对抗训练框架来训练该模型。
[0015]利用一种特征融合和不变性捕捉过程，使分类器或其它预测变量时更容易提取有用的信息。使用域对抗网络将一个领域的模型推广到另一个领域，使神经网络的内部不包含有关输入源的歧义信息，同时保证源样本的低风险。
[0016]优选的，利用Bi
‑
LSTM提取串联信号的可用信息：
[0017]前向学习：
[0018]后向学习：
[0019]输出：
[0020]其中，表示前向学习时输入门在时间t处的结果，表示前向学习时权重矩阵在输入门处的值，x
t
表示在时间t处的输入，表示前向学习时递归权重矩阵在输入门处的值，表示前向学习时隐藏状态在时间t
‑
1处的结果，表示输入门的偏置值，表示前向学习时遗忘门在时间t处的结果，表示前向学习时权重矩阵在遗忘门处的值，表示前
向学习时递归权重矩阵在遗忘门处的值，表示遗忘门的偏置值，表示前向学习时输出门在时间t处的结果，表示前向学习时权重矩阵在输出门处的值，表示前向学习时递归权重矩阵在输出门处的值，表示输出门的偏置值，表示前向学习时细胞状态在时间t处的结果，表示前向学习时细胞状态在时间t
‑
1处的结果，表示前向学习时权重矩阵在细胞状态处的值，表示前向学习时递归权重矩阵在细胞状态处的值，表示细胞状态的偏置值，表示前向学习时隐藏状态在时间t处的结果，表示后向学习时输入门在时间t处的结果，表示后向学习时权重矩阵在输入门处的值，x
t
表示在时间t处的输入，表示后向学习时递归权重矩阵在输入门处的值，表示后向学习时隐藏状态在时间t
‑
1处的结果，表示输入门的偏置值，表示后向学习时遗忘门在时间t处的结果，表示后向学习时权重矩阵在遗忘门处的值，表示后向学习时递归权重矩阵在遗忘门处的值，表示遗忘门的偏置值，表示后向学习时输出门在时间t处的结果，表示后向学习时权重矩阵在输出门处的值，表示后向学习时递归权重矩阵在输出门处的值，表示输出门的偏置值，表示后向学习时细胞状态在时间t处的结果，表示后向学习时细胞状态在时间t
‑
1处的结果，表示后向学习时权重矩阵在细胞状态处的值，表示后向学习时递归权重矩阵在细胞状态处的值，表示细胞状态的偏置值，表示后向学习时隐藏状态在时间t处的结果，σ
g
表示sigmoid激活函数，σ
t
表示tanh激活函数，y
t
表示输出，此外e表示Hadamard积；
[0021]利用CNN处理经短时傅里叶变换处理为二维的时间频谱数据：
[0022]a
i,j
＝f((W
k
*x)
ij
+b
k
)
ꢀꢀ
(4)
[0023]a
i,j
表示二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层次脑电信号表达下的特征融合方法，其特征在于，包括如下步骤：Step1对时序脑电信号进行预处理，将原始MI
‑
EEG数据过滤到ERS/ERD目标μ和β波段Step1.1将目标通道的时序脑电信号进行串联；Step1.2对串联后的时序脑电信号通过短时傅里叶变换转换为二维时频能量形式；Step2对预处理的时序脑电信号进行特征提取Step2.1利用Bi
‑
LSTM提取Step1.1中串联后的时序脑电信号的时空特征信息；Step2.2利用CNN提取Step1.2中转换后的时频能量的时频特征信息；Step3对提取出的特征进行融合利用两层堆叠式稀疏自编码器将不同层次特征重构融合，然后使用域对抗训练框架来训练该模型。2.根据权利要求1所述的基于多层次脑电信号表达下的特征融合方法，其特征在于，所述Step 2的具体步骤为：利用Bi
‑
LSTM提取串联信号的可用信息：前向学习：后向学习：输出：其中，表示前向学习时输入门在时间t处的结果，表示前向学习时权重矩阵在输入门处的值，x
t
表示在时间t处的输入，表示前向学习时递归权重矩阵在输入门处的值，表示前向学习时隐藏状态在时间t
‑
1处的结果，表示输入门的偏置值，表示前向学习时遗忘门在时间t处的结果，表示前向学习时权重矩阵在遗忘门处的值，表示前向学习时递归权重矩阵在遗忘门处的值，表示遗忘门的偏置值，表示前向学习时输出门在时间t处的结果，表示前向学习时权重矩阵在输出门处的值，表示前向学习时递归权重矩阵在输出门处的值，表示输出门的偏置值，表示前向学习时细胞状态在时间t处的结
果，表示前向学习时细胞状态在时间t
‑
1处的结果，表示前向学习时权重矩阵在细胞状态处的值，表示前向学习时递归权重矩阵在细胞状态处的值，表示细胞状态的偏置值，表示前向学习时隐藏状态在时间t处的结果，表示后向学习时输入门在时间t处的结果，表示后向学习时权重矩阵在输入门处的值，x
t
表示在时间t处的输入，表示后向学习时递归权重矩阵在输入门处的值，表示后向学习时隐藏状态在时间t
‑
1处的结果，表示输入门的偏置值，表示后向学习时遗忘门在时间t处的结果，表示后向学习时权重矩阵在遗忘门处的值，表示后向学习时递归权重矩阵在遗忘门处的值，表示遗忘门的偏置值，表示后向学习时输出门在时间t处的结果，表示后向学习时权重矩阵在输出门处的值，表示后向学习时递归权重矩阵在输出门处的值，表示输出门的偏置值，表示后向学习时细胞状态在时间t处的结果，表示后向学习时细胞状态在时间t
‑
1处的结果，表示后向学习时权重矩阵在细胞状态处的值，表示后向学习时递归权重矩阵在细胞状态处的值，表示细胞状态的偏置值，表示后向学习时隐藏状态在时间t处的结果，σ
g
表示sigmoid激活函数，σ
t
表示tanh激活函数，y
t
表示输出，此外e表示Hadamard积；利用CNN处理经短时傅里叶变换处理为二维的时间频谱数据：a
i,j
＝f((W
k
*x)
ij
+b
k
) (4)a
i,j
表示二维时间频谱图，x表示输入值，W
k
表示权重，b
k
表示偏置，f(*)表示ReLu激活函数。3.根据权利要求1所述的基于多层次脑电信号表达下的特征融合方法，其特征在于，所述Step3具体为：对Bi
‑
LSTM和CNN所提取的特征信息融合，用域对抗网络提高解码模型的效率和泛化能力，式(5)表示输入是两个层次表示形式的组合，损失函数将输入和输出之间的差异作为均方误差(MSE)进行度量，然后将其反向传播至算法以调整权重和偏置；其中，H表示隐藏层向量，X'表示输出层向量，W
en
表示编码器的权重，W
de
表示解码器的权重，b
en
表示编码器的偏置，b
de
表示解码器的偏置，σ表示sigmoid函数；利用式(6)
‑
(17)对源域构造一个...

【专利技术属性】
技术研发人员：杨俊，刘林涛，沈韬，冯泽林，殷喜喆，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：