【技术实现步骤摘要】
本专利技术涉及运动想象识别领域，尤其涉及一种基于异构图网络的eeg-fnirs运动想象识别方法和装置。
技术介绍
1、运动想象是指人在想象自己肢体(或肌肉)运动但没有实际运动输出时，特定脑区仍会有激活的现象，是脑机接口领域一个重要的研究课题，在医学、娱乐、通信等领域有着重要作用。然而，高性能且具鲁棒性的运动想象解码仍然是该领域的一个挑战。
2、eeg(electroencephalogram，脑电图)记录了头皮表面的电位变化，具有较高的时间分辨率；fnirs则可以通过检测血红蛋白的浓度变化来反映脑神经活动带来的脑血流量和氧代谢率的变化，具有较高的空间分辨率。二者存在时空优势互补，且同时具有安全无损、测量方便、易实现便携等特点，因此，结合eeg和fnirs两种技术进行运动想象解码具有更高的研究价值和现实意义。
3、eeg-fnirs双模态信息融合面临的一个关键问题就是如何挖掘这两种模态数据间的互补信息，以提升eeg-fnirs双模态运动想象识别的性能。eeg和fnirs是典型的异构模态数据，这种异构性主要体现在两种模态数据在维度空间和特征分布等方面存在显著差异。例如，二者在信号波形、频率和幅度上有很大的差异。另外，eeg和fnirs两种模态又存在一定相关性，这种相关性主要包括模态内相关和模态间相关。因此，有效的利用eeg和fnirs信号的异构性和相关性，能更好地提升运动想象解码的性能。
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提供一种基于异构
2、本专利技术的目的是通过以下技术方案来实现的：本专利技术实施例第一方面提供了一种基于异构图网络的eeg-fnirs运动想象识别方法，包括以下步骤：
3、(1)同步采集eeg和fnirs运动想象数据及其对应的标签，并分别对采集到的eeg信号数据和fnirs信号数据进行预处理；
4、(2)基于异构图网络构建运动想象识别网络，所述运动想象识别网络包括时间特征提取模块、异构图卷积模块和分类器；其中，所述时间特征提取模块用于提取eeg信号数据和fnirs信号数据的时间特征，所述异构图卷积模块用于提取空间特征，所述分类器用于预测运动想象类别；
5、(3)将预处理后的eeg信号数据和fnirs信号数据作为样本，输入运动想象识别网络进行迭代训练，使用运动想象识别网络的输出和样本对应的标签之间的交叉熵作为运动想象识别网络的损失函数，采用反向传播方法更新运动想象识别网络的参数，直至损失函数收敛或完成预设的训练次数，以获取训练好的运动想象识别网络；
6、(4)将待识别的eeg和fnirs运动想象数据样本输入到训练好的运动想象识别网络中，获取运动想象类别。
7、进一步地，所述eeg信号数据的预处理具体包括：
8、首先对eeg信号数据进行50hz的陷波滤波去除工频干扰；然后进行8-35hz的带通滤波提取运动想象频段数据；再利用独立成分分析算法将原始eeg信号提取出多个彼此相互独立的成分，利用iclabel工具包自动去除数据中眨眼、肌肉运动所产生的干扰信号对应的独立成分；其次对eeg信号数据降采样到128hz；最后划分每个实验试次的eeg信号数据及其对应的标签作为样本。
9、进一步地，所述fnirs信号数据的预处理具体包括：
10、首先基于修正朗伯-比尔定律将fnirs信号数据转换为含氧血红蛋白和去氧血红蛋白的变化量；然后对fnirs信号数据进行0.01-0.1hz的带通滤波以去除在数据采集过程中的心跳、环境所产生的噪声；最后划分每个实验试次的fnirs信号数据及其对应的标签作为样本。
11、进一步地，所述时间特征提取模块包括eeg时间特征提取卷积网络和fnirs时间特征提取卷积网络，其中，所述eeg时间特征提取卷积网络用于提取eeg信号数据的时间特征，所述fnirs时间特征提取卷积网络用于提取fnirs信号数据的时间特征；
12、所述eeg时间特征提取卷积网络包括三个卷积模块、展平层和线性层，每个卷积模块依次包含卷积层、批次归一化层、随机失活层和池化层；
13、所述fnirs时间特征提取卷积网络包括两个卷积模块、展平层和线性层，每个卷积模块依次包含卷积层、批次归一化层、随机失活层和池化层。
14、进一步地，所述eeg信号数据和fnirs信号数据的时间特征分别表示为：
15、
16、
17、其中，teeg为eeg信号数据的时间特征，为eeg信号的eeg时间特征提取卷积网络，xeeg为多通道eeg信号样本，tfnirs为fnirs信号数据的时间特征，为fnirs信号的fnirs时间特征提取卷积网络，xfnirs为多通道fnirs信号样本。
18、进一步地，所述异构图卷积模块具体包括：
19、(a1)构建图节点，将eeg的电极和fnirs的光极作为异构图中两种不同类型的节点，将时间特征提取模块提取的eeg信号数据和fnirs信号数据的时间特征作为对应节点的节点特征；
20、(a2)构建基于自注意力的四种类型边连接，四种类型边连接包括开始节点和结束节点分别为fnirs光极和eeg电极的边连接af2e、开始节点和结束节点分别为eeg电极和fnirs光极的边连接ae2f、开始节点和结束节点均为eeg电极的边连接ae2e以及开始节点和结束节点均为fnirs光极的边连接af2f；
21、开始节点和结束节点分别为fnirs光极和eeg电极的边连接af2e的计算方式为：
22、
23、
24、
25、其中，和为可学习参数矩阵，将原始节点向量映射到键向量和查询向量；d1表示键向量的维度值，用于稳定softmax层的输出；qf2e和kf2e为中间变量，无实际意义；
26、(a3)构造基于注意力融合机制的异构图卷积，以获取更新后的eeg节点特征和fnirs节点特征；
27、获取更新后的eeg节点特征具体包括：来自相同模态eeg节点的信息ye2e的计算方式为：
28、
29、来自不同模态fnirs节点的信息yf2e的计算方式为：
30、
31、其中，均为可学习参数矩阵；
32、通过注意力机制对第i个eeg节点进行特征更新，设h＝[h1,h2,h3]＝[xeeg,ye2e,yf2e]，则更新后的第i个eeg节点特征的计算公式为：
33、
34、
35、其中，σ为激活函数，βj为第j种模态信息的注意力权重，q为可学习参数矩阵向量。
36、进一步地，所述分类器包括全连接层和softmax层，将异构图卷积模块最终得到的所有的图节点特征拼接后通过全连接层和softmax层，输出最终的预测概率。
37、进一步地本文档来自技高网...
【技术保护点】
1.一种基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，所述EEG信号数据的预处理具体包括：
3.根据权利要求1所述的基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，所述fNIRS信号数据的预处理具体包括：
4.根据权利要求1所述的基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，所述时间特征提取模块包括EEG时间特征提取卷积网络和fNIRS时间特征提取卷积网络，其中，所述EEG时间特征提取卷积网络用于提取EEG信号数据的时间特征，所述fNIRS时间特征提取卷积网络用于提取fNIRS信号数据的时间特征；
5.根据权利要求1所述的基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，所述EEG信号数据和fNIRS信号数据的时间特征分别表示为：
6.根据权利要求1所述的基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，所述异构图卷积模块具体包括：
...【技术特征摘要】
1.一种基于异构图网络的eeg-fnirs运动想象识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于异构图网络的eeg-fnirs运动想象识别方法，其特征在于，所述eeg信号数据的预处理具体包括：
3.根据权利要求1所述的基于异构图网络的eeg-fnirs运动想象识别方法，其特征在于，所述fnirs信号数据的预处理具体包括：
4.根据权利要求1所述的基于异构图网络的eeg-fnirs运动想象识别方法，其特征在于，所述时间特征提取模块包括eeg时间特征提取卷积网络和fnirs时间特征提取卷积网络，其中，所述eeg时间特征提取卷积网络用于提取eeg信号数据的时间特征，所述fnirs时间特征提取卷积网络用于提取fnirs信号数据的时间特征；
5.根据权利要求1所述的基于异构图网络的eeg-fnirs运动想象识别方法，其特征在于，所述eeg信号数据和fnirs信号数据的时间特征分别表示为：
6.根据权利要求1所述的基于异构图网络的eeg...
【专利技术属性】
技术研发人员：崔健，薛云龙，张莎莎，王兆祥，郑重，蒋田仔，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。