运动想象脑机接口通信方法、装置、系统、介质及设备制造方法及图纸

本发明专利技术提供一种运动想象脑机接口通信方法、装置、系统、介质及设备，所述运动想象脑机接口通信方法包括：获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。本发明专利技术可以提高运动想象脑机接口的分类性能，并且实现运动想象脑机接口在现实中的部署。脑机接口在现实中的部署。脑机接口在现实中的部署。

【技术实现步骤摘要】
运动想象脑机接口通信方法、装置、系统、介质及设备


[0001]本专利技术属于脑
‑
机接口的通信与计算
，涉及检测方法和反馈系统，特别是涉及一种运动想象脑机接口通信方法、装置、系统、介质及设备。

技术介绍

[0002]脑机接口是一种新型的通过从人体头颅表面采集的脑电信号实现人脑与外部设备信息交互的的技术。脑机接口的几种主要的实现方式按照所提取的脑电信号种类可以分为P300脑机接口，运动想象脑机接口和SSVEP(Steady
‑
state visual evoked potential，稳态视觉诱发电位)脑机接口等。其中，运动想象脑机接口在医疗康复领域和非医疗领域的拥有巨大应用场景，因而被许多研究人员所关注。运动想象任务是通过想象执行一项特定任务而不实际执行来完成的。当前研究中广泛使用的运动想象任务是对右手、左手、右脚、左脚、双脚和舌头等身体部位的想象；许多其他任务也在研究中，如与肘部、拳头和手指有关的运动。人在进行运动想象的过程中，大脑皮层会产生两种变化明显的节律信号，分别是8
‑
15Hz的μ节律信号和18
‑
24Hz的β节律。在运动想象时，神经元细胞被激活、新陈代谢速度加快，大脑皮层对侧运动感觉区的脑电节律能量会明显降低，而同侧运动感觉区的脑电节律能量增大，这种现象称为事件相关去同步(Event Related Desynchronization，ERD)/事件相关同步(Event Related Synchronization，ERS)。基于这种关系，通过人大脑主动控制左、右脑、节律幅度的高低就可以产生多种控制指令。大脑控制过程会产生左右手运动想象的ERD/ERS现象。ERD/ERS现象与大脑的真实运动意图具有很强的相关性，同时它是被试者通过自主运动想象产生的，不需要执行实际的肢体活动，也不需要外部的刺激。因此，通过解码ERD/ERS现象形成时脑电信号中的运动意图，非常适合作为脑机接口控制外部设备的指令依据。特别是对于那些截瘫、肢体残缺的患者，可以通过运动想象的方式来控制诸如外骨骼、轮椅、机械臂等外部设备进行康复训练、辅助行走。
[0003]一个完整的运动想象脑机接口系统包含三个重要的技术步骤，分别是信号采集，信号处理，外部设备控制与反馈。具体地，在信号采集阶段，受试者需要进行特定部位的运动想象，一般手部想象的动作为握球或汽车换挡等，下肢想象动作为脚趾抓地等。动作的想象需要持续一定时间(通常为2
–
4秒)，这样一来，对应部位的ERD/ERS信号便会在受试者的大脑皮层产生。同时，通过给受试者佩戴电极帽，布置于其上的电极就可以通过非侵入式的方式采集得到头皮表面的脑电信号，并通过线缆将信号传递至模数转换模块和数据转发模块等，然后在上位机上得到标准化的脑电数字信号。通过对该数字信号使用特定的算法进行处理分析，就可以知道受试者想象运动的是哪一个身体部位，以及其所尝试输出的控制指令具体是什么，并最终将该控制指令传递至外部设备以实现控制效果。外部设备的控制效果作为反馈信号，对受试者的运动想象进行反馈调节，从而完成整个运动想象脑机接口的工作流程。
[0004]运动想象脑机接口进行降采样、滤波、去伪迹等预处理后，脑电信号的信噪比(Signal Noise Ratio,SNR)有所增强，但是其数据量仍然较大，需要进一步提取运动想象
相关的特征信息。BCI系统的EEG信号特征提取算法往往从时域、频域和空域不同角度进行分析。常见的时域分析特征提取算法包括：Hjorth参数、自适应自回归(Adaptive Autoregressive，AAR)模型和粒子滤波等。常见的频域分析特征提取算法包括快速傅里叶变换(Fast Fourier Transform，FFT)、频谱特征、小波变换(Wavelet Transform，WT)等。常见的空域分析特征提取算法为共空间模式(Common Spatial Pattern，CSP)。该算法旨在寻找可将不同类信号方差比值最大化的空间滤波器组。除了以上传统的特征提取算法，更多的特征提取算法将时域、频域、空域分析方法进行结合，如小波包变换(Wavelet Packet Transform，WPT)可以提取多个时间窗口和频段的信息，因此比FFT更适合非平稳的EEG信号。
[0005]对脑电信号进行特征提取后，特征值将被输入至分类器进行进一步处理。分类器为输入特征值从两个或两个以上类别中选择一个合适的标签，以便产生离散的输出控制信号(例如控制机械手臂向上或向下运动)。按照训练分类器所使用的样本是否带标签，可将分类学习算法分为监督式、无监督式、半监督式算法。顾名思义，监督式分类算法所使用的的样本都带有标签；非监督式分类算法所用样本都没有标签；半监督式分类算法所用样本中只有部分样本附带有标签。目前运动想象分类效果最好的分类器均为监督式算法，如基于线性判别式分析(Linear Discriminant Analysis，LDA)的卡尔曼自适应线性判别式分析(Kalman Adaptive LDA，KALDA)，贝叶斯分类器(Bayesian Classifier)，支持向量机(Support Vector Machine，SVM)等。神经网络(Neural Networks，NN)模仿生物学中的神经网络，具有适应性强，拟合性高的特点，与非平稳、复杂度高的脑电信号具有天然的相合性。基于神经网络的DeepConvNet、ShallowCSPNet、EEGNet和FBCNet在运动想象脑机接口分类问题上取得了良好的效果。但是分类精度越高的算法通常需要更多的训练数据，运动想象脑机接口实验准备耗时大，实验过程长，每位受试者难以获得充足的训练数据。而由于不同受试者之间脑电信号的巨大差异，其他受试者采集的训练数据无法直接用于新受试者的训练，这是制约目前运动想象脑机接口在现实中应用的主要因素。
[0006]在受试者的训练样本较少的情况下，如何提高运动想象脑机接口系统性能是棘手的问题。近年来，迁移学习(Transfer Learning，TL)已经成为解决这一问题的新的方法。TL使用来自不同特征空间或特征分布的数据，补偿有标签的训练数据的不足，从而构造更准确的分类模型。TL的目标是，从一个或多个源任务提取有用知识，并将其应用于另一个目标任务，与传统的机器学习不同的是无需完全相同特征分布的数据分布，只需相关即可，传统的机器学习和迁移学习差异具有不同的视觉目标，而在组合SSVEP范式中，N个不同的频率可以编码N2个不同的视觉目标，而这个数字在考虑超过2个视觉刺激组合成为一个目标时会更高。
[0007]迁移学习提升运动想象脑机接口系统分类性能的一种典型方法是，使用其他受试者的实验样本训练得到分类模型，之后保留模型的部分结构，使用新的受试者数据在此基础上继续训练。然而，传统的深度迁移方法仍存在一些不足。一方面，当前基于迁移学习的运动想象脑机接口算法通常只将人为选择的单个已有的受试者或所有已有的受试者整体作为源域。前者无法充分利用所有已本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动想象脑机接口通信方法，其特征在于，所述运动想象脑机接口通信方法包括：获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。2.根据权利要求1所述的运动想象脑机接口通信方法，其特征在于，所述随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型包括：随机选取数个源域受试者作为初始混合域，并基于所述初始混合域对应的训练集的脑电数据获得第一混合源域模型；提取所述第一混合源域模型的特征提取器参数，作为下一轮的混合域模型模型特征提取器的初始化参数；随机选取数个源域受试者作为第二混合域，并基于所述第二混合域对应的训练集的脑电数据和所述第一混合源域模型的特征提取器参数获得第二混合源域模型；依次类推，获得第N混合域以及与所述第N混合域对应的第N混合源域模型。3.根据权利要求2所述的运动想象脑机接口通信方法，其特征在于，所述第一混合源域模型、所述第二混合源域模型，
……
，所述第N混合源域模型中分类器的参数随机初始化。4.根据权利要求1或2所述的运动想象脑机接口通信方法，其特征在于，还包括：基于所述验证集中各源域受试者对应的脑电数据分别对所述第一混合源域模型、所述第二混合源域模型，
……
，所述第N混合源域模型进行验证，并输出验证结果。5.根据权利要求4所述的运动想象脑机接口通信方法，其特征在于，还包括：将所述验证结果与对应的源域受试者的历史混合源域模型进行对比，获取与所述源域受试者对应的最佳混合源域模型。6.根据权利要求5所述的运动想象脑机接口通信方法，其特征在于，所述基于所述...

【专利技术属性】
技术研发人员：胡宏林，李昂，王振宇，赵建龙，周婷，欧阳玉玲，赵曦，
申请(专利权)人：上海前瞻创新研究院有限公司，
类型：发明
国别省市：