基于脑机交互与深度学习的主动式手部训练系统及方法技术方案

本发明专利技术公开了一种基于脑机交互与深度学习的主动式手部训练系统及方法：包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架；脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。本发明专利技术具有安全性高、节省人力、趣味性高的特点，可以最大程度的发挥使用者的主动性，提高康复效果。

【技术实现步骤摘要】
基于脑机交互与深度学习的主动式手部训练系统及方法
本专利技术属于康复工程、脑机接口以及神经控制等领域，更具体地说，是涉及一种基于脑机交互与深度学习的主动式手部训练系统及方法。
技术介绍
根据世卫组织报道，在世界范围内脑卒中已经成为仅次于癌症和心冠病死亡的原因。近几年以来，随着我国社会老龄化不断加剧，由于脑卒中引起的运动功能障碍患者数量正持续增加。调查显示，城乡合计脑卒中已成为我国第一位死亡原因，也是中国成年人残疾的首要原因，脑卒中具有发病率高、死亡率高和致残率高的特点。脑卒中后患者常常患有不同部位和不同程度的偏瘫，当偏瘫发生在手部时，由于脑部缺血引起控制手部神经损伤，来自上神经元的神经冲动不能传到下运动神经，导致手部运动功能出现运动障碍，包括无法完成日常的抓取、移动等以及手指间的协调配合。由于手部偏瘫患者丧失了手部运动功能，神经元细胞也遭到了不同程度的损坏，导致手部的反射能力也会突然的扩大或减小，手部运动功能障碍患者临床通常会表现为手指肌张力增高、肌肉痉挛、手指屈伸困难、手指间运动失调等的病理现象。经临床研究证明，对于初期的偏瘫患者应当尽早的参与康复治疗，加强偏瘫部位的肌功能，通常患病后的1-3个月时间为偏瘫康复的最佳时期，在这一时间段参与康复治疗往往能达到最佳的治疗效果，加快偏瘫患者的康复进程，3个月后会因为废用综合征、误用综合征等出现运动功能恢复缓慢的症状，甚至可能会留有后遗症。将脑机接口技术应用于手指康复系统中，可以让患者的脑部直接参与到康复训练中，有助于患者脑部神经皮质的重构，修复大脑中枢神经控制系统的功能，另一方面也能够激发患者的主动性和积极性，提高康复治疗的效果。传统的临床康复训练效率低下，尤其是针对脑卒中瘫软期，治疗过程枯燥乏味，患者的主动性较差、效果有限，这使得康复周期较长。康复器械与传统的医疗康复具有无可比拟的优势。康复器械在帮助患者康复的过程中可以定量的调节康复的训练量，产生客观的康复评价指标。然而，国内外现有的康复系统仍然存在很多缺点和不足。目前主流功能康复疗法，如冷疗法、电刺激法、借助康复机器人等方法，不但会耗费大量的人力物力，而且忽视了患者的主动性。缺乏大脑神经系统的直接参与，这些原因使得外部肢体和大脑之间的功能连接修复有限，康复效果不尽如人意。为了解决上述问题，人们一直在寻求一种更加合理的解决方案。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提出一种基于脑机交互与深度学习的主动式手部训练系统及方法，具有安全性高、节省人力、趣味性高的特点，可以最大程度的发挥使用者的主动性，提高康复效果。本专利技术的目的可通过以下技术方案实现。本专利技术基于脑机交互与深度学习的主动式手部训练系统，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。所述脑电帽具有37个电极，其中4个电极为HEOL、HEOR、VEOL和VEOU眼电电极，1个电极为设备的参考电极GND，32个电极为遵循“国际10-20系统”分布的脑电电极和耳后参考电极A1、A2。所述FPGA采集设备包括电源模块、FPGA处理器、脑电信号采集模块和WIFI通信模块，所述电源模块分别与FPGA处理器、脑电信号采集模块、WIFI模块电连接，所述FPGA处理器还分别与脑电信号采集模块、WIFI模块电连接；其中，所述电源模块为FPGA处理器、脑电信号采集模块和WIFI模块提供所需要的电压；所述FPGA处理器是整个采集设备的核心，用于控制整个采集设备，包括无线通讯和脑电信号采集模块的初始化；所述WIFI通信模块和FPGA处理器以SPI协议进行通讯，满足多通道大数据的实时传输。所述脑电信号采集模块包括依次电连接的高共模抑制比模拟输入前端、可编程增益放大器和模数转换器，将模拟脑电信号转化为数字信号；其中，所述高共模抑制比模拟输入前端与脑电帽电连接，所述模数转换器与FPGA处理器电连接。所述图像刺激模块由显示屏构成。所述手部运动支架包括五指形式的手套体、气动肌条、气软管、弹性钢片和气泵；所述气动肌条设置五根，分别沿手指方向固定于手套体手背侧，且每根气动肌条和手套体之间均设置有弹性钢片，每根气动肌条均通过气软管与气泵相连接，所述气泵与上位机电连接；当接收到收缩控制信号时，气泵充气使得气动肌条充气膨胀，带动手套体弯曲；当接收到放松控制信号时，气泵放气使得气动肌条排气收缩，带动手套体舒展。本专利技术的目的还可通过以下技术方案实现。本专利技术基于脑机交互与深度学习的主动式手部训练方法，包括以下过程：步骤一：被试者将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前；步骤二：设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成；步骤三：图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；步骤四：图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；步骤五：通过脑电帽和FPGA采集设备记录这期间的脑电信号，并传输给上位机，在上位机解码，并驱动手部运动支架带动手部运动；步骤六：手部运动支架恢复运动到原位置，被试者休息后重复步骤三至步骤六，直到训练结束。步骤五中上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：步骤一：使用FBCSP对获取的脑电信号解码首先将脑电信号经过带通滤波器滤波，假设xl和xr分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数；数据的归一化空间协方差矩阵表示为：其中，XT为X转置，tr(A)表示A的迹，R方差l是xl的协矩阵，Rr是xr的协方差矩阵；对每次实验的协方差矩阵求均值得到和则复合空间的协方差矩阵分解为：其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：平均协方差矩阵和变换为：Sl与Sr有共同的特征向量，利用下式求出特征向量D：其中，λ1+λ2＝I，I为单位矩阵，将λ1对角线上的元素按照从大到小排列，则对应的λ2对角线上的元素为从小到大排列，选取λ1的前m个最大特征值对应的特征向量Dl，和后m个最小的特征值Dr来构造滤波器Wcsp，Wcsp构造变换如本文档来自技高网...

【技术保护点】
1.一种基于脑机交互与深度学习的主动式手部训练系统，其特征在于，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；/n所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。/n

【技术特征摘要】
1.一种基于脑机交互与深度学习的主动式手部训练系统，其特征在于，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；
所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练。


2.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述脑电帽具有37个电极，其中4个电极为HEOL、HEOR、VEOL和VEOU眼电电极，1个电极为设备的参考电极GND，32个电极为遵循“国际10-20系统”分布的脑电电极和耳后参考电极A1、A2。


3.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述FPGA采集设备包括电源模块、FPGA处理器、脑电信号采集模块和WIFI通信模块，所述电源模块分别与FPGA处理器、脑电信号采集模块、WIFI模块电连接，所述FPGA处理器还分别与脑电信号采集模块、WIFI模块电连接；其中，所述电源模块为FPGA处理器、脑电信号采集模块和WIFI模块提供所需要的电压；所述FPGA处理器是整个采集设备的核心，用于控制整个采集设备，包括无线通讯和脑电信号采集模块的初始化；所述WIFI通信模块和FPGA处理器以SPI协议进行通讯，满足多通道大数据的实时传输。


4.根据权利要求3所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述脑电信号采集模块包括依次电连接的高共模抑制比模拟输入前端、可编程增益放大器和模数转换器，将模拟脑电信号转化为数字信号；其中，所述高共模抑制比模拟输入前端与脑电帽电连接，所述模数转换器与FPGA处理器电连接。


5.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述图像刺激模块由显示屏构成。


6.根据权利要求1所述的基于脑机交互与深度学习的主动式手部训练系统，其特征在于，所述手部运动支架包括五指形式的手套体(1)、气动肌条(2)、气软管(3)、弹性钢片和气泵；所述气动肌条(2)设置五根，分别沿手指方向固定于手套体(1)手背侧，且每根气动肌条(2)和手套体(1)之间均设置有弹性钢片，每根气动肌条(2)均通过气软管(3)与气泵相连接，所述气泵与上位机电连接；
当接收到收缩控制信号时，气泵充气使得气动肌条(2)充气膨胀，带动手套体(1)弯曲；当接收到放松控制信号时，气泵放气使得气动肌条(2)排气收缩，带动手套体(1)舒展。


7.一种基于上述权利要求1至6中任意一项所述的基于脑机交互与深度学习的主动式手部训练系统的训练方法，其特征在于，包括以下过程：
步骤一：被试者将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前；
步骤二：设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成；
步骤三：图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；
步骤四：图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；
步骤五：通过脑电帽和FPGA采集设备记录这期间的脑电信号，并传输给上位机，在上位机解码，并驱动手部运动支架带动手部运动；
步骤六：手部运动支架恢复运动到原位置，被试者休息后重复步骤三至步骤六，直到训练结束。


8.根据权利要求7所述的基于脑机交互与深度学习的主动式手部训练方法，其特征在于，步骤五中上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：
步骤一：使用FBCSP对获取的脑电信号解码
首先将脑电信号经过带通滤波器滤波，假设xl和xr分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数；数据的归一化空间协方差矩阵表示为：



其中，XT为X转置，tr(A)表示A的迹，R方差l是xl的协矩阵，Rr是xr的协方差矩阵；对每次实验的协方差矩阵求均值得到和则复合空间的协方差矩阵分解为：



其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：



平均协方差矩阵和变换为：



Sl与Sr有共同的特征向量，利用下式求出特征向量D：



其中，λ1+λ2＝I，I为单位矩阵，将λ1对角线上的元素按照从大到小排列，则对应的λ2对角线上的元素为从小到大排列，选取λ1的前m个最大特征值对应的特征向量Dl，和后m个最小的特征值Dr来构造滤波器Wcsp，Wcsp构造变换如下所示：



对于单次任务的脑电数据x做如下变化：Z＝Wcspx；对于脑电数据的特征提取，取投影后的信号Zp(p＝1,.....,2m)做如下变换之后的值作为...

【专利技术属性】
技术研发人员：高忠科，任飞跃，芮林格，马超，马文庆，
申请(专利权)人：天津大学，天津富瑞隆金属制品有限公司，
类型：发明
国别省市：天津;12