机械手臂控制在线脑-机接口系统及实现方法技术方案

本发明专利技术涉及大脑思维与外界环境的直接沟通，为提出一种基于混合特征的精细动作机械手臂在线控制BCI系统,能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的BCI技术发展开拓思路并奠定技术基础。同时，满足多指令输出。为此，本发明专利技术采取的技术方案是，机械手臂控制在线脑‑机接口实现方法，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。本发明专利技术主要应用于医疗器械设计制造场合。

On-line Brain-Computer Interface System for Manipulator Control and Its Implementation

The invention relates to the direct communication between brain thinking and external environment, and proposes an online control BCI system of fine motion manipulator arm based on mixed features, which can realize accurate fine motion recognition, help the training of specific brain areas for patients with motor function injury, and hopefully open up ideas and lay a technical foundation for the development of BCI technology for stroke rehabilitation treatment. At the same time, it satisfies multi-instruction output. For this purpose, the technical scheme adopted by the present invention is that the manipulator controls the realization method of on-line brain-computer interface, and designs three kinds of actions for different fingers of the right hand, including thumb, index finger and pinkie; induces SSSEP features by electrical stimulation at the two positions of thumb and pinkie, improves the recognition performance, and then outputs the decision value through spatial filtering, feature extraction and pattern recognition process. After that, the Bluetooth device sends corresponding instructions to control the manipulator to complete the specified action. The invention is mainly applied to the design and manufacture of medical devices.

【技术实现步骤摘要】
机械手臂控制在线脑-机接口系统及实现方法
本专利技术涉及大脑思维与外界环境的直接沟通，涉及脑机接口技术，具体讲,涉及精细机械手臂控制在线脑-机接口系统。
技术介绍
脑-机接口(braincomputerinterface,BCI)系统是不依赖于身体的神经通路和肌肉的一种通讯系统。BCI技术的发展初衷是服务于那些外周运动系统受损而大脑完好的病人，替代其失效的信息交流通路，改善其生活质量。但近年来，研究者开始将BCI技术应用于大脑受损的患者，不仅完成思维指令的输出，还可以诱发神经可塑性变化，重建受损信息通路，实现医学上神经康复的治疗作用。BCI技术已经在生活、医疗和军事领域都有重要的应用前景，随着BCI研究的不断进步，必将在各个领域绽放异彩。运动想象(motorimagery,MI)可导致大脑皮层感觉运功区中大量神经元活动状态的改变，从而使脑电信号中的某些频率成分同步衰减或增强，这种现象称为事件相关去同步化或者同步化现象(event-relateddesynchronization/synchronization,ERD/ERS)。BCI技术通过放置在不同脑区的电极检测相应的脑电能量变化情况，从而判别出使用者的运动意图。由于人体脑电(Electroencephalography,EEG)信号容易受到干扰，信噪比低等缺点，无创的MI-BCI系统识别精度低，因此，在目前的康复应用中，患者仅能通过MI-BCI进行一些简单的康复动作，这就对MI-BCI在康复训练领域的应用形成了很重要的制约。近年来，混合BCI范式被用于提升传统BCI效率的研究受到了广泛关注。以MI范式为主体，混合BCI范式包括时序和同步两种。时序混合BCI是指将一种信号作为开关控制另一种信号工作，从而实现一种异步BCI。比如有研究表明通过脚的运动想象作为大脑开关控制两种不同频率的稳态视觉诱发电位(steady-statevisualevokedpotential,SSVEP)，降低了控制机械臂开合的假阳率。而同步混合BCI则要求使用者同时完成两个大脑活动，比如同时进行运动想象和视觉P300电位诱发，P300信号用于控制光标的垂直移动，左/右手运动想象用于控制光标的水平移动，实现了光标二维运动。然而，这两种组合方式虽然对BCI的整体性能有所提升，但是对于运动想象的识别并无帮助，同时，时序式增加了指令产生的环节，有可能降低解码速度，而同步式则需要被试消耗额外的注意资源，一方面削弱脑电信号的特征，另一方面增加使用者的操作复杂度，影响用户体验。是否存在一种混合策略既能提高MI-BCI的整体性能，又不引起注意资源的竞争？直到融合稳态体感电位(steady-statesomatosensoryevokedpotential,SSSEP)和MI的混合范式被提出来。已有研究表明，融合这两种特征用于识别运动想象动作的识别正确率明显高于仅使用一种特征的识别正确率。在这种范式下，使用者无需刻意关注体感刺激，而是采用与传统MI范式一样的想象模式进行想象即可。这种混合范式不仅不影响MI-BCI主动式的优势，而且能够提高MI-BCI的识别性能，因此为本专利技术设计提供了思路。本专利技术设计了三类基于右手不同手指的精细想象动作混合范式，包括拇指、食指和小指。通过加入电刺激，诱发感觉运动皮层的SSSEP特征，实现通过单一运动想象任务同时获取ERD和SSSEP两种模态的识别信息，提升脑电信号可识别的信息量。手套设计能够增加用户的触觉感和体验感，用户通过想象右手的不同手指的运动，控制机械手臂完成指定的动作，提升用户的互动。本设计不同于原有的MI-BCI，通过构建精细动作机械手臂在线控制系统，实现精细动作意图的识别，为康复治疗提供新思路。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种基于混合特征的精细动作机械手臂在线控制BCI系统,能够实现准确的精细动作识别，对于运动功能损伤患者，有助于特定脑区的训练，有望为中风康复治疗的BCI技术发展开拓思路并奠定技术基础。同时，满足多指令输出。为此，本专利技术采取的技术方案是，机械手臂控制在线脑-机接口实现方法，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。被试进行电刺激强度的调整：电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26Hz、小指31Hz，刺激强度调整至使用者轻微震颤，以足以产生SSSEP为止，每个被试的刺激强度根据每个被试的身体条件而确定。通过在拇指和小指两个位置给予电刺激诱发SSSEP特征具体过程是，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下；单个轮次的流程共包含4个阶段，持续时间为8s，首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始，在第2s时，屏幕中间出现提示字符，提醒用户即将执行的想象任务；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的MI想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次；在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。共采集5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次，前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能，在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程，整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本；通过放置在头颅的64导联银/氯化银Ag/AgC1合金电极帽由NeuroscanSynAmps2系统进行EEG信号采集，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下，数据采集过程中，50Hz陷波器被用于去除工频干扰，预处理中对原始数据降采样到200Hz，并采用共平均参考进行空间滤波；采用事件相关谱扰动ERSP(event-relatedspectralperturbation)分析EEG信号的时频域特征，分析不同想象任务下的ERD/SSSEP模式，ERSP的定义公式如下：其中，n表示实验轮次的个数，Fk(f,t)指的是第k轮次实验的t时刻在频率f下的频谱估计。计算ERSP时采用短时傅里叶变换，hanning窗宽为256个采样点，并从原始数据中减去任务前3s内的频谱均值从而去除基线，针对每个想象任务，主要分析FC3、FC1和C3三个关键导联的时频特征。特征提取和多分类支持向量机采用基于多频率成分空间滤波的算法FBCSP(filterbankco本文档来自技高网...

【技术保护点】
1.一种机械手臂控制在线脑‑机接口实现方法，其特征是，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。

【技术特征摘要】
1.一种机械手臂控制在线脑-机接口实现方法，其特征是，对右手不同手指设计三类动作，包括拇指、食指和小指；通过在拇指和小指两个位置给予电刺激诱发SSSEP特征，提升识别性能，然后通过空间滤波、特征提取和模式识别过程输出决策值，最后通过蓝牙装置发送相应的指令控制机械臂完成指定的动作。2.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，被试进行电刺激强度的调整：电刺激采用脉宽为200μs的双相电流脉冲，通过两个自粘性心电电极施加刺激，刺激电极嵌入模拟手套的拇指和小指位置。刺激频率为拇指26Hz、小指31Hz，刺激强度调整至使用者轻微震颤，以足以产生SSSEP为止，每个被试的刺激强度根据每个被试的身体条件而确定。3.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，通过在拇指和小指两个位置给予电刺激诱发SSSEP特征具体过程是，被试坐在距离屏幕约1m的座椅上，保持舒适状态，并配带模拟手套，手心朝下；单个轮次的流程共包含4个阶段，持续时间为8s，首先第一阶段是准备期，屏幕正中央出现一个白圆，持续2s提醒被试本轮实验正式开始，需要调整好自身状态；接下来的1s时间是提示期，屏幕中间出现“拇指”、“食指”和“小指”的字样，提醒被试想象任务即将开始，在第2s时，屏幕中间出现提示字符，提醒用户即将执行的想象任务；然后是想象期，持续4s时间，被试根据提示执行响应的想象动作，如提示为“拇指”，则被试进行右手拇指的想象动作，若提示“食指”，则被试进行右手食指的想象动作，以此类推，此时被试无需刻意关注电刺激，按照原有的MI想象模式进行想象即可，最后是休息期，持续1s，被试保持静息状态，以作调整准备下一轮次；在实验开始前，用户开始被施加电刺激，使得用户适应电刺激，直至整个实验结束才停止。每个用户的刺激强度在实验开始前进行调整。4.如权利要求1所述的机械手臂控制在线脑-机接口实现方法，其特征是，共采集5组数据，每组实验包含30个单轮次任务，三种动作任务各随机出现10次，前3组实验数据用于建立匹配模板，后2组实验用于在线测试系统的性能，在正式实验前三天，所有被试均被要求进行每天/次的训练，并熟悉实验流程，整个实验持续60分钟，总采集5*30＝150次实验任务下的脑电信号，即150个脑电数据样本；通过放置在头颅的64导联银/氯化银Ag/AgC1合金电极帽由NeuroscanSynAmps2系统进行EEG信号采集，EEG频带滤波为0.5-100Hz，采样频率为1000Hz，以鼻尖作参考，所有的电极阻抗被保持在5千欧以下，数据采集过程中，50Hz陷波器被用于去除工频干扰，预处理中对原始数据降采样到200Hz，并采用共平均参考进行空间滤波；采用事件相关谱扰动ERSP(event-relatedspectralperturbation)分析EEG信号的时频域特征，分析不同想象任务下的E...

【专利技术属性】
技术研发人员：陈志堂，綦宏志，赵欣，明东，王仲朋，王坤，何峰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12