一种基于脑电与肌电信息的多模式智能控制系统及方法技术方案

本发明专利技术公开了一种基于脑电与肌电信息的多模式智能控制系统及方法，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；所述脑电诱发器用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；所述脑电信号采集与处理模块用于对脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；所述肌电信号采集与处理模块用于执行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，生成相应的动作控制指令，通过脑电诱发器发送给被控对象。

A multi mode intelligent control system and method based on EEG and EMG information

The invention discloses a multi mode intelligent control system and method based on EEG and EMG information. The system includes EEG inducer, EEG signal acquisition and processing module, EMG signal acquisition and processing module and information communication module, and the EEG inducer is used to induce a variety of brain signals in human brain. The control instructions sent by the EEG acquisition and processing module are received, the switching process and the internal switching process are executed, the control functions are triggered and switched to display. The EEG signal acquisition and processing module is used to collect and analyze the EEG signals, and encodes the extracted EEG features. In order to generate the corresponding control instructions and send to the EEG inducer, the EMG signal acquisition and processing module is used to perform control function release mode switching, collecting and analyzing the EMG signals generated by the specific charge action, and generating the corresponding action control instructions and sent to the controlled by the EEG inducer. Elephants.

【技术实现步骤摘要】
一种基于脑电与肌电信息的多模式智能控制系统及方法
本专利技术涉及脑机接口
，具体涉及一种基于脑电(Electroencephalogram,简称EEG)与肌电(electromyography，简称EMG)信息的多模式智能控制系统及方法。
技术介绍
随着脑科学的研究、神经系统的认知、计算机技术和传感器技术的不断发展，大大地促进了脑机接口技术的进步，脑机接口技术是一个非肌肉通信系统，它可以使得人大脑意图和环境之间进行直接的信息交流，那么就可以应用该技术来改善人机交互模式，开辟一条更加直接有效的人机通讯专线，以一种全新的智能控制方式来提升人机协作模式。该项技术可应用于特种作业环境下的控制，医疗行业的残疾人康复训练设备控制，智能家居的控制，以及娱乐对象的控制等。在文献[1](中国专利，CN201710229265.2：一种脑电-肌电信号融合装置及融合方法)中，针对人的某一指控意图进行脑电与肌电信息的双重识别，所用分类识别方法为SVM，信息融合方法为D-S证据理论；针对上述方法进行了相应的可穿戴设备硬件设计。文献[2](徐斌，《基于脑电与肌电信号融合多自由度手部动作识别研究》，杭州电子科技大学硕士论文2012年1月)针对腕内旋、腕外旋、伸腕、屈腕、展拳和握拳6种动作进行肌电信息和脑电信息的双重识别，所用分类识别方法为SVM，信息融合方法为D-S证据理论。上述方法都没有将脑电与肌电信息融合起来，没有充分利用两者组合的信息。目前应用脑电信号和肌电信号进行控制应用的技术还不十分成熟，目前仅依靠脑电进行控制的案例是利用植入式脑电采集方式采集运动想象的脑电特征控制机械臂抓取杯子，该运动想象特征与本案例应用的稳态诱发电位特征原理不一样，且运动想象过程需要锻炼培训才可以实现很好的控制，实现起来过程复杂且精度不高。仅依靠肌肉信息特征的控制案例是gForce手环，控制精度不高，经常出现指控动作的特征混淆。即目前可应用的、可靠性与准确度高的、容易识别提取的脑电与肌电信号种类不多。
技术实现思路
本专利技术的目的在于克服目前智能控制系统存在的上述缺陷，首次提出的组合脑电与肌电两种信息的控制方式；可完成由脑电与肌电信号到最后控制指令发出的映射过程，整个控制过程无需任何按钮操作，提高了操作过程的神秘体验感。为了实现上述目的，本专利技术提出了基于脑电与肌电信息的多模式智能控制系统，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；所述脑电诱发器，用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；所述脑电信号采集与处理模块，用于对脑电诱发器诱发产生的脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；所述肌电信号采集与处理模块，用于进行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，并将提取到的肌电特征信息进行编码以生成相应的动作控制指令，通过脑电诱发器动作控制指令发送给被控对象；所述信息通讯模块，实现脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块及被控对象之间的信息通讯。作为上述系统的一种改进，所述系统还包括：供电模块，用于给整个系统供电。作为上述系统的一种改进，所述脑电诱发器包括：两个LED灯、若干对控制功能指示灯、中央控制器、控制指令接收单元和动作指令发送单元；所述两个LED指示灯，用于分别产生两个频率f和f1的闪烁灯光，当人眼注视该闪烁的灯光时大脑会产生同样频率的脑电信号；同时分别表示执行控制功能外切换过程和内切换过程；每对控制功能指示灯，具有相反的控制功能，一个指示灯用于表示该控制功能是否被启动；另一个指示灯用于表示相反的控制功能是否被启动；所述控制指令接收单元，用于接收脑电信号采集与处理模块和肌电信号采集与处理模块发送的控制指令；所述中央控制器，用于对接收到的控制指令进行分类，如果是脑电信号采集与处理模块发送的控制指令，则发送给控制功能指示灯进行显示；如果是肌电信号采集与处理模块发送的控制指令，则发送给动作指令发送单元；所述动作指令发送单元，将接收到的动作控制指令通过信息通讯模块发送给被控对象。作为上述系统的一种改进，所述脑电信号采集与处理模块包括：脑电信号采集传感器和脑电信号处理单元；所述脑电信号采集传感器，用于采集含有特征信息的脑电信号；所述脑电信号处理单元，用于对采集的脑电信号进行处理，解码生成相应的控制指令；具体为：首先对接收到的脑电信息进行叠加平均，叠加的时间窗为Tw，然后进行0.3Hz-70Hz的带通滤波，进行傅里叶变换，将时域信号转变为频域信号，进行频谱分析提取与刺激频率对应或其谐波频率相关的正弦波成分，根据提取的成分进行编码。作为上述系统的一种改进，所述肌电信号采集与处理模块包括：肌电信号采集传感器和肌电信号处理单元；所述肌电信号采集传感器，用于当操控者做出手臂动作时，采集含有特征信息的肌电信号；所述肌电信号处理单元，用于对肌电信号进行识别，当识别的肌电信号特征与预先定义的手势匹配成功后，则生成相应的动作控制指令，该控制指令通过信息通讯模块传输给脑电诱发器，然后传输给被控对象，被控对象接收到该控制指令会执行相应的动作。一种基于脑电与肌电信息的多模式智能控制方法，基于上述的系统实现，所述方法包括如下步骤：步骤1)操控者穿戴控制系统并给整个控制系统及被控对象上电，同时，完成需要信息通讯模块之间的蓝牙配对；步骤2)操控者注视脑电诱发器的LED指示灯的闪烁，进行脑电特征的诱发；步骤3)所述脑电信号采集与处理模块实时在线采集和分析脑电信息，对提取到的脑电特征进行解码，以获取对应诱发模式的脑电特征；步骤4)对识别提取出的诱发脑电特征进行控制指令编码；将编码好的控制指令由信息通讯模块发送到脑电诱发器；步骤5)脑电诱发器中的控制功能指示灯以发光二极管的形式，执行控制功能外切换过程和内切换过程触发和切换控制功能并进行显示；步骤6)根据控制功能指示灯显示结果确认对被控对象的动作控制，确认方式是通过所述肌电信号采集与处理模块执行控制功能释放模式切换，采集和分析由特定指控动作产生的肌电信息，识别提取出相应的肌电特征后进行控制指令编码，并通过信息通讯模块将其发送到脑电诱发器的中央控制器；步骤7)中央控制器通过融合其自身的惯性测量单元信息与发送过来的动作控制指令，给出最终的动作控制指令编码，并经由无线通讯模块发送到被控对象；步骤8)被控对象接收动作控制指令并执行相应的动作。作为上述方法的一种改进，所述步骤5)的控制功能外切换过程为：步骤101)当要启动脑电诱发器使其具备某个控制功能时，操控者双眼注视脑电诱发器上以频率f闪动的LED灯，此时操控者的枕叶电极o1和o2会产生周期对应于刺激频率f或其谐波的正弦波形成分，通过在枕叶的对应位置的脑电信号采集传感器来获取诱发的脑电信息，所述脑电信号处理单元通过相应的特征提取算法提取出该特征，一旦获取该特征，即表明脑电被诱发并识别成功；步骤102)所述脑电信号采集与处理模块以二进制数的形式将控制指令发送到脑电诱发器中的控制指令接收单元，然后传输给中央控制器，中央控制器通过计数器来统计该指令本文档来自技高网...

【技术保护点】
一种基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；所述脑电诱发器，用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；所述脑电信号采集与处理模块，用于对脑电诱发器诱发产生的脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；所述肌电信号采集与处理模块，用于进行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，并将提取到的肌电特征信息进行编码以生成相应的动作控制指令，通过脑电诱发器动作控制指令发送给被控对象；所述信息通讯模块，实现脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块及被控对象之间的信息通讯。

【技术特征摘要】
1.一种基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；所述脑电诱发器，用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；所述脑电信号采集与处理模块，用于对脑电诱发器诱发产生的脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；所述肌电信号采集与处理模块，用于进行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，并将提取到的肌电特征信息进行编码以生成相应的动作控制指令，通过脑电诱发器动作控制指令发送给被控对象；所述信息通讯模块，实现脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块及被控对象之间的信息通讯。2.根据权利要求1所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述系统还包括：供电模块，用于给整个系统供电。3.根据权利要求1所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述脑电诱发器包括：两个LED灯、若干对控制功能指示灯、中央控制器、控制指令接收单元和动作指令发送单元；所述两个LED指示灯，用于分别产生两个频率f和f1的闪烁灯光，当人眼注视该闪烁的灯光时大脑会产生同样频率的脑电信号；同时分别表示执行控制功能外切换过程和内切换过程；每对控制功能指示灯，具有相反的控制功能，一个指示灯用于表示该控制功能是否被启动；另一个指示灯用于表示相反的控制功能是否被启动；所述控制指令接收单元，用于接收脑电信号采集与处理模块和肌电信号采集与处理模块发送的控制指令；所述中央控制器，用于对接收到的控制指令进行分类，如果是脑电信号采集与处理模块发送的控制指令，则发送给控制功能指示灯进行显示；如果是肌电信号采集与处理模块发送的控制指令，则发送给动作指令发送单元；所述动作指令发送单元，将接收到的动作控制指令通过信息通讯模块发送给被控对象。4.根据权利要求3所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述脑电信号采集与处理模块包括：脑电信号采集传感器和脑电信号处理单元；所述脑电信号采集传感器，用于采集含有特征信息的脑电信号；所述脑电信号处理单元，用于对采集的脑电信号进行处理，解码生成相应的控制指令；具体为：首先对接收到的脑电信息进行叠加平均，叠加的时间窗为Tw，然后进行0.3Hz-70Hz的带通滤波，进行傅里叶变换，将时域信号转变为频域信号，进行频谱分析提取与刺激频率对应或其谐波频率相关的正弦波成分，根据提取的成分进行编码。5.根据权利要求4所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述肌电信号采集与处理模块包括：肌电信号采集传感器和肌电信号处理单元；所述肌电信号采集传感器，用于当操控者做出手臂动作时，采集含有特征信息的肌电信号；所述肌电信号处理单元，用于对肌电信号进行识别，当识别的肌电信号特征与预先定义的手势匹配成功后，则生成相应的动作控制指令，该控制指令通过信息通讯模块传输给脑电诱发器，然后传输给被控对象，被控对象接收到该控制指令会执行相应的动作。6.一种基于脑电与肌电信息的多模式智能控制方法，基于权利要求1-5之一所述的系统实现，所述方法包括如下步骤：步骤1)操控者穿戴控制系统并给整个控制系统及被控对象上电，同时，完成需要信息通讯模块之间的蓝牙配对；步骤2)操控者注视脑电诱发器的LED指示灯的闪烁，进行脑电特征的诱发；步骤3)所述脑电信号采集与处理模块实时在线采集和分析脑电信息，对提取到的脑电特征进行解码，以获取对应诱发模式的脑电特征；步骤4)对识别提取出的诱发脑电特征进行控制指令编码；将编码好的控制指令由信息通讯模块发送到脑电诱发器；步骤5)脑电诱发器中的控制功能指示灯以发光二极管的形式，执行控制功能外切换过程和内切换过程触发和切换控制功能并进行显示；步骤6)根据控制功能指示灯显示结果确认对被控对象的动作控制，确认方式是通过所述肌电信号采集与处理模块执行控制功能释放模式切换，采集和分析由特定指控动作产生的肌电信息，识别提取出相应的肌电特征后进行...

【专利技术属性】
技术研发人员：乔志强，张忠海，孙键，于功敬，
申请(专利权)人：北京航天测控技术有限公司，
类型：发明
国别省市：北京,11