本发明专利技术提供一种基于多模式融合的脑机接口控制系统及方法，该系统包括用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；用以采集EEG脑电信号的脑电信号采集模块；用以提取并识别分类EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；脑电信号处理模块还将SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回脑电刺激与反馈模块；用以执行分类结果的执行模块。本发明专利技术构建了多模式融合的脑机接口，提高了控制系统的信息传输率、可靠性和灵活性，减少了单运动想象模式脑机接口下的低信息传输率，同时也减少了单SSVEP任务下的视觉负担，提高了基于脑机接口的控制系统的适应人群。
【技术实现步骤摘要】
本专利技术属于人工智能领域，涉及ー种基于多模式融合的脑机接ロ控制系统及方法。
技术介绍
脑机接ロ(Brain Computer Interface, BCI)是一种新型人机交互方式，它通过高级机器学习与模式识别算法对不同思维活动下的大脑的神经活动信号进行识别，并翻译成控制命令来直接控制外部设备，从而建立人脑与外部设备之间的直接通讯。脑机接ロ的研究正成为人工智能、康复工程的ー个热点，受到越来越广泛的关注。现有的BCI系统都是基于单ー模式的脑电信号，主要可归纳为3类 第一类，基于运动想象的事件相关去同步与同步(Event Related Desynchronization/ Synchronization,ERD/ERS)的BCI 系统；第二类，基于稳态诱发电位(Steady State EvokedPotential，SSEP)的BCI系统；第三类，基于诱发电位P300的BCI系统。事件相关电位P300最早由Sutton等人发现，可在Oddball试验模式下出现。P300是ー个主要与心理因素相关的内源性成分，在小概率事件后的250-450ms之间产生。P300脑机接ロ的优点是使用者需要的训练很少，因此应用非常广泛，如鼠标控制，机器人控制等。但是因为诱发脑电P300的強度和自发脑电比较起来相当微弱，为保证系统的可靠性，通常需要重复实验的方法来实现对P300的准确检测，因此P300产生的神经生理学机理和特性限制了其系统信息传输率的进一步提尚。大脑的功能之ー是參与运动的计划和运动的控制，想象肢体的运动会引起大脑运动皮层相关节律的事件相关去同步化/同步化(ERD/ERS)现象，即特定频段信号幅度降低、频带能量減少/特定频段信号幅度升高、频带能量増加。不同的肢体运动想象所引起的ERD的空间分布特性符合大脑运动皮层的躯体对应分布，并建立了基于运动想象的实时EEG识别系统。由于运动想象的产生不需要依赖外界刺激装铬，被试者只要按照提示进行一定时间的运动想象即可实现基于事件的BCI系统，故是ー种完全独立的BCI系统，因此，基于运动想象ERD/ERS的BCI —直是研究的焦点。但是，由于EEG信号的空间分辨率低，四种不同身体部位的ERD/ERS的空间分布有重叠，要通过加入更多不同身体部位运动想象来扩展BCI系统的命令种类，提高信息传输率是非常困难的。尽管近年来，已有研究人员尝试通过对同一肢体执行不同类型运动的想象的方法，如不同的运动速度、运动方向等，来増加BCI系统中的任务种类，但是一直还未取得理想的分类结果，这使得此类BCI系统的信息传输率受到制約。基于视觉的稳态视觉诱发电位SSVEP由外界固定频率闪烁的视觉刺激诱发产生，其強度与受试者对视觉刺激空间位铬的注视和注意有夫。利用SSVEP携帯的频率信息来判断使用者注视的方向，从而确定出受试者注视的目标——是基于SSVEP的BCI中最常用的方案。由于上述方案一般无需训练便可达到较高的数据传输率，因而被应用在脑控电话拨号、假肢控制等方面。但是SSVEP的产生需要稳定频率的闪烁刺激，容易引起视觉疲劳，不适合长时间使用。目前，将单ー模式的脑机接ロ系统用于轮椅控制上面临很多挑战，主要有I)信息传输率(带宽)低、自动化程度低。理论上，对运动功能严重失常的病人，BCI系统应该由他完全控制，然而事实上现有的BCI系统都需要照顾者的參与，如系统的安装、启动、初始化、关闭等。即使可以由病人自己关闭，但重新启动存在困难。2)环境适应性差，控制本身对于用户注意力、环境安全因素要求多。总体来说，最大的问题是可靠性差，信息传输率还远不能满足实际的复杂通讯的要求。此外，研究发现，对于各种模式的脑机接ロ系统，都存在有15% — 30%左右的使用者由于不能有效的产生相应模式的脑电特征，从而不能够有效控制。为了提高BCI的实用性，必须考虑用户的接受程度与训练方法，減少电极的数量，缩短训练时间，进ー步提高系统的可靠性，減少分类误差，提高BCI的信息传输率。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于多模式融合的脑机接ロ控制系统及方法，用于提高BCI的实用性。为实现上述目的及其他相关目的，本专利技术提供一种基于多模式融合的脑机接ロ控制系统及方法。一种基于多模式融合的脑机接ロ控制系统，包括用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；用以采集EEG脑电信号的脑电信号采集模块；与所述脑电信号采集模块相连，用以提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；所述脑电信号处理模块还与所述脑电刺激与反馈模块相连，用以将所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回所述脑电刺激与反馈模块；与所述脑电信号处理模块相连，用以执行所述分类结果的执行模块。优选地，所述基于多模式融合的脑机接ロ控制系统还包括与所述脑电信号处理模块相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行调整控制的输入控制模块；与所述脑电信号处理模块无线通信相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行分别调整控制的远程控制模块。优选地，所述脑电刺激与反馈模块包括用以诱发SSVEP稳态视觉的SSVEP刺激单元和用以诱导MI运动想象的听觉反馈单元。优选地，所述SSVEP刺激単元包括发光器和用以控制所述发光器的发光频率的控制器；所述控制器与所述发光器相连。优选地，所述脑电信号采集模块包括用以戴在头部的脑电帽；设置在脑电帽上且用以采集EEG脑电信号的电极；与所述电极相连，用以放大EEG脑电信号的放大器。优选地，所述脑电信号处理模块包括与所述放大器相连，用以在预设的单位时间内截取放大后的EEG脑电信号得到脑电数据的数据获取単元；与所述数据获取单元相连，用以对所述脑电数据进行滤波的预处理単元；与所述预处理单元相连，用以对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征的CCA単元；与所述预处理单元相连，用以对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征的CSP単元；分别与所述CCA単元和CSP単元相连，用以获得SSVEP分类识别结果以及MI运动想象的分类识别结果的SVM分类器。一种基于多模式融合的脑机接ロ控制方法，包括以下步骤SI，脑电刺激与反馈模块刺激诱发人脑的SSVEP稳态视觉和MI运动想象；S2，脑电信号采集模块采集人脑的EEG脑电信号；S3，脑电信号处理模块提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征；S4，执行模块执行所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类結果。 优选地，所述控制方法还包括一训练步骤S0，所述训练步骤SO在步骤SI前执行，所述训练步骤SO包括S01，脑电刺激与反馈模块中的听觉反馈单元发出声音刺激诱导受试者进行MI运动想象；同时，脑电刺激与反馈模块中的SSVEP刺激单元发出视觉刺激诱发受试者的SSVEP稳态视觉；S02，脑电信号采集模块采集人脑的EEG脑电信号；S03，脑电信号处理模块提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征本文档来自技高网...
【技术保护点】
一种基于多模式融合的脑机接口控制系统，其特征在于，所述基于多模式融合的脑机接口控制系统包括：用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；用以采集EEG脑电信号的脑电信号采集模块；与所述脑电信号采集模块相连，用以提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；所述脑电信号处理模块还与所述脑电刺激与反馈模块相连，用以将所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回所述脑电刺激与反馈模块；与所述脑电信号处理模块相连，用以执行所述分类结果的执行模块。
【技术特征摘要】
【专利技术属性】
技术研发人员：蒋昌俊，李洁，孙杳如，季洪飞，何良华，曹磊，徐卓，沈剑铭，王大明，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。