基于脑控移动眼的残疾人辅助系统及其控制方法技术方案

本发明专利技术揭示了一种基于脑控移动眼的残疾人辅助系统及其控制方法，所述系统包括视觉诱发设备、信号采集设备、信号处理模块、外围控制设备；视觉诱发设备用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；信号采集设备用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理模块；信号处理模块用以实时分析采集到的数据，同时用来控制实验流程；外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；外围控制设备能根据信号处理模块发送的控制指令做相应的动作。本发明专利技术基于脑控移动眼的残疾人辅助系统及其控制方法，可增加轮椅控制的安全性。

【技术实现步骤摘要】
基于脑控移动眼的残疾人辅助系统及其控制方法
本专利技术属于智能控制
，涉及一种残疾人辅助系统，尤其涉及一种基于脑控移动眼的残疾人辅助系统；同时，本专利技术还涉及一种上述残疾人辅助系统的控制方法。
技术介绍
辅助设备涉及到脑-机接口BrainComputerInterface技术于1970年代由JacquesVidal的研究拉开序幕，在1999年的第一届脑-机接口国际会议上做出了如下定义：“脑-计算机接口是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统”(译文)，简单的说，用意念来控制外围设备。现今的脑-机接口通常有如下组件，视觉诱发设备可选，大脑活动信号提取设备，信号处理设备，外围被控制设备。脑-机接口包括基于P300电位的脑-机接口。P300电位是事件相关电位EventrelatedPotential,ERP的一种。人受到外界刺激后的大致300ms，在大脑相关区域产生的正向电位波动。该电位可以由视觉，听觉，触觉等多种感官刺激诱发。该刺激需是小概率事件，如果刺激过于频繁会影响P300的质量。采用视觉P300为基础的脑-机接口打字机系统于1988年被第一次提出。在该类脑-机接口中，视觉刺激的图案，刺激的闪烁序列，以及界面布局都对系统的表现有影响。通常使用的大脑活动信号为EEGElectroencephalography，通过电极于大脑头皮外侧采集，是一种非入侵的方式。该采集方式在信号分辨率，成本和实用性方面具有优势。随着生活水平的改善，各类电动轮椅相继出现，协助行动不便人士改善生活。但现今绝大多数轮椅都需要手来控制，而对于严重丧失肌肉运动能力的人群而言，这类控制技术毫无意义。脑-机接口技术直接读取使用者的大脑信号，几乎不需要肌肉组织参与，可以有效服务上述人群。专利号为CN201310163499.3的中国专利公开了一种基于SSVEP稳态视觉诱发电位steady-statevisualevokedpotentials的智能轮椅系统，包括LED频闪刺激器、电极帽、脑电预处理电路、无线传输系统、上位机、轮椅控制电路、电动轮椅和自动避障模块。电极帽采集到的脑电信号通过脑电预处理电路进行预处理后经无线传输系统传送给上位机进行处理产生控制信号，再经无线传输系统传送给轮椅控制电路对轮椅进行控制。不过该方案设计中视觉诱发模块同时出现多个一定频率的闪烁视觉刺激，容易让使用者疲劳。专利号为CN201410269902.5的中国专利公开了一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下步骤：根据网络摄像头获取当前图片对障碍物实现定位；障碍物信息产生候选目的地和用于路径规划的航迹点；对轮椅进行自定位；用户通过脑机接口选择目的地；将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合航迹点规划最优路径；计算轮椅当前位置与最优路径的位置差作为PID路径跟踪算法的反馈；PID路径跟踪算法计算出参考角速度和线速度并入到PID运动控制器，并将里程数据转化为当前的角速度和线速度信息作为PID运动控制器的反馈，实时控制轮椅行驶至目的地。该方案中需要使用外部摄像头，只能用于熟悉的环境。此外P300的叠加次数固定为4次，不利于轮椅的输出效率。上述轮椅辅助系统中，受控对象只有轮椅一项，人坐在轮椅上无法观察陌生环境下的视觉死角地区。有鉴于此，如今迫切需要设计一种新的辅助系统，以便克服现有系统的上述缺陷。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于脑控移动眼的残疾人辅助系统，可增加轮椅控制的安全性。此外，本专利技术还提供一种上述残疾人辅助系统的控制方法，可增加轮椅控制的安全性。为解决上述技术问题，本专利技术采用如下技术方案：一种基于脑控移动眼的残疾人辅助系统，所述系统包括：视觉诱发界面、信号采集设备、信号处理模块、外围控制设备；所述视觉诱发界面为整个系统的用户交互界面，使用者全程利用该界面进行控制；视觉诱发界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；视觉诱发界面的中部为视频实时反馈框，显示摄像头传输回的视频路况信息；顶部为控制命令显示栏，第一行目标(target)位置显示控制目标，框中反馈(feedback)部分显示系统输出的文字反馈；视频实时反馈框的周围有若干图标，该图标是带有指令图片的人脸刺激源，在智能车控制和轮椅控制模式下有不同的控制指令，在智能车控制模式下，控制智能车运动，在轮椅控制模式下控制轮椅运动；系统运行中，人脸刺激源将按照上位机的控制，以设定规律来进行诱发刺激；诱发刺激方式为：指令图片左侧为刺激产生位置，当图标不进行诱发刺激时，方框保持蓝色；刺激开始时，蓝色区域出现一张著名人物的人脸，随后立刻消失；每个图标配有闪烁编码，这些编码增加系统中对同一个目标的闪烁间隔，以求增加所诱发信号的质量。同时，增加多余的闪烁组，可以减少错误指令被输出的可能。最后为部分重要的按钮指令选择独特的闪烁组，避免保该按钮被错误选择。所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理模块；所述信号处理模块用以实时分析采集到的数据；脑电波数据从信号采集设备输入到信号处理模块，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类；信号处理模块同时作为上位机，控制整个实验流程，对视觉诱发设备、外围控制设备发出指令；该指令为如下命令中的一种或多种：控制轮椅、智能车移动，摄像头云台移动，诱发界面切换，同时发送文字反馈给视觉诱发界面，控制界面闪烁；所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；能根据信号处理模块发送的控制指令做相应的动作；在系统开始工作前，所述信号处理模块将按如下规则计算闪烁刺激出现的次序；(1)同一个位置不能连续出现闪烁刺激2次；(2)所有12组刺激必须出现，而且仅出现一次，完成一轮(trial)；之后下一轮(trial)开始；需要闪烁刺激时，数据处理模块按照固定时间间隔，挨个发送刺激序列中的每一个刺激组别，视觉诱发模块接收命令后，在相应图标产生刺激；使用者第一次使用系统前，需要为训练分类器采集离线数据，离线数据的采集包括如下步骤：(1)使用者根据提示注视指令按钮，默数该按钮左侧人脸出现的次数；(2)所有按钮会根据刺激序列重复出现多次，随后使用者根据提示注视下一个目标；(3)完成一定数量的目标后，结束离线采集；所述信号处理模块建模包括如下步骤：(1)对每一个刺激后，采集800ms脑电数据，滤波，特征提取；(2)对每一个刺激的脑电数据进行标注：目标或者非目标；(3)训练分类器产生模型；所述信号处理模块的P300信号处理流程为：步骤A1、每一个闪烁刺激命令发送后，数据处理程序将接收到的数据存放在缓存中；步骤A2、当紧接着某个刺激的800ms的数据被记录下后，程序开始处理数据；步骤A3、预处理，包括1-30Hz巴特沃兹带通滤波和4点的下采样；步骤A4、预处理后的特征通过贝叶斯线性分类器进行计算，得出对应评分(score)；步骤A5、当一个trial结束后，其中12个刺激对应的脑电数据都被处理，得出12个评分(score)，选出最大的2个评分(score)代表的闪烁组别，对应表2，得到相应命令；步骤A6、如果本文档来自技高网...

【技术保护点】
一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：视觉诱发界面、信号采集设备、信号处理模块、外围控制设备；所述视觉诱发界面为整个系统的用户交互界面，使用者全程利用该界面进行控制；视觉诱发界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；视觉诱发界面的中部为视频实时反馈框，显示摄像头传输回的视频路况信息；顶部为控制命令显示栏，第一行目标target位置显示控制目标，框中反馈feedback部分显示系统输出的文字反馈；视频实时反馈框的周围有若干图标，该图标是带有指令图片的人脸刺激源，在智能车控制和轮椅控制模式下有不同的控制指令，在智能车控制模式下，控制智能车运动，在轮椅控制模式下控制轮椅运动；系统运行中，人脸刺激源将按照上位机的控制，以设定规律来进行诱发刺激；诱发刺激方式为：指令图片左侧为刺激产生位置，当图标不进行诱发刺激时，方框保持蓝色；刺激开始时，蓝色区域出现一张著名人物的人脸，随后立刻消失；每个图标配有闪烁编码，这些编码增加系统中对同一个目标的闪烁间隔，以求增加所诱发信号的质量；同时，增加多余的闪烁组，以减少错误指令被输出的可能；最后为部分重要的按钮指令选择独特的闪烁组，避免保该按钮被错误选择；所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理模块；所述信号处理模块用以实时分析采集到的数据；脑电波数据从信号采集设备输入到信号处理模块，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类；在实施分类前利用离线数据建模。信号处理模块同时作为上位机，控制整个实验流程，对视觉诱发设备、外围控制设备发出指令；该指令为如下命令中的一种或多种：控制轮椅、智能车移动，摄像头云台移动，诱发界面切换，同时发送文字反馈给视觉诱发界面，控制界面闪烁；所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；能根据信号处理模块发送的控制指令做相应的动作；在系统开始工作前，所述信号处理模块将按如下规则计算闪烁刺激出现的次序；(1)同一个位置不能连续出现闪烁刺激2次；(2)所有12组刺激必须出现，而且仅出现一次，完成一轮trial；之后下一轮trial开始；需要闪烁刺激时，数据处理模块按照固定时间间隔，挨个发送刺激序列中的每一个刺激组别，视觉诱发模块接收命令后，在相应图标产生刺激；使用者第一次使用系统前，需要为训练分类器采集离线数据，离线数据的采集包括如下步骤：(1)使用者根据提示注视指令按钮，默数该按钮左侧人脸出现的次数；(2)所有按钮会根据刺激序列重复出现多次，随后使用者根据提示注视下一个目标；(3)完成一定数量的目标后，结束离线采集；所述信号处理模块建模包括如下步骤：(1)对每一个刺激后，采集800ms脑电数据，滤波，特征提取；(2)对每一个刺激的脑电数据进行标注：目标或者非目标；(3)训练分类器产生模型；所述信号处理模块的P300信号处理流程为：步骤A1、每一个闪烁刺激命令发送后，数据处理程序将接收到的数据存放在缓存中；步骤A2、当紧接着某个刺激的800ms的数据被记录下后，程序开始处理数据；步骤A3、预处理，包括1‑30Hz巴特沃兹带通滤波和4点的下采样；步骤A4、预处理后的特征通过贝叶斯线性分类器进行计算，得出对应score；步骤A5、当一个trial结束后，其中12个刺激对应的脑电数据都被处理，得出12个评分score，选出最大的2个score代表的闪烁组别，对应表2，得到相应命令；步骤A6、如果得到的命令存在，被记录，不然被抛弃；步骤A7、如果连续的两个trial得出的命令都存在，且相同，该命令作为控制信号输出，同时暂停闪烁刺激命令发送；如果信号不稳定则设置为多轮trial相同才输出；或者如果信号不稳定则设置为多轮trial相同、同时轮trial需达到一定的数量才输出。...

【技术特征摘要】
1.一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：视觉诱发界面、信号采集设备、信号处理模块、外围控制设备；所述视觉诱发界面为整个系统的用户交互界面，使用者全程利用该界面进行控制；视觉诱发界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；视觉诱发界面的中部为视频实时反馈框，显示摄像头传输回的视频路况信息；顶部为控制命令显示栏，第一行目标target位置显示控制目标，框中反馈feedback部分显示系统输出的文字反馈；视频实时反馈框的周围有若干图标，该图标是带有指令图片的人脸刺激源，在智能车控制和轮椅控制模式下有不同的控制指令，在智能车控制模式下，控制智能车运动，在轮椅控制模式下控制轮椅运动；系统运行中，人脸刺激源将按照上位机的控制，以设定规律来进行诱发刺激；诱发刺激方式为：指令图片左侧为刺激产生位置，当图标不进行诱发刺激时，方框保持蓝色；刺激开始时，蓝色区域出现一张著名人物的人脸，随后立刻消失；每个图标配有闪烁编码，这些编码增加系统中对同一个目标的闪烁间隔，以求增加所诱发信号的质量；同时，增加多余的闪烁组，以减少错误指令被输出的可能；最后为部分重要的按钮指令选择独特的闪烁组，避免该按钮被错误选择；所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理模块；所述信号处理模块用以实时分析采集到的数据；脑电波数据从信号采集设备输入到信号处理模块，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类；在实施分类前利用离线数据建模；信号处理模块同时作为上位机，控制整个实验流程，对视觉诱发设备、外围控制设备发出指令；该指令为如下命令中的一种或多种：控制轮椅、智能车移动，摄像头云台移动，诱发界面切换，同时发送文字反馈给视觉诱发界面，控制界面闪烁；所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；能根据信号处理模块发送的控制指令做相应的动作；在系统开始工作前，所述信号处理模块将按如下规则计算闪烁刺激出现的次序；(1)同一个位置不能连续出现闪烁刺激2次；(2)所有12组刺激必须出现，而且仅出现一次，完成一轮trial；之后下一轮trial开始；需要闪烁刺激时，数据处理模块按照固定时间间隔，挨个发送刺激序列中的每一个刺激组别，视觉诱发模块接收命令后，在相应图标产生刺激；使用者第一次使用系统前，需要为训练分类器采集离线数据，离线数据的采集包括如下步骤：(1)使用者根据提示注视指令按钮，默数该按钮左侧人脸出现的次数；(2)所有按钮会根据刺激序列重复出现多次，随后使用者根据提示注视下一个目标；(3)完成一定数量的目标后，结束离线采集；所述信号处理模块建模包括如下步骤：(1)对每一个刺激后，采集800ms脑电数据，滤波，特征提取；(2)对每一个刺激的脑电数据进行标注：目标或者非目标；(3)训练分类器产生模型；所述信号处理模块的P300信号处理流程为：步骤A1、每一个闪烁刺激命令发送后，数据处理程序将接收到的数据存放在缓存中；步骤A2、当紧接着某个刺激的800ms的数据被记录下后，程序开始处理数据；步骤A3、预处理，包括1-30Hz巴特沃兹带通滤波和4点的下采样；步骤A4、预处理后的特征通过贝叶斯线性分类器进行计算，得出对应评分score；步骤A5、当一轮trial结束后，其中12个刺激对应的脑电数据都被处理，得出12个评分score，选出最大的2个评分score代表的闪烁组别，对应表2，得到相应命令；步骤A6、如果得到的命令存在，被记录，不然被抛弃；步骤A7、如果连续的两轮trial得出的命令都存在，且相同，该命令作为控制信号输出，同时暂停闪烁刺激命令发送；如果信号不稳定则设置为多轮trial相同才输出；或者如果信号不稳定则设置为多轮trial相同、同时轮trial需达到一定的数量才输出。2.一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：视觉诱发设备，用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；信号采集设备，用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理模块；信号处理模块，用以实时分析采集到的数据；脑电波数据从信号采集设备输入到信号处理模块，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类；信号处理模块还用以控制实验流程；信号处理模块同时控制整个实验流程，对视觉诱发设备、外围控制设备发出控制指令；外围控制设备，包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；能根据信号处理模块发送的控制指令做相应的动作。3.根据权利要求2所述的基于脑控移动眼的残疾人辅助系统，其特征在于：信号采集设备用以采集脑电数据，包括如下步骤：(1)使用者根据提示注视指令按钮，默数该按钮左侧人脸出现的次数；(2)所有按钮会根据刺激序列重复出现多次，随后使用者根据提示注视下一个目标；(3)完成一定数量的目标后，结束离线采集；信号处理模块还用来建立模型，包括如下步骤：(1)对每一个刺激后，采集800ms脑电数据，滤波，特征提取；(2)对每一个刺激的脑电数据进行标注：目标或者非目标；(3)训练分类器产生模型；使用者第一次使用系统前，设置训练分类器产生模型的内容，所述信号处理模块将按如下规则计算闪烁刺激出现的次序；(1)同一个位置不能连续出现闪烁刺激2次；(2)所有N组刺激必须出现，而且仅出现一次，完成一轮trial；之后下一轮...

【专利技术属性】
技术研发人员：金晶，张宇，周思捷，张寒寒，凌晨，韩猷，王行愚，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海;31