一种基于多模态脑机接口的智能家电控制护理装置及方法制造方法及图纸

本发明专利技术公开了一种基于多模态脑机接口的智能家电控制护理装置及方法，包括两两互联的视觉刺激屏、EEG信号采集系统、计算机、控制器、设备终端，本发明专利技术通过同时检测P300电位和SSVEP是否在同一目标按键组上产生，来区分系统的空闲/控制状态；然后通过基于P300的脑机接口来选择所要控制的家电设备及相关操作的控制。本发明专利技术为长期卧床不起的重症瘫痪病人(如SCA，ALS等)提供了一种新的护理方式；他们不仅可以自主地实现在床上的姿势改变，防止褥疮的发生。同时，也可以在床上实现对多种家电设备进行操作控制，提高生活质量。本发明专利技术具有准确区分系统空闲/控制状态、识别率高、功能齐全以及普遍实用性等优点，可供广大的卧床瘫痪病人使用。

【技术实现步骤摘要】

本专利技术涉及重症瘫痪病人的辅助装置、脑机接口应用研究及人机交互领域，尤其是指一种基于多模态脑机接口的智能家电控制护理装置及方法。
技术介绍
尽管目前市场上已经有很多的智能设备来帮助瘫痪病人改善生活质量。如基于语音控制、手动遥控开关操控以及定时控制等设备。但是对于那些重症瘫痪者，如：肌萎缩性脊侧腰索硬化症(ALS)、脊髓小脑的共济失调(SCA)及植物人等人群，他们保留了正常人的思维，但仅能通过视觉来跟外界取得交流。倘若这些病人能够实现对护理床、电视机等家电设备的控制，这样极大地改善了他们的生活质量。如控制护理床，可以根据他们自己的需要来实现护理床的不同状态的改变(如，翻身、起背，曲腿等)这样可以减少护理的劳动负荷，也可以预防褥疮的发生。又如，瘫痪的病人躺在床上的时候，若可以控制电视机、空调等与生活息息相关的家电设备，这样更有利于病人的康复和生活的改善。因而，专利技术一种可以供此类病人使用的一套护理装置是有必要的。进入二十一世纪后，随着人工智能领域不断的深入研究探索及挖掘，很多的研究者提出诸多的方法及理论来研究适合这类重症瘫痪病人使用的设备，改善他们的生活质量。近几年，神经工程领域的迅速发展使得神经网络与设备的结合越来越紧密，研发出一些适合这些病人使用的设备。其中，神经网络的一个重要分支领域--脑机接口(brain-computerinterface，BCI)，其发展是速度非常的快速，吸引了一大批的科研工作者对BCI领域研究的热潮。BCI是一种通过采集大脑皮层的信号进行处理及分析，并转化为控制外围设备的指令，实现人脑与计算机或其他通讯设备间的信息交流和控制，它不依赖于常规的人脑正常输出通道。利用人脑对不同的事物或认知活动产生不同的反应，从而得到不同类型的脑电信号。通过对脑电信号进行放大、滤波、采集、特征提取，分类等实现控制指令的转化。当前，脑电采集的方式有两种方式即植入式和非植入式。前者需要将电极植入大脑内部，存在很大的危险性，但是其获得的脑电信号信噪比高，精度也高，信号方便处理。而后者得到的信号是属于非平稳性信号，容易受到环境及人的当前状态的影响。当然，随着人们对信号处理方面的技术深入探讨，对于微弱的小信号的处理能力得到空前的进步。以及脑电采集仪对脑电采集的精度也较高。因此，在本专利技术中我们采用后者即非植入式的方式来获取脑电信号。然后，经过一系列的信号处理算法，最终实现对家电设备的控制。目前，关于脑机接口技术方面的研究已经取得了较大的进步且其技术相对成熟，无论是单一脑电信号的脑机接口技术，还是多模态的脑机接口技术已经有许多关于BCI方面的专利和成果了。如中国专利“一种新型的基于运动想象脑电控制的智能轮椅系统，公开号：CN101897640A”，“基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法，公开号：CN101301244A”以及“基于多模态脑机接口的智能轮椅，公开号：CN102309380”。另外，基于脑机接口的鼠标控制的因特网浏览方法、无线遥控车系统等；当前，主要用于脑机接口的的脑电信号主要有：运动想象、稳态视觉诱发电位(steady-statevisualevokedpotential，SSVEP)的脑电信号、一种内源性的与认知功能相关的特殊的事件相关电位(eventrelatedpotentials，ERP)即P300电位(其峰值出现在相关事件发生后的300ms左右)以及慢性层电位(SCP)等脑电信号。近年，随着脑机接口
的进一步发展及推广，这些比较具有规律和科学性的脑电信号被采用用于实际的生活应用中。虽然目前已经有一些基于脑电的护理床、脑电控制的电灯等，但是他们需要一直盯着闪烁的键，而且在空闲状态下容易产生错误的指令。在本专利技术中采用P300电位和SSVEP来实现系统状态的切换，通过P300电位来实现所需要控制的设备及操作。这样不仅可以减少错误指令的产生，同时用户根据自己的真实意图来控制家电设备，极大提高他们的生活条件，减少了护理的劳动负荷和促进了自我康复及治愈。
技术实现思路
本专利技术的目的在于克服现有技术的不足与缺点，提出一种基于多模态脑机接口的智能家电控制护理装置及方法，具有准确区分空闲/控制状态、识别率高、功能齐全以及普遍实用性等优点，可供广大的卧床瘫痪病人使用。为实现上述目的，本专利技术所提供的技术方案如下：一种基于多模态脑机接口的智能家电控制护理装置，包括：两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12个通道包括有“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控制其他家电设备，则通过其STR-30无线数据发射模块将指令发送到相应的设备终端；设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。一种基于多模态脑机接口的智能家电控制护理方法，包括以下步骤：1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便有一个最佳的刺激效果，获取良好的脑电信号；2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系统从空闲状态到控制状态的激活开关；3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化；然后通过Expresscard转并口的传输方式将数据传至计算机进行特征提取、分类，实现脑电信号的P300电位和SSVEP检测；一旦激活开关被正确识别后，系统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键闪烁；4)用户通过注视所要控制的设备按键，同样将本文档来自技高网...

【技术保护点】
一种基于多模态脑机接口的智能家电控制护理装置，其特征在于，包括：两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道处于国际10‑20系统中的标准位置；其中，所述12个通道包括有“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控制其他家电设备，则通过其STR‑30无线数据发射模块将指令发送到相应的设备终端；设备终端，通过其STR‑30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。...

【技术特征摘要】
1.一种基于多模态脑机接口的智能家电控制护理装置，其特征在于，包括：
两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效
果；
EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，
并要确保电极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12
个通道包括有“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、
“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；
计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP
的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注
视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机
成功检测出来后，系统将从空闲状态切换到控制状态，然后即可通过P300电位
的脑机接口实现相应设备的操作；
控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指
令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控
制对应的功能；若是控制其他家电设备，则通过其STR-30无线数据发射模块将
指令发送到相应的设备终端；
设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，
实现相应的红外编码以实现对该设备的操作。
2.一种基于多模态脑机接口的智能家电控制护理方法，其特征在于，包括
以下步骤：
1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便
有一个最佳的刺激效果，获取良好的脑电信号；
2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系
统从空闲状态到控制状态的激活开关；
3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信
号的预处理，包括放大、滤波、及采样量化；然后通过Expresscard转并口的传
输方式将数据传至计算机进行特征提取、分类，实现脑电信号的P300电位和
SSVEP检测；一旦激活开关被正确识别后，系统从空闲状态切换到控制状态，
并启动基于P300的脑机接口按键闪烁；
4)用户通过注视所要控制的设备按键，同样将产生的脑电信号送至计算机；
但此时只进行P300电位检测；一旦被正确识别，则刺激界面跳转到相应设备的
操作界面并启动该界面的P300闪烁；如果该设备的功能键也被正确识别后，计
算机将发送两个字...

【专利技术属性】
技术研发人员：李远清，彭能能，李凯，张瑞，曾海华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44