一种融合双姿态传感器的多模态脑机接口轮椅控制系统技术方案

本发明专利技术公开了一种融合双姿态传感器的多模态脑机接口轮椅控制系统，包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；本发明专利技术融合了用户在人机交互界面通过虚拟光标眨眼点击按钮控制电动轮椅运动模式与使用姿态角差值控制电动轮椅转向两种控制方式，相比于其他控制方式更加快速、准确、稳定，控制功能更加丰富；同时本发明专利技术还融合了语音信号触发停车指令，设置了多种防止电动轮椅误动作、误启动的措施，允许用户在使用过程中更多地观察周围环境，实用性好，安全性高。安全性高。安全性高。

【技术实现步骤摘要】
一种融合双姿态传感器的多模态脑机接口轮椅控制系统


[0001]本专利技术属于电动轮椅控制
，具体涉及一种融合双姿态传感器的多模态脑机接口轮椅控制系统。

技术介绍

[0002]瘫痪病人和行动不便的老年人对轮椅有很大需求，对于运动能力有障碍的人来说，普通轮椅并不能满足他们对舒适性和机动性的要求。因此，人们专利技术了电动轮椅，以节省使用者的体力，并增加其机动性。常见的电动轮椅控制方式很大部分是手动的，包括操纵方向杆和操作键盘，需要用户具有良好的上肢运动能力。然而，对于一些患有肌萎缩性侧索硬化(ALS)，脊髓损伤(SCI)等疾病造成严重运动障碍的人，深度瘫痪丧失四肢运动功能，很难通过传统的手动控制方式操控轮椅。需要为这类人群提供一种非手动的人机交互方式，让他们能够快速、准确地输出控制指令。
[0003]人机接口系统是一种允许用户与外部设备交互的通信系统。基于脑电信号的HMI也称为脑机接口，通常基于事件相关电位开发，包括慢皮质电位、稳态视觉诱发电位、P300电位和感觉运动节律(μ和β节律)。脑机接口可以将人的意图转化为控制信号，允许人的大脑和技术设备之间直接通信，不需要手动控制，提供了一种独立于大脑正常输出通路的传递大脑信息的沟通方法。与不同眼球运动相关的EOG信号，如水平/垂直眼球运动、凝视和眨眼，也被广泛用于开发人机界面。EOG通常具有很强的信号幅度，这使得它相对容易检测，因此适合为那些有能力控制其眼球运动的人开发人机界面。
[0004]姿态传感器是基于MEMS技术的高性能三维运动姿态测量系统。它包含三轴陀螺仪、三轴加速度计和三轴磁力计等辅助运动传感器，通过内嵌的低功耗ARM处理器输出校准过的角速度，加速度，磁数据等。通过基于四元数的传感器数据算法进行运动姿态测量，实时输出以四元数、欧拉角等表示的零漂移三维姿态数据。姿态传感器广泛应用在精准农业、太阳能光伏、通信基站、工程机械安全检测、智能机器人等多个领域，其主要作用就是控制平衡角度，进行安全检测，实现产品远程姿态监控，远程数据传输，保障人员或设备作业安全。
[0005]目前，基于脑电信号的脑机接口轮椅控制系统主要使用运动想象、P300以及SSVEP等脑电模式。例如中国专利(基于多模态脑机接口的智能轮椅，公开号：CN102309380A)，该专利技术通过运动想象和P300实现电动轮椅控制。中国专利(一种基于SSVEP的脑控轮椅的控制系统，公开号：CN112370259A)，该专利技术通过SSVEP实现电动轮椅控制。运动想象方法生成一个控制指令的最短，但是只能提供2到3个控制指令，通常主要用于控制轮椅转向，且运动想象方法需要先采集大量的训练数据训练模型，比较耗时，训练结果个体差异很大。P300和SSVEP可以提供丰富的控制命令，但是它们的响应时间比较长，准确率不高，容易造成疲劳，不适合长时间控制。以上控制方法均需要使用者佩戴电极帽，不便穿戴且所需通道数较多。同时基于视觉刺激发出指令的控制方式需要使用者一直注视显示屏幕，不利于使用者在轮椅行驶过程中观察环境，有一定危险性。
[0006]目前，基于眼电的轮椅控制系统主要通过检测眨眼信号来触发相应的控制按钮，实现电动轮椅控制。例如中国专利(基于眼电的轮椅控制系统，公开号：CN107007407A)，该专利技术通过检测眨眼信号并将其定位到某一个具体的按键上实现电动轮椅控制。使用眼电控制电动轮椅有以下缺点：第一，眨眼检测单元不能快速准确地识别眨眼是否为有意识眨眼，容易导致误操作；第二，区分不同眼部动作的准确率有待提高；第三，多种眼部动作的使用导致控制比较复杂，容易引起眼部疲劳，不适合长时间控制；第四，单纯地使用眼电控制轮椅需要使用者一直注视显示屏幕，不利于使用者在轮椅行驶过程中观察环境，有一定危险性。
[0007]目前，惯性测量单元在轮椅控制系统中主要用于姿态检测与控制。例如中国专利(一种基于双陀螺仪智能轮椅的姿态控制方法和装置，公开号：CN113244062A)，该专利技术通过检测使用者相对于轮椅的相对位姿信息，输出驱动指令，控制轮椅运转。但是该种控制方法对于严重运动障碍患者不友好，使用者无法灵活改变身体姿态，从而无法实现控制轮椅。

技术实现思路

[0008]本专利技术的目的在于提供一种融合双姿态传感器的多模态脑机接口轮椅控制系统，以解决上述
技术介绍
中提出的问题。
[0009]为实现上述目的，本专利技术提供如下技术方案：一种融合双姿态传感器的多模态脑机接口轮椅控制系统，包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；
[0010]所述用户头部信号采集与识别模块用于采集用户的眼电和注意力信号，然后将采集到的多模态信号经放大滤波后进行特征提取与计算识别，实现对用户的眨眼检测和大脑专注度检测；
[0011]所述用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成头部姿态传感器，集成在用户头部佩戴的脑机智能头环上，用于获取用户头部实时的方位姿态角；
[0012]所述蓝牙模块通过蓝牙将脑机智能头环、平板电脑和电动轮椅连接起来，将脑机智能头环获取的眨眼信号传输给人机交互界面实现指令触发；将实时用户头部方位姿态角和轮椅方位姿态角传输给指令生成模块，用于生成电动轮椅转向指令并控制电动轮椅的转向速度；
[0013]所述人机交互界面通过平板电脑的显示屏进行呈现，通过蓝牙模块与脑机智能头环和电动轮椅连接，用于系统状态的显示以及为用户提供轮椅操控界面；
[0014]所述轮椅姿态检测模块安装在轮椅上的平板电脑，由三轴加速度计、三轴陀螺仪和三轴磁力计集成为轮椅姿态传感器，用于获取轮椅实时的方位姿态角；
[0015]所述语音模块集成在平板电脑上，用于接收用户的语音信号，收到语音信号后触发指令生成模块生成控制指令；
[0016]所述指令生成模块根据虚拟光标在人机交互界面中对不同功能按钮的点击，输出对应的控制指令给电动轮椅执行模块；根据用户头部方位姿态角和电动轮椅方位姿态角的角度差控制电动轮椅的转向方向和转向速度；根据语音模块收到的用户语音信号生成停车指令控制电动轮椅停车；
[0017]所述电动轮椅执行模块根据接收到的控制指令，控制电动轮椅执行相对应的动作。
[0018]优选的，用户在所述人机交互界面中用户通过虚拟光标眨眼点击按钮，是在用户头部信号采集与识别模块中对用户眨眼所产生的眼电信号进行实时检测，判断用户当前是否有眨眼动作。
[0019]优选的，专注度检测是对用户当前大脑专注度进行实时检测，输出一个指定区间范围内的数值，数值越大则代表用户大脑专注度越高；算法内部为用户大脑专注度检测预设了一个阈值，当系统检测到用户有执行眨眼动作并且专注度检测的输出大于预设阈值时，则控制虚拟光标执行一次点击操作，反之则虚拟光标不执行任何点击操作。
[0020]优选的，所述人机交互界面设置为功能选择界面和电动轮椅运行界面，界面上特定按钮的点击有效时间有限制，以防止电动轮椅误启动。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；所述用户头部信号采集与识别模块用于采集用户的眼电和注意力信号，然后将采集到的多模态信号经放大滤波后进行特征提取与计算识别，实现对用户的眨眼检测和大脑专注度检测；所述用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成头部姿态传感器，集成在用户头部佩戴的脑机智能头环上，用于获取用户头部实时的方位姿态角；所述蓝牙模块通过蓝牙将脑机智能头环、平板电脑和电动轮椅连接起来，将脑机智能头环获取的眨眼信号传输给人机交互界面实现指令触发；将实时用户头部方位姿态角和轮椅方位姿态角传输给指令生成模块，用于生成电动轮椅转向指令并控制电动轮椅的转向速度；所述人机交互界面通过平板电脑的显示屏进行呈现，通过蓝牙模块与脑机智能头环和电动轮椅连接，用于系统状态的显示以及为用户提供轮椅操控界面；所述轮椅姿态检测模块安装在轮椅上的平板电脑，由三轴加速度计、三轴陀螺仪和三轴磁力计集成为轮椅姿态传感器，用于获取轮椅实时的方位姿态角；所述语音模块集成在平板电脑上，用于接收用户的语音信号，收到语音信号后触发指令生成模块生成控制指令；所述指令生成模块根据虚拟光标在人机交互界面中对不同功能按钮的点击，输出对应的控制指令给电动轮椅执行模块；根据用户头部方位姿态角和电动轮椅方位姿态角的角度差控制电动轮椅的转向方向和转向速度；根据语音模块收到的用户语音信号生成停车指令控制电动轮椅停车；所述电动轮椅执行模块根据接收到的控制指令，控制电动轮椅执行相对应的动作。2.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：用户在所述人机交互界面中用户通过虚拟光标眨眼点击按钮，是在用户头部信号采集与识别模块中对用户眨眼所产生的眼电信号进行实时检测，判断用户当前是否有眨眼动作。3.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：专注...

【专利技术属性】
技术研发人员：李远清，陆子霖，胡力，朱俊标，
申请(专利权)人：华南脑控广东智能科技有限公司，
类型：发明
国别省市：