一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法技术方案

本发明专利技术公开了一种基于眼电和机器视觉的轮椅机械臂集成系统，包括EOG采集放大器、图形用户界面、多眼动EOG信号检测识别单元、目标物体探测单元、综合识别单元、执行单元；本发明专利技术还公开了一种基于眼电和机器视觉的轮椅机械臂集成控制方法；本发明专利技术公开的基于两种眼部动作的人机接口指令输出方式，在保证消除无意识眼动带来的干扰的前提下，将生成一个指令的平均反应时间缩短至大约2秒，用户通过眼动可以输出14个不同的指令，准确率平均可达97.3％，而现有的基于眼电的轮椅控制技术准确率最高80％，相比于现有的基于EOG的人机接口在性能上有很大的提升；将眼电所反映的人脑智能与机器智能相互融合，既保证了控制的准确性，也减轻了用户的操作负荷。

An integrated system of wheelchair manipulator based on Optoelectronics and machine vision and its control method

【技术实现步骤摘要】
一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法
本专利技术属于人机交互
，具体涉及一种基于眼电和机器视觉的轮椅机械臂集成系统还涉及一种基于眼电和机器视觉的轮椅机械臂集成控制方法。
技术介绍
对于手脚不便的瘫痪病人(比如脊髓损伤患者)来说，想要完成一些诸如移动和抓取这类需要肢体参与的日常任务，都必须借助外界的帮助。通常，照顾这些患者的护士或者家属会协助他们完成一些必要的锻炼，满足他们的日常所需。但是，这类照顾工作会占用护理人员大量的时间与精力，很多家属甚至辞去工作待在家中或者病房，就是为了全天候照顾病人。为了减轻护理人员的负担，提高患者的生活自理能力，医护人员尝试着用各种各样的康复器械来辅助患者完成一些基本的日常活动，比如使用轮椅来帮助患者行走，使用机械臂来帮助患者完成抓取动作。对于很多瘫痪病人来说，尽管丧失了肢体运动能力，但很多人仍然能够保留一定程度的眼部运动能力。这是因为控制眼球及眼睑运动的神经全部位于大脑内部，如动眼神经、滑车神经和外展神经等与眼动相关的神经都属于脑神经，它们并不经过颈椎和脊柱，受到脑颅较好的保护不容易受伤。同时，完成眼部动作往往比完成肢体动作更轻松和方便，相比于脑电信号也更容易被检测，因此眼动(Electrooculogram,EOG)信号很适合用于作为辅助残疾人的人机接口的输入信号，用来控制轮椅、机械臂等助残设备。由于EOG信号具有高信噪比、输出稳定、个体差异小等优点，因此基于EOG的人机接口往往性能稳定、具有良好的时间响应性能并且操作简单，经过短时间训练就可以掌握使用方法。虽然不同的眼部动作之间的识别准确率可能有所差异，但相比于EEG信号，其整体的识别准确率和稳定性都要更好。同时，对于拥有正常眼动能力的受试者来说，完成一次常见的眼部动作(如向上看、向下看、向左看、向右看、左上斜视、左下斜视、右上斜视、右下斜视、抬眉、皱眉、眨眼以及单眨眼等)是很轻松的，动作时间也很短，有利于提高人机接口的可操作性和快速反应能力。另外，不同人群眼电的差异性并不大，并且对某一个特定的受试者来说，在不同时刻所产生的眼电EOG信号差异也不大，因此从整体上看EOG信号的特征是相对稳定的，这对于减少训练时间、增强EOG模型的泛化能力都很有帮助。而大部分的瘫痪病人仍然可以保留正常的眼部功能则为基于EOG的人机接口提供了巨大的潜在应用市场。目前基于EOG的人机接口在性能上仍然存在瓶颈，比如目前基于EOG信号的人机接口生成指令的方式主要是通过识别多种眼部动作，这样可以增加指令数目从而增加控制自由度，但是眼动类型的增多不仅会导致准确率下降，还会增加系统操作的复杂度，加重用户的使用负荷；此外，绝大多数用于助残的轮椅系统和机械臂系统都是独立工作的，而对于一些常见的日常任务，比如从房间里某个位置移动到桌子旁，然后抓取桌上的物体，则需要将轮椅和机械臂集成到同一系统中，并通过高效准确的方式进行控制。相比于单一设备控制任务，将两个设备集成之后所带来的全新的挑战包括：(i)必须精确地操控轮椅接近并停在被抓取目标附近，使得目标位于机械臂的抓取范围内，这对于轮椅运动精度的要求远高于传统的轮椅移动控制；(ii)控制集成系统的负荷远高于控制单一系统的负荷，容易引起疲劳，需要采取措施减少任务负荷。
技术实现思路
本专利技术的目的在于提供一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法，以解决上述
技术介绍
中提出的目前基于EOG信号的人机接口生成指令的方式主要是通过识别多种眼部动作，这样可以增加指令数目从而增加控制自由度，但是眼动类型的增多不仅会导致准确率下降，还会增加系统操作的复杂度，加重用户的使用负荷；此外，绝大多数用于助残的轮椅系统和机械臂系统都是独立工作的，而对于一些常见的日常任务，比如从房间里某个位置移动到桌子旁，然后抓取桌上的物体，则需要将轮椅和机械臂集成到同一系统中，并通过高效准确的方式进行控制，加重了操作负荷。为实现上述目的，本专利技术提供如下技术方案：一种基于眼电和机器视觉的轮椅机械臂集成系统，包括EOG采集放大器、图形用户界面、多眼动EOG信号检测识别单元、目标物体探测单元、综合识别单元、执行单元，其中：EOG采集放大器，用于对用户眼睛周围的眼动EOG信号进行采集和预处理；图形用户界面，用于向用户提供视觉上的对应控制指令的眼动时机提示；多眼动EOG信号检测识别单元，用于从EOG信号段中提取眼动波形特征参数，识别不同的眼动方式；目标物体探测单元，用于识别定位环境中的潜在目标物体坐标；综合识别单元，用于将识别结果向电动轮椅的控制器发出动作指令；执行单元，包括轮椅和机械臂，根据EOG识别的指令结果，控制轮椅的前进、后退、转向等动作，并根据目标物体坐标以及EOG指令操纵机械臂完成抓取动作。作为本专利技术的一种优选的技术方案，所述EOG采集放大器的采集频率为250赫兹，总增益1000，使用3个湿电极，分别作为EOG信号采集通道、参考通道以及共模信号去噪通道，分别贴于眉梢和左右耳垂后。作为本专利技术的一种优选的技术方案，所述图形用户界面由安放在轮椅座椅前部的一台笔记本电脑屏幕展示，共包括两级界面：(i)轮椅控制界面；(ii)机械臂控制界面。作为本专利技术的一种优选的技术方案，还包括多眼动EOG检测识别算法，分为眨眼检测、预目标选择、抬眉验证。作为本专利技术的一种优选的技术方案，对机械臂进行控制采用协同控制策略来实现，使用到的设备包括：EOG的人机接口、一号体感相机、二号体感相机，其中，一号相机用于识别轮椅前方的物体并获得其在相机空间中的三维坐标；二号相机朝着轮椅上的用户的脸部，用于识别用户的脸并定位用户的嘴在相机三维空间中的坐标。作为本专利技术的一种优选的技术方案，所述执行单元，包括电动轮椅和机械臂，其中，电动轮椅用于实现用户的移动；机械臂可以根据所提供的目标坐标自主规划移动路径。作为本专利技术的一种优选的技术方案，还包括匹配单元，该匹配单元用于对从EOG信号段中提取眼动波形特征进行匹配。本专利技术还公开了一种基于眼电和机器视觉的轮椅机械臂集成控制方法，所述控制方法如下：步骤一：用户根据屏幕上按钮的闪烁提示进行眨眼，系统检测到眨眼EOG信号后对其进行识别，将其分配给某一个按钮作为预选目标；步骤二：用户自行判断该预选目标是否正确，并通过抬眉动作进行验证，当验证通过后，该按钮被正式选中并触发对应的控制命令，用户可以通过这种方式来控制电动轮椅的前进、后退、加速减速、左转右转以及停止；机械臂的控制则需要摄像头返回检测到的周围物体的空间三维坐标，然后用户通过眼动选择一个目标物体，机械臂根据目标物体坐标自行规划抓取路径，用户在机械臂移动过程中可以通过眼动生成暂停、复位指令。与现有技术相比，本专利技术的有益效果是：(1)本专利技术公开的基于两种眼部动作的人机接口指令输出方式，在保证消除无意识眼动带来的干扰的前提下(误报率为0)，将生成一个指令的平均反应时间缩短至大约2秒，用户通过眼动可以输出14个不同的指令，准确本文档来自技高网...

【技术保护点】
1.一种基于眼电和机器视觉的轮椅机械臂集成系统，其特征在于，包括EOG采集放大器、图形用户界面、多眼动EOG信号检测识别单元、目标物体探测单元、综合识别单元、执行单元，其中：/nEOG采集放大器，用于对用户眼睛周围的眼动EOG信号进行采集和预处理；/n图形用户界面，用于向用户提供视觉上的对应控制指令的眼动时机提示；/n多眼动EOG信号检测识别单元，用于从EOG信号段中提取眼动波形特征参数，识别不同的眼动方式；/n目标物体探测单元，用于识别定位环境中的潜在目标物体坐标；/n综合识别单元，用于将识别结果向电动轮椅的控制器发出动作指令；/n执行单元，包括轮椅和机械臂，根据EOG识别的指令结果，控制轮椅的前进、后退、转向等动作，并根据目标物体坐标以及EOG指令操纵机械臂完成抓取动作。/n

【技术特征摘要】
1.一种基于眼电和机器视觉的轮椅机械臂集成系统，其特征在于，包括EOG采集放大器、图形用户界面、多眼动EOG信号检测识别单元、目标物体探测单元、综合识别单元、执行单元，其中：
EOG采集放大器，用于对用户眼睛周围的眼动EOG信号进行采集和预处理；
图形用户界面，用于向用户提供视觉上的对应控制指令的眼动时机提示；
多眼动EOG信号检测识别单元，用于从EOG信号段中提取眼动波形特征参数，识别不同的眼动方式；
目标物体探测单元，用于识别定位环境中的潜在目标物体坐标；
综合识别单元，用于将识别结果向电动轮椅的控制器发出动作指令；
执行单元，包括轮椅和机械臂，根据EOG识别的指令结果，控制轮椅的前进、后退、转向等动作，并根据目标物体坐标以及EOG指令操纵机械臂完成抓取动作。


2.根据权利要求1所述的一种基于眼电和机器视觉的轮椅机械臂集成系统，其特征在于：所述EOG采集放大器的采集频率为250赫兹，总增益1000，使用3个湿电极，分别作为EOG信号采集通道、参考通道以及共模信号去噪通道，分别贴于眉梢和左右耳垂后。


3.根据权利要求1所述的一种基于眼电和机器视觉的轮椅机械臂集成系统，其特征在于：所述图形用户界面由安放在轮椅座椅前部的一台笔记本电脑屏幕展示，共包括两级界面：(i)轮椅控制界面；(ii)机械臂控制界面。


4.根据权利要求1所述的一种基于眼电和机器视觉的轮椅机械臂集成系统，其特征在于：还包括多眼动EOG检测识别算法，分为眨眼检测、预目标选择、抬眉验证。

【专利技术属性】
技术研发人员：李远清，黄骐云，张智军，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44