一种自主导航与多模人机交互共享的轮椅控制系统及方法技术方案

本发明专利技术提供一种自主导航与多模人机交互共享的轮椅控制系统及方法，所述系统包括自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；还包括切换器完成多模人机交互控制方式间的切换。本发明专利技术可以有效降低用户驾驶轮椅的疲劳感，提高用户驾驶轮椅舒适性、平稳性和交互的流畅性，满足不同对象的需求，提高智能轮椅的应用范围。

A wheelchair control system and method for autonomous navigation and multi-mode human-computer interaction sharing

【技术实现步骤摘要】
一种自主导航与多模人机交互共享的轮椅控制系统及方法
本专利技术涉及智能辅助设备
，具体涉及一种自主导航与多模人机交互共享的轮椅控制系统及方法。
技术介绍
随着老年人和残障人士数量的不断增加，轮椅逐渐成为行动不便的老残人士的代步工具。传统的电动轮椅使用操纵杆控制轮椅，适用于上肢健全的用户，但对于肢体有障碍的用户来说难以实现。利用用户仅存的一些技能控制轮椅，比如摄像头捕捉面部朝向、手势以实现对轮椅的控制，但是长时间维持一种姿态会导致用户疲劳，且不经意的姿态改变会引起轮椅行驶路径发生突变，引起不必要的安全隐患。利用移动机器人轮椅自主导航，使轮椅完全自主移动，会引起用户产生一种沮丧感，因为用户希望尽可能地保留对轮椅的控制权，且为用户提供过度帮助会导致用户丧失剩余的技能。在人机共享控制模式下，用户与智能轮椅相互辅助，共同完成移动控制任务，传统的共享控制方法大多未考虑到不同用户控制能力的差异，用户的控制权与驾驶环境或能力无关。本专利技术所提出的共享控制方法，可根据用户的能力和驾驶环境实时切换机器人轮椅控制权的分配问题。当用户能力较弱时，轮椅处于相对安全的驾驶环境中，用户可以通过多模人机交互控制方式对控制轮椅运动，当用户遇到复杂障碍物，驾驶难度系数较高时，可以将控制权交给智能轮椅自主移动，直至到达简单安全的驾驶环境；当用户能力较强时，轮椅处于相对安全的驾驶环境中，可以将控制权交给轮椅自主移动，轮椅处于复杂的驾驶环境中，用户接管轮椅移动的控制权，直至到达简单安全的驾驶环境。本专利技术所述的共享控制方法使得用户驾驶轮椅更加平稳、舒适。多模人机交互控制方式可以满足不同对象的需求，提高智能轮椅的应用范围。
技术实现思路
专利技术目的：一种自主导航与多模人机交互共享的轮椅控制系统及方法，用户可根据轮椅行驶环境与个人习惯，实时选择切换相应的人机交互控制方式，提高用户驾驶轮椅的舒适性。
技术实现思路
：一种自主导航与多模人机交互共享的轮椅控制系统，包括自主导航器、多模人机交互控制器和共享控制器；自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。进一步地，多模人机交互控制器还包括切换器，能识别一个特定的手势动作，完成多模人机交互控制方式间的切换。进一步地，所述自主导航速度控制器与人机交互控制器按照话题优先级实时切换，共同完成智能轮椅的控制任务。进一步地，所述轮椅控制系统可以同时处理环境信息并根据人机交互控制指令控制轮椅运动。本专利技术还提供一种自主导航与多模人机交互共享的轮椅控制方法，包括以下步骤：(1)自主导航与多模人机交互控制方式共享控制智能轮椅，为输入的话题设置优先级，当轮椅接收到多个节点发布的速度控制话题时，系统会选择执行优先级最高的话题执行；(2)智能轮椅根据系统规划出的路径自主行进；(3)在智能轮椅自主行进的过程中通过人机交互控制方式适当地干预以满足用户对轮椅的控制权；(4)在驾驶轮椅过程中，用户可根据行驶环境与疲劳程度实时切换多模人机交互控制方式。进一步地，所述步骤(2)包括以下步骤：(21)激光雷达传感器感知环境信息，对获取的环境特征构建栅格地图；(22)加载栅格地图，将编码器和惯性测量单元的传感数据融合，实现对轮椅的自定位，在全局环境地图中实现轮椅的全局定位；(23)在持续定位的同时，全局路径规划器在全局静态地图上生成轮椅当前位置到目标位置的全局路径，局部路径规划器在局部动态地图上生成连续平滑的速度控制指令，发送至运动控制器；(24)运动控制器根据轮椅的运动学模型将接收到的速度指令分解发送至每个电机上，PID控制器调速实现轮椅的自主运动。进一步地，所述步骤(3)实现过程如下：智能轮椅按照导航指令自主行进，同时人机交互控制方式发出控制指令，根据话题优先级控制策略，人机交互控制方式控制信息优先于自主导航控制信息，多话题数据选择器输出人机交互控制方式的速度控制信息至驱动器控制轮椅运动；当没有人机交互控制方式控制指令发出时，多话题数据选择器输出自主导航的速度控制信息至驱动器控制轮椅运动：U(v,w)＝K1U(vh,wh)+K2U(vr,wr)其中，U(vh,wh)为人机交互控制方式速度信息，U(vr,wr)为自主导航速度信息，U(v,w)为最终发送至底层驱动器的速度信息。进一步地，所述步骤(4)包括以下步骤：(41)用户输入预定义的手势动作；(42)PC获取连续输入的视频，并将其转换成易于处理的形式，从中截取手势；通过从当前帧像素的RGB值减去前一帧像素的RGB值得出后续帧之间的差异：Dk(x,y)＝|Ri(x,y)-Ri-1(x,y)|其中，Ri(x,y)为当前帧像素的RGB值，Ri-1(x,y)为前一帧像素的RGB值，Dk(x,y)为后续帧之间的差值；(43)将截取的手势与数据库中手势进行匹配，从而识别手势；当用户做出手势动作时，会生成一组点，使用每帧中非灰色像素的x和y坐标的平均值，将这些点与数据库中的手势进行匹配，根据其标准差对这些点进行适当的缩放，将对应点差平方和最小的手势作为手势匹配返回，获得最佳匹配，识别相对应的手势：其中，βi为用户实时手势的对应点，αi为数据库中手势的对应点，N表示一个手势对应点的数量；(44)根据识别的手势，执行相应的命令集，打开或关闭相应的人机交互控制方式。有益效果：与现有技术相比，本专利技术的有益效果：1、轮椅运动时，用户与智能轮椅共享控制权，人机交互控制方式与轮椅自主导航控制方式相互协作完成任务，可以有效降低用户的疲劳感、沮丧感，提高轮椅驾驶的安全性、平稳性和舒适性；2、根据轮椅行驶环境和用户习惯实时切换多模人机交互控制方式，满足更多残障人士的需求，扩大应用范围。附图说明图1为自主导航和多模人机交互控制方式共享的轮椅控制系统框图；图2为智能机器人轮椅的结构图以及Kinect摄像头、PC控制器安装位置示意图；图3为多模人机交互控制方式切换示意图；图4为多模人机交互控制方式切换流程图；图5为多模人机交互控制方式切换界面示意图。具体实施方式为了更清晰地阐述本专利技术的
技术实现思路
，下面结合附图以及具体实施例来详细说明本专利技术，其中的具体实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。如图1所示，一种自主导航与多模人机交互共享的轮椅控制系统，包括自主本文档来自技高网...

【技术保护点】
1.一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，包括自主导航器、多模人机交互控制器和共享控制器；所述自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；所述人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；所述操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；所述头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；所述手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。/n

【技术特征摘要】
1.一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，包括自主导航器、多模人机交互控制器和共享控制器；所述自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；所述人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；所述操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；所述头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；所述手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。


2.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述多模人机交互控制器还包括切换器，能识别一个特定的手势动作，完成多模人机交互控制方式间的切换。


3.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述自主导航速度控制器与人机交互控制器按照话题优先级实时切换，共同完成智能轮椅的控制任务。


4.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述轮椅控制系统可以同时处理环境信息并根据人机交互控制指令控制轮椅运动。


5.一种基于权利要求1所述系统的自主导航与多模人机交互共享的轮椅控制方法，其特征在于，包括以下步骤：
(1)自主导航与多模人机交互控制方式共享控制智能轮椅，为输入的话题设置优先级，当轮椅接收到多个节点发布的速度控制话题时，系统会选择执行优先级最高的话题执行；
(2)智能轮椅根据系统规划出的路径自主行进；
(3)在智能轮椅自主行进的过程中通过人机交互控制方式适当地干预以满足用户对轮椅的控制权；
(4)在驾驶轮椅过程中，用户可根据行驶环境与疲劳程度实时切换多模人机交互控制方式。


6.根据权利要求5所述的一种自主导航与多模人机交互共享的轮椅控制方法，其特征在于，所述步骤(2)包括以下步骤：
(21)激光雷达传感器感知环境信息，对获取的环境特征构建栅格地图；
(22)加载栅格地图，将编码器和惯性测量单元的传感数据融合，实现对轮椅的自定位，...

【专利技术属性】
技术研发人员：徐国政，张庆松，朱博，王强，王聪，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32