一种具有多模态人机交互的轮椅及其控制方法技术

技术编号:41282433 阅读:47 留言:0更新日期:2024-05-11 09:32
本发明专利技术一种具有多模态人机交互的轮椅及其控制方法,涉及一种轮椅及其控制方法,本发明专利技术采用模块化的方式搭建具有工控机,激光雷达,单片机,底层控制器,以及与其相连接电机驱动模块及其它模块;通过融合里程计和IMU数据的对轮椅的精准定位,在构建地图上对轮椅进行精准定位,实现改进RRT全局路径规划的自主导航实验;对轮椅进行多模态人机交互的设计,检测面部关键点,创建面部、头部、眼部人体特征姿态识别,分别对应轮椅的驱动指令,通过ROS通信驱动轮椅移动,在搭建的轮椅平台及ROS系统下实现智能轮椅平台的多模态控制系统。本发明专利技术实现了在复杂环境中用于轮椅多模态控制任务,给用户提供了自由的控制方式从而体验驾驶乐趣,辅助特殊或残障人士,使得对轮椅的实时控制更加友好。

【技术实现步骤摘要】

本专利技术涉及一种轮椅及其控制方法,特别是涉及一种具有多模态人机交互的轮椅及其控制方法


技术介绍

1、随着人机交互技术和机器视觉技术的发展,轮椅机器人的控制方式变得更加多样化。计算机可以采集人的状态,语音、手势、眼神、表情等各种动作,基于这个问题,对于轮椅的人机交互的多模态控制被开发,受益于这些设备的人群包括患有严重身体残疾以及运动障碍,患有神经肌肉缺陷或其他由事故、疾病、衰老或遗传性引起的运动功能障碍的人群导致上肢运动受限或完全无法运动,限制了他们行动的能力。

2、现有的轮椅平台人机交互方式单一,准确率、实时性较低。故非常有必要设计一种端到端的具有多模态人机交互的智能轮椅及控制系统,利用高准确率的实时姿态估计方法,对轮椅系统进行人机交互控制系统,并且在搭建的轮椅平台上测试模型的有效性,提高使用者自主能力,减少了对护理人员的依赖,具有良好的有效性和直观性,使那些在日常生活移动遭受行动障碍或在工作场景中需要额外人手的用户群体受益;无疑,这是非常有益于社会的轮椅应用技术的升级与提高。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种具有多模态人机交互的轮椅,其特征在于,所述智能轮椅包括平台和多模态控制系统,其控制系统包括有工控机,与工控机分别相连接有指令输入单元、底层控制器、分压模块和编码器、STM32F103C8T6单片机以及搭载ROS系统;

2.根据权利要求1所述的一种具有多模态人机交互的轮椅,其特征在于,所述设置的调速模块采用增量式PID控制,用于智能轮椅车轮速度闭环控制;通过工程实践法直接整定出适合轮椅电机的PID系数,响应时间约为一秒钟,足以满足系统应用需求。

3.根据权利要求1所述的一种具有多模态人机交互的轮椅,其特征在于,所述设置人体特征识别模块,采用MediaPipe...

【技术特征摘要】

1.一种具有多模态人机交互的轮椅,其特征在于,所述智能轮椅包括平台和多模态控制系统,其控制系统包括有工控机,与工控机分别相连接有指令输入单元、底层控制器、分压模块和编码器、stm32f103c8t6单片机以及搭载ros系统;

2.根据权利要求1所述的一种具有多模态人机交互的轮椅,其特征在于,所述设置的调速模块采用增量式pid控制,用于智能轮椅车轮速度闭环控制;通过工程实践法直接整定出适合轮椅电机的pid系数,响应时间约为一秒钟,足以满足系统...

【专利技术属性】
技术研发人员:李金凤高鹏宇
申请(专利权)人:沈阳化工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1