一种基于多传感器四足机器人的助盲系统和方法技术方案

本发明专利技术公开了一种基于多传感器四足机器人的助盲系统和方法，主要包括环境感知模块，决策规划模块和人机交互模块，环境感知模块由双GPS确定系统位置信息和航向，多线程雷达扫描环境点云信息，前置深度相机提供语义分割输入，鱼眼双目相机获取地面障碍物图像信息，压力传感器检测四足机器人足底受力情况；决策规划模块由控制器处理多传感器融合数据并规划下一步动作；人机交互部分由震动手环控制震度方向和幅度，弹性牵引绳提供辅助牵引力，配合在云台上的后置深度相机实时跟踪盲人，检测盲人关键点，以此推导盲人动作变化，在盲人摔倒等意外情况发生时由语音模块向外界求助。语音模块接收盲人语音指令，播报障碍物信息、盲人身体状态和规划路径信息等。本发明专利技术在保证舒适的前提下做到准确的环境感知，合适的决策规划和便捷的人机交互。和便捷的人机交互。和便捷的人机交互。

【技术实现步骤摘要】
一种基于多传感器四足机器人的助盲系统和方法


[0001]本专利技术涉及移动服务机器人领域，具体是指一种基于多传感器四足机器人的助盲系统和方法。
技术背景
[0002]我国是世界上盲人最多的国家，据2021年统计我国的盲人数量高达1731万。随着人口老龄化的加剧，盲人数量将进一步增加。他们情况特殊，在日常生活工作中会遇到很多常人难以想象的困难，尤其是在出行方面。然而，我国现有的医疗救护，基础设施等条件无法满足盲人正常出行的需求。一种辅助盲人出行的方式是：为盲人穿戴助盲设备，这类可穿戴式助盲设备大多是通过各种传感器实现对盲人所处环境的感知，再经处理器决策后由交互模块向盲人提供前进指令。但是，穿戴多种传感器容易对盲人产生沉重的身体负担，尤其是在长时间，远距离出行的时候，问题尤为突出。除此以外，这类助盲设备大多忽略了盲人本身的主观能动性，仅由助盲设备向盲人提供可行路线和前进指引，无法通过盲人的语音或动作充分理解盲人的意图，进而执行更加便捷的人机交互和目标导航。另外一种常见的辅助盲人出行的方法是：训练导盲犬。经过训练后的导盲犬能够听懂盲人的各种口令，帮助盲人出行活动。但是到目前为止，我国导盲犬数量远远无法满足多数盲人出行的要求。另外，导盲犬的训练周期长，训练成本高，训练好的技能短时间内也无法迁移，这些问题都导致导盲犬难以普及。再有，虽然携带导盲犬能够解决很多出行不便的问题，但是出于卫生和安全的考虑，社会上很多人对于导盲犬的接受程度还是很低，这类问题进一步阻挡了盲人出行的脚步。出行难的问题导致盲人在接受教育、社会交往等各个方面产生诸多困扰，在生活的各个方面都造成了不利的影响。因此，研制出能够帮助盲人便捷安全出行的助盲系统具有非常重要的现实意义。
[0003]面向盲人正常出行的需求，搭建帮助盲人安全出行的助盲系统，国内外高校和企业已经做出了相关探索。然而，助盲系统的研究虽然取得了一些成果，但仍存在以下问题：
①
现有助盲系统多为穿戴式，大量传感器设备降低了便携和舒适性。
②
现有助盲系统缺乏对盲人本身语音和动作信息的判断，难以实现有效的安全保障和双向的人机交互。
[0004]中国科学院计算技术研究所搭建了一套可穿戴式多传感器导盲系统，该设备由电池、计算单元、GPS、深度相机、超声波传感器、人机交互等模块构成，通过融合处理多传感器信息，生成行动指令，辅助盲人出行。但是大量的传感器设备加重了盲人出行的负担，缺乏舒适性和便携性。另外，类似的设备并没有充分考虑盲人本身的动作和意图。也就是说，该设备的人机交互仅是单向的，仅由导盲设备向盲人提供前进指引，无法理解盲人意图，然后通过语音或动作指令进行地图切换导航，安全监督保障等操作。
[0005]相比较穿戴式助盲系统而言，四足机器人相对独立于盲人，既能保证盲人出行的舒适性，又可携带多样的外部传感器，实现对外界环境的准确感知和盲人自身动作和意图的评估，进行便捷有效的安全监督和双向的人机交互。另外，四足机器人在形状和大小上都类似于宠物狗，比其他助盲系统更容易为人所接受，不会产生排便问题和进入公共场合的
社会争议问题。随着环境感知技术和机器人控制技术的逐渐成熟，四足机器人在助盲方向的发展潜力也在逐步提升。
[0006]助盲系统需要兼顾环境感知，决策规划和人机交互，然而还没有一种助盲系统能够在保证便捷舒适的前提下做到准确的环境感知，精准的决策规划和双向的人机交互。

技术实现思路

[0007]为了充分考虑盲人本身状态和周边环境信息，在盲人和助盲系统双向交互的基础上，实现安全无碰撞的助盲导航，以下给出了一种基于多传感器的四足机器人助盲系统及具体实现方法：
[0008]本专利技术基于多传感器四足机器人的助盲系统和方法，是采用以下技术手段实现的：
[0009]一种基于多传感器四足机器人的助盲系统，与四足机器人配合使用，四足机器人包括机身6和电源13。助盲系统包括环境感知模块、决策规划模块、双向人机交互模块、以及其他部分，其中，环境感知模块包括四个压力传感器5，前置深度相机8，多线程激光雷达9，鱼眼双目相机11，后置GPS 20，前置GPS 21；决策规划模块包括：控制器12；双向人机交互模块包括震动手环1，弹性牵引绳2，后置深度相机3，语音模块7；其他部分还包括后置连接件4，二自由度云台10，前置连接件19。以下详细介绍：
[0010]控制器12和电源13相邻，固定在四足机器人内部，四个压力传感器5分别装配在四足机器人足底，四足机器人机身6背部靠前安装有前置连接件19，前置深度相机8、语音交互模块7和多线程激光雷达9分别固定在前置连接件19的前面，两侧和上面。后置连接件4安装在四足机器人背部靠后，弹性牵引绳2连接后置连接件和震动手环1，震动手环1佩戴在盲人手腕上。后置深度相机3安装在二自由度云台10上，由二自由度云台10旋转获得大范围视野。二自由度云台10固定在四足机器人背部中间位置，位于前置连接件19和后置连接件4之间。此外，两对鱼眼双目相机11分别固定在四足机器人机身6下方前后躯干。
[0011]首先，设置四足机器人各电机为位置模式，接收控制器12的角度和力矩控制信号。采用深度神经网络vgg预先训练在各种地形环境下四足机器人足底压力到机器人保持机身6稳定所需的各电机角度和扭矩的映射关系，由压力传感器5接受足底力的大小作为反馈信号传递给机身6内部的控制器12，控制器12根据训练权重输出电机角度保持机身6的稳定性，启动助盲系统，准备辅助盲人出行。
[0012]其次，在盲人经常去的地方预先建立二维栅格地图，由控制器12运行cartographer算法进行多线程激光雷达9建图。盲人出行时，通过语音或动作给定目标全局坐标系位置或目标别名，例如：某某超市，基于预先建立好的全局静态地图、前后GPS获取的盲人位置和航向角，控制器12运行变体Dijkstra算法进行全局路径规划，另外多线程激光雷达9实时扫描周边环境，获取局部范围内动态障碍物的点云信息，控制器12运行动态时间窗算法进行小范围的路径规划，对全局路径进行局部范围的微调。接着，将所规划世界坐标系下的三维路径点转换到机身6质心坐标系下，根据四足机器人运动学模型进行逆解，确定各个关节的转动角度，控制四足机器人沿着规划路径前进，实现循迹。在未知环境下，没有先验地图，盲人通过语音或动作给定目标位置后，得到由全局出发点到目标点的矢量路径，仅采用GPS进行全局定位，激光雷达9实时扫描局部障碍物，实时调整规划路径，完成探索和
导航。
[0013]同时，前置深度相机8获取四足机器人前方视野范围内的RGB图像和深度信息，经过像素对齐后，控制器12输RGB信息到经由监督学习训练好的语义分割神经网络模型后得到环境的语义信息，包括路面、阶梯、标识牌、行人等。四足机器人根据所处的地形信息，决定绕道或跨越，通过语音模块7传达给盲人，并提醒盲人注意安全。由控制器12运行多线程Pyaudio通过语音模块7接收和播放特定声音，接收盲人的语音信息作为控制指令，经由控制器12控制相应的执行单元执行动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器四足机器人的助盲系统，与四足机器人配合使用，四足机器人包括机身(6)和电源(13)，其特征在于，包括环境感知模块、决策规划模块、双向人机交互模块以及其他部分，其中，环境感知模块包括压力传感器(5)，前置深度相机(8)，多线程激光雷达(9)，鱼眼双目相机(11)，后置GPS(20),前置GPS(21)；决策规划模块包括：控制器(12)；双向人机交互模块包括震动手环(1)，弹性牵引绳(2)，后置深度相机(3)，语音模块(7)，其他部分包括后置连接件(4)，二自由度云台(10)，前置连接件(19)；四个压力传感器5分别装配在机器人足底，采集四足受力并作为运动反馈信号传递给控制器(12)，由控制器(12)处理后控制机身(6)保持运动稳定性；前置深度相机(8)获取四足机器人前方视野范围内的RGB图像和深度信息，经控制器(12)特征提取后获得语义信息，包含路面、阶梯、标识牌以及行人；多线程激光雷达(9)实时扫描周围障碍物信息，经控制器(12)降噪后由控制器(12)进行路径规划；位于机身(6)下方的前后两对鱼眼双目相机(11)对四足机器人行进过程中的路面环境进行感知，由控制器(12)分析后判断是否有障碍物，并由语音模块(7)和震动手环模块(1)根据震动方向和幅度提醒盲人注意避让；语音模块(7)用于接收和播放声音，一方面接收盲人的控制指令，控制指令经由控制器(12)控制相应的执行单元执行动作，另外一方面在后置深度相机(3)获取到盲人肢体动作分析身体状态，如果摔倒则向外界传递求助信息；后置连接件(4)用于将牵引绳(2)连接于机身(6)，牵引绳(2)的另外一端连接震动手环(1)，震动手环(1)一方面通过震动向盲人发出警示，另一方面监测并评估盲人的身体健康状况，用于预防意外事故的发生；后置深度相机(3)通过二自由度云台(10)固定于机身(6)，由二自由度云台带动后置深度相机转动，控制器(12)通过分析获取到的图像判断盲人的身体关键点状态，以此信息监督盲人的健康状况，检测到摔倒意外后由震动手环(1)或语音模块(7)向外界求...

【专利技术属性】
技术研发人员：张东，牛杰，曹政才，李俊年，谢红玉，邵士博，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：