本发明专利技术属于机器人遥控技术领域，涉及一种基于双臂姿态的实时捕捉的机器人遥控系统和方法，包括：应急遥操作机器人，用于获得具有深度信息的图像信息，生成三维模型，接收应急救援云平台中生成的机器人动作指令，根据机器人动作指令驱动机器人动作；应急救援云平台，用于将三维模型传送至增强现实模型，并接收增强现实模块采集的操作人员的双臂姿态信息，并将其转换为机器人动作指令；增强现实模块，用于根据三维模型，采集操作人员的双臂姿态信息，并将姿态信息上传至应急救援云平台。其方便拆解、易于搬运、快速搭建的应急双边遥操作，能够帮助应急救援人员在面对复杂、多变、非结构化的环境下进行精细类应急救援遥操作。
1、应急遥操作共融机器人结合遥操作技术与机器人技术，旨在应对应急救援现场的突发情况，具备高度自主操作和智能化水平。除了执行常规搜索、除障等操作外，该机器人系统还需要应对精密设备的拆除、拆解和搬运等精细任务。在应急救援现场，能第一时间处理突发情况，具有较高的自主操作以及智能化水平。在应急救援现场，应急救援机器人不仅要在危险环境下执行搜索、除障等常规操作，还可能面临精密设备的拆除、拆解及搬运等精细类任务，这对机器人的自主操作及智能化程度提出了较高的要求。然而目前机器人自主操作以及智能化水平较低，在应急救援现场中，面对复杂、多变、非结构化环境下的应急救援精细类操作，现阶段的机器人在自主决策层面的人工智能远远不能满足要求。因此，如何将遥操作技术与机器人技术相结合，通过人工智能增强型遥操作模式，提升应急机器人对突发情况的处理能力，是当前应急救援领域亟待解决的一大问题。
2、在传统的遥操作过程中，人与机器人的视觉共融仅通过rgb画面共享实现，这种视觉共融模式无法让远程操作人员感知到现场的深度信息。这种限制使得机器人在执行精细类操作时可能会引入较大的误差。
/>技术实现思路
1、针对上述问题，本专利技术旨在提供一种基于双臂姿态的实时捕捉的机器人遥控系统和方法，以便在应急救援场景中实现方便拆解、易于搬运、快速搭建的应急双边遥操作。该系统能够帮助应急救援人员在复杂、多变、非结构化的环境下进行精细类应急救援遥操作，具有操作便捷、人机共融、动作精细等特点，同时具备安全性、可靠性及人机交互便捷性。
2、为实现上述目的，本专利技术提出了以下技术方案：一种基于双臂姿态的实时捕捉的机器人遥控系统，包括：应急遥操作机器人、应急救援云平台和增强现实模块；所述应急遥操作机器人，用于获得具有深度信息的图像信息，生成三维模型，接收所述应急救援云平台中生成的所述机器人动作指令，根据所述机器人动作指令驱动机器人动作；所述应急救援云平台，用于将所述三维模型传送至所述增强现实模块，并接收所述增强现实模块生成的机器人动作指令；所述增强现实模块，用于通过增强显示技术显示三维模型，同时采集操作人员的双臂姿态信息并转化为所述机器人动作指令，并将所述机器人动作指令上传至所述应急救援云平台。
3、进一步，所述应急遥操作机器人包括rgb摄像头、深度摄像头、边缘主机和机械臂，所述rgb摄像头和深度摄像头，用于获得具有深度信息的图像信息；所述边缘主机，用于根据所述具有深度信息的图像信息生成三维模型，并接收所述机器人动作指令；所述机械臂，用于根据所述机器人动作指令模拟人类手臂进行动作。
4、进一步，通过imu线程调节所述rgb摄像头和深度摄像头的位置，所述imu线程读取和处理从惯性测量单元获取的数据，根据所述惯性测量单元的数据计算所述rgb摄像头和深度摄像头的姿态，若所述rgb摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若所述rgb摄像头和深度摄像头旋转的欧拉角超过间隔采样阈值，则通过所述rgb摄像头和深度摄像头捕获图像并记录数据，所述rgb摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。
5、进一步，所述边缘主机对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，所述边缘主机将图像数据转化为点云数据，并基于所述旋转矩阵先进行点云数据的粗配准，后基于彩色icp算法实现点云精配准，当多帧点云融合为场景点云后，基于bpa球形旋转算法将场景点云数据会转化为三角网格数据，将所述三角网格数据发送到所述应急救援云平台。
6、进一步，所述机械臂包括执行器、关节、传动臂和第一传感器；所述执行器，用于接收所述机器人动作指令；所述关节，用于模拟人体关节，其能够在180°内旋转；所述传动臂，用于模拟双臂的伸缩；所述第一传感器，用于感知周围环境和物体的位置、形状和受力信息，并将其传输至所述执行器，所述执行器根据所述第一传感器反馈的信息对关节和传动臂进行调整。
7、进一步，所述机械臂的顶端设置夹爪，所述夹爪用于实现物体的拖拽和抓取，所述执行器根据所述第一传感器反馈信息调整夹爪的抓取力。
8、进一步，所述应急遥操作机器人还包括驱动式移动底盘车，所述驱动式移动底盘车根据所述边缘主机内存储的路线图、操作人员的双臂姿态信息或自主导航避让选择行进路线，所述驱动式移动底盘车通过控制两个驱动力的转速差异实现转向和移动。
9、进一步，所述应急遥操作机器人还包括第二传感器，所述第二传感器为温湿度传感器，所述温湿度传感器用于检测周围环境的温湿度变化，并将所述温湿度变化信息转换为电信号，所述温湿度传感器将检测出的受灾现场的温湿度发送到所述应急救援云平台。
10、进一步，所述增强现实模块包括：增强显示单元，机器人控制单元和人机交互界面；所述增强显示单元，用于根据所述三维场景模型生成虚拟现实场景；所述机器人控制单元，用于在所述虚拟现实场景中对机器人进行控制，并采集操作人员的双臂姿态信息；所述人机交互界面，用于了解机器人的实施状态。
11、本专利技术还公开了一种基于双臂姿态的实时捕捉的机器人遥控方法，用于上述任一项所述的基于双臂姿态的实时捕捉的机器人遥控系统，包括以下步骤：应急遥操作共融机器人通过rgb摄像头和深度摄像头采集灾害现场图像的颜色信息和深度信息；根据所述图像的颜色信息和深度信息，获得场景点云数据；根据所述场景点云数据生成三维重建模型；根据所述三维重建模型生成虚拟现实场景；在所述虚拟现实场景中对机器人进行控制，实时采集操作人员的双臂姿态信息，并通过语音向所述操作人员核实；将经过核实的所述双臂姿态信息转化为遥操作共融机器人动作指令；根据所述遥操作共融机器人动作指令，对遥操作共融机器人的动作进行控制。
12、本专利技术用于采取以上技术方案，其具有以下优点：
13、1、本专利技术中方案实现了方便拆解、易于搬运、快速搭建的应急双边遥操作，能够帮助应急救援人员在面对复杂、多变、非结构化的环境下进行精细类应急救援遥操作，具有操作便捷、人机共融、动作精细等特点。同时，所述方案还具备安全性、可靠性及人机交互便捷性；
14、2、本专利技术中的方案使用了多种先进技术实现了遥操作共融机器人的自主操作和智能化水平，可以帮助应急救援现场更快、更精准地处理突发情况。
15、3、本专利技术中的方案可以让远程操作人员更加直观地感知机器人所处的环境，并实时传输这些信息以实现视觉感知共融，可以让远程操作人员在感知现场深度信息的前提下，使用双臂操纵应急机器人进行精细类操作，这种双边遥操本文档来自技高网...
【技术保护点】
1.一种基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，包括：应急遥操作机器人、应急救援云平台和增强现实模块；
2.如权利要求1所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人包括RGB摄像头、深度摄像头、边缘主机和机械臂，所述RGB摄像头和深度摄像头，用于获得具有深度信息的图像信息；所述边缘主机，用于根据所述具有深度信息的图像信息生成三维模型，并接收所述机器人动作指令；所述机械臂，用于根据所述机器人动作指令模拟人类手臂进行动作。
3.如权利要求2所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，通过IMU线程调节所述RGB摄像头和深度摄像头的位置，所述IMU线程读取和处理从惯性测量单元获取的数据，根据所述惯性测量单元的数据计算所述RGB摄像头和深度摄像头的姿态，若所述RGB摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若所述RGB摄像头和深度摄像头旋转的欧拉角超过间隔采样阈值，则通过所述RGB摄像头和深度摄像头捕获图像并记录数据，所述RGB摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。
4.如权利要求3所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述边缘主机对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，所述边缘主机将图像数据转化为点云数据，并基于所述旋转矩阵先进行点云数据的粗配准，后基于彩色ICP算法实现点云精配准，当多帧点云融合为场景点云后，基于BPA球形旋转算法将场景点云数据会转化为三角网格数据，将所述三角网格数据发送到所述应急救援云平台。
5.如权利要求2所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述机械臂包括执行器、关节、传动臂和第一传感器；所述执行器，用于接收所述机器人动作指令；所述关节，用于模拟人体关节，其能够在180°内旋转；所述传动臂，用于模拟双臂的伸缩；所述第一传感器，用于感知周围环境和物体的位置、形状和受力信息，并将其传输至所述执行器，所述执行器根据所述第一传感器反馈的信息对关节和传动臂进行调整。
6.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述机械臂的顶端设置夹爪，所述夹爪用于实现物体的拖拽和抓取，所述执行器根据所述第一传感器反馈信息调整夹爪的抓取力。
7.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人还包括驱动式移动底盘车，所述驱动式移动底盘车根据所述边缘主机内存储的路线图、操作人员的双臂姿态信息或自主导航避让选择行进路线，所述驱动式移动底盘车通过控制两个驱动力的转速差异实现转向和移动。
8.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人还包括第二传感器，所述第二传感器为温湿度传感器，所述温湿度传感器用于检测周围环境的温湿度变化，并将所述温湿度变化信息转换为电信号，所述温湿度传感器将检测出的受灾现场的温湿度发送到所述应急救援云平台。
9.如权利要求1所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述增强现实模块包括：增强显示单元，机器人控制单元和人机交互界面；
10.一种基于双臂姿态的实时捕捉的机器人遥控方法，其特征在于，用于如权利要求1-9任一项所述的基于双臂姿态的实时捕捉的机器人遥控系统，包括以下步骤：
...
【技术特征摘要】
1.一种基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，包括：应急遥操作机器人、应急救援云平台和增强现实模块；
2.如权利要求1所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人包括rgb摄像头、深度摄像头、边缘主机和机械臂，所述rgb摄像头和深度摄像头，用于获得具有深度信息的图像信息；所述边缘主机，用于根据所述具有深度信息的图像信息生成三维模型，并接收所述机器人动作指令；所述机械臂，用于根据所述机器人动作指令模拟人类手臂进行动作。
3.如权利要求2所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，通过imu线程调节所述rgb摄像头和深度摄像头的位置，所述imu线程读取和处理从惯性测量单元获取的数据，根据所述惯性测量单元的数据计算所述rgb摄像头和深度摄像头的姿态，若所述rgb摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若所述rgb摄像头和深度摄像头旋转的欧拉角超过间隔采样阈值，则通过所述rgb摄像头和深度摄像头捕获图像并记录数据，所述rgb摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。
4.如权利要求3所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述边缘主机对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，所述边缘主机将图像数据转化为点云数据，并基于所述旋转矩阵先进行点云数据的粗配准，后基于彩色icp算法实现点云精配准，当多帧点云融合为场景点云后，基于bpa球形旋转算法将场景点云数据会转化为三角网格数据，将所述三角网格数据发送到所述应急救援云平台。
5.如权利要求2所述的基于双臂姿态...
【专利技术属性】
技术研发人员：陈超，万超纪，何之洲，雷小武，许冰冰，杨旭，罗振，潘雨欣，
申请(专利权)人：华北科技学院中国煤矿安全技术培训中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。