一种基于三维手势的空间机器人遥操作系统技术方案

一种基于三维手势的空间机器人遥操作系统，包括手势交互子系统、预测仿真子系统、信息管理子系统；手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理；预测仿真子系统与手势交互子系统连接，对手势交互子系统发来的遥操指令的合法性进行检查，并监测空间机器人的当前状态数据，通过动力学仿真对空间机器人下一步的状态进行预测，和通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示；信息管理子系统与预测仿真子系统连接，通过地面站与空间机器人进行通讯，实现遥操指令上传与监测状态数据下放。应用本发明专利技术，能够精确实时地控制空间机器人完成一系列在轨维修、在轨模块更换、在轨燃料加注等任务。

【技术实现步骤摘要】
一种基于三维手势的空间机器人遥操作系统本申请是申请号为201611023564.2、名称为“一种基于三维手势的空间机器人遥操作系统”的专利技术专利申请的分案申请。
本专利技术涉及空间机器人遥操技术，尤其是涉及一种基于三维手势的空间机器人遥操作系统。
技术介绍
随着人类空间活动的不断发展，可以预见在未来将会有大量的空间生产、空间加工、空间装配、空间维护和修理的工作需要进行。由于太空环境的危险性和宇航员生命保障的高成本限制，机器人已经在航空航天领域内发挥越来越重要的作用。然而，受到机构、控制、传感和人工智能等支撑技术的限制，研制出能够在未知或复杂环境下全自主方式工作的智能机器人，是短期内难以实现的目标。因此，充分利用现有技术、发展既有局部自主能力又将人的智能包含进去的遥操作机器人(Telerobotics)系统是一种比较现实的选择。遥操作(Teleoperation)在字面上可以理解为远距离操作。在遥操作机器人系统中，操作员作为监控者，间歇地与遥端的机器人进行通信，从遥端的机器人系统获得需要的原始数据信息，同时向遥机器人发送目标任务等指令，遥机器人根据接收到的指令，加上自身的人工感知和智能执行任务。可以发现，遥操作机器人是一个种有人参与的机器人局部自主控制系统，涉及到人与机器人的交互和机器人与环境的交互，它充分发挥了人与机器人各自的优势并拓展了人的感知和行为能力，因此在航空航天领域中都有着广泛的应用前景。在航天活动中，只需要地面操作人员和/或位于舱内的宇航员对空间机器人进行遥操作，就可以完成空间站的维护或航天器燃料加注等任务，甚至是月球或火星表面的勘测。避免了出舱对宇航员带来的危险，有效地降低了航天任务的成本，并拓展了人类的探测能力。在常见的人机交互技术中，摇杆、仿机器人外形的控制器等接触式的机械设备是经常被用作操作员和机器人之间交互的工具。然而这类控制器的最大缺点是需要操作员进行相当不直观的手臂动作对机器人进行控制，这就需要操作员具备一定的操作经验才能有效的对机器人进行准确的控制。另外一种人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统。属于这类型的设备有电磁跟踪设备，惯性传感器，数据手套等，这些都属于接触式的传感器，缺点也很明显，就是会阻碍操作员正常的手部动作。相对于上述提到的交互技术，基于机器视觉的交互技术有着明显的优势。由于是非接触式的，因此整个操作方式是非侵入式的，对操作员的干扰会大大减少。在这类交互技术中，让操作员能以直观和自然的命令方式去进行控制，有效避免接触式设备所带来的干扰。
技术实现思路
本专利技术基于机器视觉的交互技术的思路，提供一种基于三维手势的空间机器人遥操作系统，更好地实现空间机器人的控制。为实现上述目的，本专利技术采用以下技术方案：一种基于三维手势的空间机器人遥操作系统，包括手势交互子系统、预测仿真子系统、信息管理子系统；所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理；所述预测仿真子系统与所述手势交互子系统连接，对所述手势交互子系统发来的遥操指令的合法性进行检查，并监测空间机器人的当前状态数据，通过动力学仿真对空间机器人下一步的状态进行预测，和通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示；所述信息管理子系统与所述预测仿真子系统连接，通过地面站与空间机器人进行通讯，实现遥操指令上传与监测状态数据下放。进一步地：所述预测仿真子系统包括动力学仿真模块，所述动力学仿真模块在仿真过程中通过对空间机器人的基座、机械臂末端所受外力/力矩及关节力矩输入，递推从空间机器人的基座到机械臂末端的位置/速度关系，计算速度、加速度从而得到空间机器人的位置和速度，根据计算结果得到空间机器人下一步的状态。所述预测仿真子系统包括碰撞检测模块和安全预警模块，所述碰撞检测模块对空间机器人的下一步状态进行碰撞检测，所述安全预警模块根据碰撞检测结果进行安全预警。所述碰撞检测模块基于层次包围盒原理，利用分层K-Dops包围盒技术，在空间机器人工作过程中对空间机器人的机械臂内部各部分、空间机器人与物体之间的距离进行检测，在仿真阶段判断空间机器人是否发生碰撞，以避免将不安全的控制数据发送给空间机器人。所述安全预警模块基于人工势场技术，为空间机器人添加一层外围的包裹区域，当通过手势控制空间机器人工作时，若空间机器人的包裹区域到达目标物体表面则为操作者作出预警提示，优选地，基于预警区域动态调整算法，使预警范围随着手势数据移动速度及加速度的变化动态调整。所述预测仿真子系统包括虚拟夹具模块，所述虚拟夹具模块提供管道样式的虚拟夹具，其中所述虚拟夹具模块根据空间机器人的机械臂末端预计的行进路径生成行进管道，当实际行进路径发生偏离时，所述行进管道基于动态调整算法重新计算生成，并基于碰撞检测算法，对空间机器人的机械臂末端的行进路径进行约束，当路径偏离预定轨道超过阈值时，给出警告，以便操作者及时调整行进路径。所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块，所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据，所述数据优化模块利用均值处理方法，采用滑动滤波方式对人手位姿数据进行滤波，得到稳定的手势数据，所述网络通信模块将手势数据发送到所述预测仿真子系统。所述手势交互子系统提供实时模式和增量模式两种操作模式，所述数据优化模块控制两种操作模式的切换；处于实时模式下时，操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下；处于增量模式下时，操作员可以按所需方向做出位置和姿态的变化，变化值以一定的放缩比例映射到空间机器人末端坐标系下，优选地，还提供撤销所述变化值的复位手势；所述手势交互子系统判断当前操作模式处于实时模式还是增量模式，来输出机器人末端位姿或者关节控制指令。所述手势采集模块采用Leapmotion传感器作为手势采集传感器；优选地，手势采集平台具有双层结构，Leapmotion传感器设置在上层，操作者的操作空间处于传感器上空，操作空间呈倒锥形。所述空间机器人遥操作系统具有针对空间机器人的姿态控制、位置控制和位姿控制三种控制模式。本专利技术的有益效果：鉴于遥操作机器人在航空航天领域中巨大的潜力和基于机器视觉的人机交互技术的优点，本专利技术提出一种新颖的应用于空间机器人遥操作系统的人机交互技术方案，获取丰富的人手姿势、监测空间机器人的当前状态数据，并预测空间机器人的预测状态，可利用三维重建技术、虚拟现实技术，通过三维显示模块实现三维场景显示与重现，从而更自然更直观地控制空间机器人。本专利技术能够应用于，在地面精确实时地通过三维手势控制空间机器人完成一系列在轨维修、在轨模块更换、在轨燃料加注等任务。本专利技术的实施例包括(但不限于)以下具体优点：1、可以通过三维重建技术获取丰富的人手姿势，通过虚拟现实技术在场景重现，将手势用来控制机器人运动，从而更自然更直观地控制机器人。2、姿态控制、位置控制和位姿控制三种控制模式可以适应不同的遥操作任务。3、采用三维场景显示增加了操作者的临场感体验。4、在预测仿真中加入动力学仿真模块，可预先得到机器人的运动状态。5、在预测仿真中加入碰撞检测与安全预警模块，可提高遥操作任务的安全性。6、通过信息管理子系统实现了与空间机器人的信息交互。附图说明图1为本专利技术一种实施例的基于本文档来自技高网...

【技术保护点】
1.一种基于三维手势的空间机器人遥操作系统，其特征在于,包括手势交互子系统、预测仿真子系统、信息管理子系统；所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理；所述预测仿真子系统与所述手势交互子系统连接，对所述手势交互子系统发来的遥操指令的合法性进行检查，并监测空间机器人的当前状态数据，通过动力学仿真对空间机器人下一步的状态进行预测，和基于三维重建，通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示；所述信息管理子系统与所述预测仿真子系统连接，通过地面站与空间机器人进行通讯，实现遥操指令上传与监测状态数据下放；所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块，所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据，所述数据优化模块利用均值处理方法，采用滑动滤波方式对人手位姿数据进行滤波，得到稳定的手势数据，所述网络通信模块将手势数据发送到所述预测仿真子系统；所述手势交互子系统提供实时模式和增量模式两种操作模式，所述数据优化模块控制两种操作模式的切换；处于实时模式下时，操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下；处于增量模式下时，操作员按所需方向做出位置和姿态的变化，变化值以一定的放缩比例映射到空间机器人末端坐标系下。...

【技术特征摘要】
1.一种基于三维手势的空间机器人遥操作系统，其特征在于,包括手势交互子系统、预测仿真子系统、信息管理子系统；所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理；所述预测仿真子系统与所述手势交互子系统连接，对所述手势交互子系统发来的遥操指令的合法性进行检查，并监测空间机器人的当前状态数据，通过动力学仿真对空间机器人下一步的状态进行预测，和基于三维重建，通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示；所述信息管理子系统与所述预测仿真子系统连接，通过地面站与空间机器人进行通讯，实现遥操指令上传与监测状态数据下放；所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块，所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据，所述数据优化模块利用均值处理方法，采用滑动滤波方式对人手位姿数据进行滤波，得到稳定的手势数据，所述网络通信模块将手势数据发送到所述预测仿真子系统；所述手势交互子系统提供实时模式和增量模式两种操作模式，所述数据优化模块控制两种操作模式的切换；处于实时模式下时，操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下；处于增量模式下时，操作员按所需方向做出位置和姿态的变化，变化值以一定的放缩比例映射到空间机器人末端坐标系下。2.如权利要求1所述的空间机器人遥操作系统，其特征在于,所述预测仿真子系统包括动力学仿真模块，所述动力学仿真模块在仿真过程中通过对空间机器人的基座、机械臂末端所受外力/力矩及关节力矩输入，递推从空间机器人的基座到机械臂末端的位置/速度关系，计算速度、加速度从而得到空间机器人的位置和速度，根据计算结果得到空间机器人下一步的状态。3.如权利要求1所述的空间机器人遥操作系统，其特征在于,所述预测仿真子系统包括碰撞检测模块和安全预...

【专利技术属性】
技术研发人员：朱晓俊，王学谦，梁斌，刘厚德，陈章，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44