基于点云的带电作业机器人遥操作人员培训系统及方法技术方案

本发明专利技术公开了一种基于点云的带电作业机器人遥操作人员培训系统及方法，该系统包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆。该方法包括：工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；深度相机采集实际作业环境点云信息，并结合模型库实现实际作业场景的快速三维重构；遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应的反馈操作结果至遥操作人员。本发明专利技术使被培训人员具备力觉临场感，提高了培训的有效性，避免直接操作损坏实际机械臂。

Training System and Method for Teleoperator of Live Operating Robot Based on Point Cloud

【技术实现步骤摘要】
基于点云的带电作业机器人遥操作人员培训系统及方法
本专利技术属于带电作业机器人遥操作人员培训领域，特别是一种基于点云的带电作业机器人遥操作人员培训系统及方法。
技术介绍
随着机器人技术的蓬勃发展，机器人在现代生产生活中的应用也愈发广泛。目前，我国高压带电作业，仍然采用绝缘手套作业法，要求操作人员攀爬高压铁塔或借助绝缘斗臂车进行带电作业。为了避免带电作业时人员伤亡事故的发生，使用带电作业机器人代替人工进行电力维护检修工作具有十分重要的现实意义。然而带电作业环境的非结构化使得带电作业机器人实现完全自主作业有较大的难度，仍旧需要操作人员配合机器人合作完成带电作业任务。由于机器人需要在高空进行带电作业，操作人员只能通过平面相机拍摄到的图像进行遥操作，控制机械臂运动，平面图像造成的视觉差对操作人员提出了极高的要求。若操作失误导致机械臂与周围环境障碍物发生碰撞，会对机械臂造成不可逆的损伤。
技术实现思路
本专利技术的目的在于提供一种具有力觉临场感、更有效的带电作业机器人遥操作人员培训系统及方法。实现本专利技术目的的技术解决方案为：基于点云的带电作业机器人遥操作人员培训系统，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆；所述深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变所述虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。基于点云的带电作业机器人遥操作人员培训方法，包括以下步骤：步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应的反馈操作结果至遥操作人员。本专利技术与现有技术相比，其显著优点为：1)本专利技术提出的基于点云的带电作业遥操作人员培训系统及方法，可帮助操作人员对机械臂的运动学有更深入的了解，同时适应在远端通过遥操作杆控制机器人进行作业，避免了操作人员在不熟练的情况下直接对实际机器人系统进行操作带来的损害；2)利用点云信息构建虚拟作业环境时，结合对配电线路环境中常见物体建立的模型库，减少了需要重构的点云的数量，进而提高基于点云的环境重构的速度；3)通过具有力反馈功能的遥操作杆控制虚拟机械臂运动，并在虚拟机械臂与虚拟环境中的物体发生碰撞时根据遥操作杆末端的速度，在遥操作杆上即操作人员的手上反馈相应大小的力，为操作人员提供力觉临场感，提高训练的有效性。下面结合附图对本专利技术作进一步详细描述。附图说明图1为本专利技术基于点云的带电作业机器人遥操作人员培训系统中具有力反馈功能的遥操作杆示意图。图2为本专利技术基于点云的带电作业机器人遥操作人员培训方法流程图。具体实施方式本专利技术基于点云的带电作业机器人遥操作人员培训系统，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆如图1所示，为GeomagicTouch六维触觉输入输出设备，其可以为操作者提供力觉临场感。深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。结合图2，基于点云的带电作业机器人遥操作人员培训方法，包括以下步骤：步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应地反馈操作结果至遥操作人员。进一步优选地，步骤1中工控机对实际作业环境进行建模，具体为：针对静态物体，采用基于图像的建模方法进行建模；静态物体如作业环境。针对动态物体，采用基于模型的建模方法进行建模；动态物体如机械臂，其状态会随关节角度的改变发生改变。进一步地，步骤2所述深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构，具体为：步骤2-1、深度相机采集实际作业环境中每个物体的点云信息；步骤2-2、工控机对点云数据进行预处理，其中预处理包括降噪、去除离群点；步骤2-3、将每个物体的点云与步骤1中模型库中的模型进行匹配，若该物体为模型库中的已有物体，则直接采用该模型，反之对点云进行重构，从而实现实际作业场景的快速三维重构。进一步地，步骤3所述工控机根据带有力反馈功能的遥操作杆末端的速度及方向，控制虚拟机械臂完成相应运动，具体为：步骤3-1、工控机获取带有力反馈功能的遥操作杆末端的速度及方向；步骤3-2、操作人员在遥操作过程中由于人体不可避免的原因会在手部产生抖动，会导致获取的遥操作设备的位置和速度信息具有噪声，因此需对速度进行滤波处理，获得平滑的速度；步骤3-3、遥操作设备的速度是在笛卡尔空间的三维速度，因此需通过坐标系转换将平滑速度、方向分别映射至虚拟机械臂在虚拟作业场景中的速度及位置；步骤3-4、根据步骤3-3获得的速度及位置，利用运动学逆解获取虚拟机械臂各个关节角的角速度及角度；步骤3-5、工控机根据步骤3-4获得的角速度及角度，控制虚拟机械臂进行相应的运动，在此过程中，工控机实时判断虚拟机械臂是否与虚拟环境的物体发生碰撞，若发生碰撞则根据遥操作杆的速度在相应的遥操作杆上反馈相应大小的力。示例性优选地，步骤3-2中采用卡尔曼滤波对速度进行滤波处理。本专利技术基于点云的带电作业机器人遥操作人员培训系统及方法，通过带有力反馈功能的两个遥操作杆分别对虚拟主、辅机械臂进行控制，若虚拟机械臂在运动过程中与环境物体发生碰撞，则会在相应的遥操作杆上反馈相应大小的力，使被培训人员具备力觉临场感，提高了培训的有效性，避免直接操作损坏实际机械臂。本文档来自技高网...

【技术保护点】
1.一种基于点云的带电作业机器人遥操作人员培训系统，其特征在于，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆；所述深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变所述虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。

【技术特征摘要】
1.一种基于点云的带电作业机器人遥操作人员培训系统，其特征在于，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆；所述深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变所述虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。2.基于点云的带电作业机器人遥操作人员培训方法，其特征在于，包括以下步骤：步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应地反馈操作结果至遥操作人员。3.根据权利要求2所述的基于点云的带电作业机器人遥操作人员培训方法，其特征在于，步骤1所述工控机对实际作业环境进行建模，具体为：针对静态物体，采用基于图像的建模方法进行建模；针对动态物体，采用基于模型的建模方法进行建模。4.根据权利要求2或...

【专利技术属性】
技术研发人员：肖潇，郭毓，郭飞，张冕，吴钧浩，蔡梁，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32