带电作业机器人及多传感器识别定位方法技术

本发明专利技术提供了一种带电作业机器人及多传感器识别定位方法，多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；控制器基于第二图像数据及机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至作业位置进行作业。本发明专利技术通过对机械臂的运动进行全局及局部的定位，提高了定位精度，从而提高了作业效率。

【技术实现步骤摘要】
带电作业机器人及多传感器识别定位方法
本专利技术涉及自动化
，尤其是涉及一种带电作业机器人及多传感器识别定位方法。
技术介绍
目前，激光雷达传感器与视觉传感器、IMU（InertialMeasurementUnit，惯性测量单元）、转台、深度相机等传感器相互融合实现自动建图、定位的方式被广泛应用到自动驾驶、智能机器人、智能物流等多个行业中。相关技术中，上述方式中的激光雷达位置发生移动后会产生畸变，导致融合后的定位精度仍然不高，从而导致作业效率低。
技术实现思路
鉴于此，本专利技术的目的在于提供一种带电作业机器人及多传感器识别定位方法，以提高定位精度，从而提高带电作业机器人的作业效率。第一方面，本专利技术实施例提供了一种带电作业机器人，该带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接；激光雷达及全局双目相机的位置相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；多轴转台用于带动激光雷达及全局双目相机运动至预设位置；激光雷达用于采集预设位置对应的全局范围的点云数据；全局双目相机用于采集全局范围的第一图像数据；控制器用于根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂用于带动局部双目相机运动至运动数据对应的局部位置；局部双目相机用于采集局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；控制器用于基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，上述控制器还用于基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，上述控制器还用于基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，上述控制器还用于根据第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，当机械臂运动至预期的作业位置，机械臂用于安装零部件或者卸载零部件。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，上述机械臂包括第一机械臂及第二机械臂；局部双目相机包括第一局部双目相机及第二局部双目相机；第一局部双目相机设置于第一机械臂的末端；第二局部双目相机设置于第二机械臂的末端。第二方面，本专利技术实施例还提供一种多传感器识别定位方法，该方法应用于上述带电作业机器人；该带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接；激光雷达及全局双目相机的位置相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；该方法包括：多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；控制器基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，上述根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据的步骤，包括：基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，上述基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系的步骤，包括：基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，上述方法还包括：控制器根据第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。本专利技术实施例带来了以下有益效果：本专利技术实施例提供了一种带电作业机器人及多传感器识别定位方法，多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；控制器基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。该方式通过对机械臂进行全局及局部的定位，提高了机械臂的定位精度，从而提高带电作业机器人的作业效率。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种带电作业机器人的结构示意图；图2为本专利技术实施例提供的一种带电工作机器人系统的工作示意图；图3为本专利技术实施例提供的神本文档来自技高网...

【技术保护点】
1.一种带电作业机器人，其特征在于，所述带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；所述激光雷达、所述全局双目相机、所述多轴转台、所述机械臂、所述局部双目相机分别与所述控制器通信连接；所述激光雷达及所述全局双目相机的位置相对固定，所述激光雷达及所述全局双目相机通过所述多轴转台设置于所述工作台；所述局部双目相机固定于所述机械臂的末端；所述机械臂的底座固定于所述工作台；/n所述多轴转台用于带动所述激光雷达及所述全局双目相机运动至预设位置；/n所述激光雷达用于采集所述预设位置对应的全局范围的点云数据；/n所述全局双目相机用于采集所述全局范围的第一图像数据；/n所述控制器用于根据所述点云数据、所述第一图像数据及所述多轴转台的角度数据，确定所述机械臂的运动数据；/n所述机械臂用于带动局部双目相机运动至所述运动数据对应的局部位置；/n所述局部双目相机用于采集所述局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；/n所述控制器用于基于所述第二图像数据及所述局部位置对应的所述机械臂的多轴数据，确定所述待作业物体与所述机械臂的相对位姿关系；基于相对位姿关系，更新所述机械臂的运动数据，以使所述机械臂运动至预期的作业位置，并对待作业物体进行作业。/n...

【技术特征摘要】
1.一种带电作业机器人，其特征在于，所述带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；所述激光雷达、所述全局双目相机、所述多轴转台、所述机械臂、所述局部双目相机分别与所述控制器通信连接；所述激光雷达及所述全局双目相机的位置相对固定，所述激光雷达及所述全局双目相机通过所述多轴转台设置于所述工作台；所述局部双目相机固定于所述机械臂的末端；所述机械臂的底座固定于所述工作台；
所述多轴转台用于带动所述激光雷达及所述全局双目相机运动至预设位置；
所述激光雷达用于采集所述预设位置对应的全局范围的点云数据；
所述全局双目相机用于采集所述全局范围的第一图像数据；
所述控制器用于根据所述点云数据、所述第一图像数据及所述多轴转台的角度数据，确定所述机械臂的运动数据；
所述机械臂用于带动局部双目相机运动至所述运动数据对应的局部位置；
所述局部双目相机用于采集所述局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；
所述控制器用于基于所述第二图像数据及所述局部位置对应的所述机械臂的多轴数据，确定所述待作业物体与所述机械臂的相对位姿关系；基于相对位姿关系，更新所述机械臂的运动数据，以使所述机械臂运动至预期的作业位置，并对待作业物体进行作业。


2.根据权利要求1所述的带电作业机器人，其特征在于，所述控制器还用于基于所述角度数据、所述第一图像数据以及预先获取的标定数据，将所述第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成所述机械臂的运动数据。


3.根据权利要求1所述的带电作业机器人，其特征在于，所述控制器还用于基于第二图像数据及预设的深度学习模型获取所述待作业物体的特征点；基于极线约束进行所述特征点的匹配，得到所述待作业物体的目标位置；根据所述目标位置及所述多轴数据，确定待作业物体与所述机械臂的相对位姿关系。


4.根据权利要求1所述的带电作业机器人，其特征在于，所述控制器还用于根据所述第二图像数据，判断所述机械臂是否完成作业；如果完成，则停止作业。


5.根据权利要求1所述的带电作业机器人，其特征在于，当所述机械臂运动至预期的作业位置，所述机械臂用于安装零部件或者卸载零部件。


6.根据权利要求1所述的带电作业机器人，其特征在于，所述机械臂包括第一机械臂及第二机械臂；所述局部双目相机包括第一局部双目相机及第二局部双目相机；所述第一局部双目相机设置于所述第一机械臂...

【专利技术属性】
技术研发人员：李惠宇，王新建，李帅，梁保秋，任青亭，吕鹏，李威，冬旭，林德政，冯俐，王朝松，
申请(专利权)人：国网瑞嘉天津智能机器人有限公司，
类型：发明
国别省市：天津;12