【技术实现步骤摘要】
本申请涉及机器视觉，尤其涉及一种基于激光雷达与双目相机的手眼标定方法及相关设备。
技术介绍
1、手眼标定用于确定机器人手部和眼部之间的几何关系，从而实现精确的控制和感知。在机器人操作中，手眼标定通常用于校准机器人的视觉系统与机器人的末端执行器之间的相对位置和方向。
2、传统的手眼标定方法主要依赖于单一传感器进行标定。单一传感器可以提供一定程度上的环境信息，但其数据丰富性有限。因此，单一传感器的标定结果可能不够准确，从而影响机器人的定位和导航能力。为了克服单一传感器标定的限制，研究者们开始探索多传感器组合的方法。多传感器组合可以利用不同传感器的优势，提供更多样化、全面的环境信息，从而改善标定的准确性和鲁棒性。然而，现有的多传感器组合，如摄像头和惯性导航传感器，其数据融合在复杂环境中不够准确，从而影响标定结果的准确性。
3、综上所述，现有的应用传感器进行手眼标定的方法，存在标定结果不准确的问题。
技术实现思路
1、本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中应用传感器进行手眼标定的方法，存在标定结果不准确的技术缺陷。
2、第一方面，本申请提供了一种基于激光雷达与双目相机的手眼标定方法，所述方法包括：
3、采用所述激光雷达采集所述双目相机的第一点云数据和机器人末端执行器的第二点云数据，以及采用所述双目相机从多拍摄角度采集所述机器人末端执行器的二维图像，所述激光雷达和所述双目相机为同时采集；
4、根据所述机器人末
5、将转换后的第一点云数据、转换后的第二点云数据以及转换后的机器人末端执行器的立体图像进行数据融合，生成包含所述双目相机和所述机器人末端执行器的三维环境模型；
6、利用所述三维环境模型，计算所述双目相机与所述机器人末端执行器之间的坐标转换关系。
7、在其中一个实施例中，所述根据所述机器人末端执行器的多个二维图像，确定所述机器人末端执行器的立体图像的步骤，包括：
8、获取所述双目相机的视差信息和相机参数，所述视差信息用于表示所述双目相机中两个摄像头之间的视差值；
9、对于每个所述拍摄角度，确定该拍摄角度对应的二维图像对；
10、根据所述视差信息和所述相机参数，计算各个所述二维图像对的深度信息，并基于各个所述深度信息，构建所述机器人末端执行器的立体图像。
11、在其中一个实施例中，所述将所述第一点云数据、所述第二点云数据以及所述机器人末端执行器的立体图像转换为同一坐标系的步骤，包括：
12、建立参考坐标系；
13、确定所述激光雷达的坐标系，并根据所述激光雷达的坐标系，将所述第一点云数据和所述第二点云数据转换到所述参考坐标系；
14、确定所述双目相机的坐标系，并根据所述双目相机的坐标系，将所述立体图像转换到所述参考坐标系。
15、在其中一个实施例中，所述根据所述双目相机的坐标系，将所述立体图像转换到所述参考坐标系的步骤，包括：
16、根据所述双目相机的坐标系，计算所述立体图像中每个像素点的三维点坐标；
17、对于所述立体图像中每个像素点的三维点坐标，将该三维坐标点投影到所述参考坐标系，得到该三维坐标点在所述参考坐标系中的坐标。
18、在其中一个实施例中，所述将转换后的第一点云数据、转换后的第二点云数据以及转换后的机器人末端执行器的立体图像进行数据融合，生成包含所述双目相机和所述机器人末端执行器的三维环境模型的步骤，包括：
19、将转换后的第一点云数据和转换后的第二点云数据投影到转换后的立体图像上，以建立转换后的第一点云数据、转换后的第二点云数据和转换后的立体图像之间的对应关系；
20、根据所述对应关系，采用三维重建算法，构建包含所述双目相机和所述机器人末端执行器的三维环境模型。
21、在其中一个实施例中，所述利用所述三维环境模型，计算所述双目相机与所述机器人末端执行器之间的坐标转换关系的步骤，包括：
22、在所述三维环境模型中选取至少一个参考点；
23、对于每个所述参考点，确定该参考点相对所述双目相机的第一坐标，以及相对所机器人末端执行器的第二坐标；
24、计算每个所述参考点对应的第一坐标和第二坐标之间的转换关系，以得到所述双目相机与所述机器人末端执行器之间的坐标转换关系。
25、第二方面，本申请提供了一种基于激光雷达与双目相机的手眼标定装置，所述装置包括：
26、数据采集模块，用于采用所述激光雷达采集所述双目相机的第一点云数据和机器人末端执行器的第二点云数据，以及采用所述双目相机从多拍摄角度采集所述机器人末端执行器的二维图像，所述激光雷达和所述双目相机为同时采集；
27、坐标系转换模块，用于根据所述机器人末端执行器的多个二维图像，确定所述机器人末端执行器的立体图像，并将所述第一点云数据、所述第二点云数据以及所述机器人末端执行器的立体图像转换为同一坐标系；
28、模型生成模块，用于将转换后的第一点云数据、转换后的第二点云数据以及转换后的机器人末端执行器的立体图像进行数据融合，生成包含所述双目相机和所述机器人末端执行器的三维环境模型；
29、坐标转换关系计算模块，用于利用所述三维环境模型，计算所述双目相机与所述机器人末端执行器之间的坐标转换关系。
30、在其中一个实施例中，所述坐标系转换模块包括：
31、参数获取单元，用于获取所述双目相机的视差信息和相机参数，所述视差信息用于表示所述双目相机中两个摄像头之间的视差值；
32、二维图像对确定单元，用于对于每个所述拍摄角度，确定该拍摄角度对应的二维图像对；
33、立体图像构建单元，用于根据所述视差信息和所述相机参数，计算各个所述二维图像对的深度信息，并基于各个所述深度信息，构建所述机器人末端执行器的立体图像。
34、第三方面，本申请提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述任一项实施例所述基于激光雷达与双目相机的手眼标定方法的步骤。
35、第四方面，本申请提供了一种计算机设备，包括：一个或多个处理器，以及存储器；
36、所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述任一项实施例所述基于激光雷达与双目相机的手眼标定方法的步骤。
37、从以上技术方案可以看出，本申请实施例具有以下优点：
38、在本申请提供的基于激光雷达与双目相机的手眼标定方法及相关设备中，采用激光雷达采集双目相机的第一点云数据和机器人末端执行器的第二点本文档来自技高网...
【技术保护点】
1.一种基于激光雷达与双目相机的手眼标定方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述根据所述机器人末端执行器的多个二维图像，确定所述机器人末端执行器的立体图像的步骤，包括：
3.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述将所述第一点云数据、所述第二点云数据以及所述机器人末端执行器的立体图像转换为同一坐标系的步骤，包括：
4.根据权利要求3所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述根据所述双目相机的坐标系，将所述立体图像转换到所述参考坐标系的步骤，包括：
5.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述将转换后的第一点云数据、转换后的第二点云数据以及转换后的机器人末端执行器的立体图像进行数据融合，生成包含所述双目相机和所述机器人末端执行器的三维环境模型的步骤，包括：
6.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述利用所述三维环境模型，计算所述双目
7.一种基于激光雷达与双目相机的手眼标定装置，其特征在于，所述装置包括：
8.根据权利要求7所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述坐标系转换模块包括：
9.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项所述基于激光雷达与双目相机的手眼标定方法的步骤。
10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；
...【技术特征摘要】
1.一种基于激光雷达与双目相机的手眼标定方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述根据所述机器人末端执行器的多个二维图像，确定所述机器人末端执行器的立体图像的步骤，包括：
3.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述将所述第一点云数据、所述第二点云数据以及所述机器人末端执行器的立体图像转换为同一坐标系的步骤，包括：
4.根据权利要求3所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述根据所述双目相机的坐标系，将所述立体图像转换到所述参考坐标系的步骤，包括：
5.根据权利要求1所述的基于激光雷达与双目相机的手眼标定方法，其特征在于，所述将转换后的第一点云数据、转换后的第二点云数据以及转换后的机器人末端执行器的立...
【专利技术属性】
技术研发人员：王毅，曲烽瑞，王喜军，孙奇珍，葛佳菲，韩云飞，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。