【技术实现步骤摘要】
本专利技术涉及多传感器联合标定，特别是指一种可见光相机、红外相机与激光雷达的联合标定方法及系统。
技术介绍
1、相机和激光雷达的标定是计算机视觉和机器人领域中至关重要的技术。它涉及测量并校准相机和激光雷达之间的几何关系，以便能够准确地将二维或三维数据对应到现实世界中的物理对象。这项技术的重要性在于它为各种应用提供了精确的感知能力，包括自动驾驶、机器人导航、工业自动化、医学影像和增强现实等。
2、相机和激光雷达在不同应用场景中都扮演着至关重要的角色。相机通常用于获取二维图像，而激光雷达则可以提供更精确的三维空间信息。通过标定相机和激光雷达，可以建立它们之间的精确几何关系，从而使系统能够准确地估计物体的位置、形状和尺寸。
3、对于相机标定，主要目标是确定相机的内部参数和外部参数。内部参数包括焦距、光心等参数，它们描述了相机的内部属性。外部参数描述了相机在三维空间中的位置和姿态。通过捕获已知几何形状的图像，比如棋盘格或球体，然后分析这些图像与真实世界中几何形状之间的对应关系，可以计算出相机的内部参数和外部参数，从而实现相机的准确标定。
4、激光雷达标定的过程也类似，但主要关注点是确定激光雷达的内部参数和外部参数。内部参数通常包括激光雷达的扫描角度、畸变参数等。外部参数则包括激光雷达在三维空间中的位置和姿态。通过扫描已知几何形状的物体，并将其与实际物体进行比较，可以计算出激光雷达的内部参数和外部参数。
5、相机和激光雷达的联合标定涉及将相机和激光雷达的标定结果结合起来，从而建立二者之间的精
6、在实际应用中，相机和激光雷达的标定对于实现精确的感知和定位能力至关重要。例如，在自动驾驶汽车中，准确的相机和激光雷达标定可以帮助车辆精确感知道路和障碍物，实现精准的环境感知和导航。在工业自动化领域，精确的标定可以确保机器人能够准确地识别和操作物体，实现高精度的生产和制造。在医学影像领域，相机和激光雷达标定可以帮助医生准确诊断和治疗疾病，提高医疗服务的质量和效率。在增强现实应用中，精确的标定可以确保虚拟对象与真实世界的对齐准确无误，提供更真实的增强现实体验。
7、因此，相机和激光雷达的标定是实现精确的感知和定位能力的关键步骤。然而，目前已有的标定方法存在系统结构复杂，成本高，在面对低照度或极端天气场景时感知效果较差等问题，难以满足实际应用的需求。
技术实现思路
1、针对上述问题，本专利技术的目的在于提供一种可见光相机、红外相机与激光雷达的联合标定方法及系统，在低照度或极端天气场景下，即可见光模态难以获得有效信息的场景下，加入红外模态进行融合感知，实现可见光、红外、激光雷达的三维联合标定，提高标定的准确性。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、一方面，提供了一种可见光相机、红外相机与激光雷达的联合标定方法，该方法包括以下步骤：
4、s1、设置矩形标定板，所述标定板的颜色与背景区分，并在采集数据之前对所述标定板进行冷藏；
5、s2、在所述标定板直立状态下，调整所述标定板与可见光相机、红外相机、以及激光雷达之间的距离，使所述标定板完整出现在所述可见光相机、所述红外相机、以及所述激光雷达的视场角内，并同步采集一秒以上的数据；
6、所述数据包括可见光图像、红外图像和激光雷达点云数据；
7、s3、调整所述标定板的朝向角和俯仰角，改变所述标定板与所述可见光相机、所述红外相机、以及所述激光雷达之间的角度，并在每个角度采集一秒以上的数据；
8、s4、取时间同步的一个角度的一帧数据，分别获取所述标定板的角点在可见光图像中的二维坐标、在红外图像中的二维坐标和在激光雷达点云数据中的三维坐标；
9、s5、基于所述标定板的角点在可见光图像中的二维坐标、在红外图像中的二维坐标和在激光雷达点云数据中的三维坐标之间的对应关系，求解坐标系旋转平移矩阵，完成联合标定。
10、优选地，步骤s1中，所述标定板采用长方形木板，长度和宽度均大于40cm，厚度为5mm。
11、优选地，步骤s3中，调整所述标定板的朝向角和俯仰角具体包括：
12、沿所述标定板的纵向中心轴转动所述标定板，以调整所述标定板的朝向角；
13、沿所述标定板的横向中心轴转动所述标定板，以调整所述标定板的俯仰角。
14、优选地，步骤s4中，获取所述标定板的角点在可见光图像中的二维坐标，具体包括：
15、将所述可见光图像从rgb颜色空间转换到hsv颜色空间；
16、根据所述标定板的颜色设置第一阈值，基于所述第一阈值将所述标定板从所述可见光图像中分割出来；
17、根据分割结果拟合第一四边形，取所述第一四边形的四个角点坐标，即为所述标定板的角点在可见光图像中的二维坐标。
18、优选地，步骤s4中，获取所述标定板的角点在红外图像中的二维坐标，具体包括：
19、所述标定板经过冷藏后，由于温度比背景低，因此在所述红外图像中的像素值与背景区分；
20、根据所述标定板的像素值设置第二阈值，若某点像素值大于所述第二阈值，则认为是背景，若某点像素值小于所述第二阈值，则认为是标定板，将所述标定板从所述红外图像中分割出来；
21、根据分割结果拟合第二四边形，取所述第二四边形的四个角点坐标，即为所述标定板的角点在红外图像中的二维坐标。
22、优选地，步骤s4中，获取所述标定板的角点在激光雷达点云数据中的三维坐标，具体包括：
23、步骤a：获取粗标定板平面；
24、随机从所述点云数据中选取三个点，拟合出一个平面，计算所有点与该平面的距离，若距离小于阈值d，则认为点在该平面上，统计得到该平面上的点的数量；
25、重复多次随机选取，取过程中平面上点数最多的平面p1；分别计算平面p1与地面的夹角α，以及与传感器三维坐标系中前向轴的夹角β，当夹角α大于或等于第一角度阈值且夹角β大于或等于第二角度阈值时，则认为平面p1是粗标定板平面；
26、若夹角α小于第一角度阈值和/或夹角β小于第二角度阈值，则认为平面p1是背景或地面，在点云数据中删除平面p1内的所有点，然后再次开始随机选取过程，直至获取到两个夹角满足条件的粗标定板平面；
27、步骤b：获取修正后的标定板平面和平面点云；
28、得到粗标定板平面后，回到原始点云数据中计算所有点与粗标定板平面的距离；首先使用较大的阈值m筛选出在粗标定板平面的点，然后再次在粗标定板平面点云数据中随机选点，拟合出一个平面，使用较小的阈值n判断点是否在该平面上，多次重复，取过程中平面上点最多的平面p2，得到修正后的标定板平面和平面点云；
29、步骤c：获取标定板角点的三维坐标；
30、根据平本文档来自技高网...
【技术保护点】
1.一种可见光相机、红外相机与激光雷达的联合标定方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联合标定方法，其特征在于，步骤S1中，所述标定板采用长方形木板，长度和宽度均大于40cm，厚度为5mm。
3.根据权利要求1所述的联合标定方法，其特征在于，步骤S3中，调整所述标定板的朝向角和俯仰角具体包括：
4.根据权利要求1所述的联合标定方法，其特征在于，步骤S4中，获取所述标定板的角点在可见光图像中的二维坐标，具体包括：
5.根据权利要求1所述的联合标定方法，其特征在于，步骤S4中，获取所述标定板的角点在红外图像中的二维坐标，具体包括：
6.根据权利要求1所述的联合标定方法，其特征在于，步骤S4中，获取所述标定板的角点在激光雷达点云数据中的三维坐标，具体包括：
7.根据权利要求6所述的联合标定方法，其特征在于，步骤a中，重复200次随机选取，取过程中平面上点数最多的平面P1；
8.一种可见光相机、红外相机与激光雷达的联合标定系统，其特征在于，所述系统包括：
9.一种电子设备，
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种可见光相机、红外相机与激光雷达的联合标定方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联合标定方法，其特征在于，步骤s1中，所述标定板采用长方形木板，长度和宽度均大于40cm，厚度为5mm。
3.根据权利要求1所述的联合标定方法，其特征在于，步骤s3中，调整所述标定板的朝向角和俯仰角具体包括：
4.根据权利要求1所述的联合标定方法，其特征在于，步骤s4中，获取所述标定板的角点在可见光图像中的二维坐标，具体包括：
5.根据权利要求1所述的联合标定方法，其特征在于，步骤s4中，获取所述标定板的角点在红外图像中的二维坐标，具体包括：...
【专利技术属性】
技术研发人员：马惠敏，王艺霖，刘海壮，傅豪杰，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。