一种用于激光雷达和相机的联合标定方法及其系统和电子设备技术方案

一种用于激光雷达和相机的联合标定方法及其系统和电子设备。该联合标定方法包括步骤：在标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集标定场景数据，获取点云数据和图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；提取所述点云数据中与该标板上的每该标板角点对应的点云角点，以获得每该标板角点的三维坐标；提取所述图像数据中与该标板上的每该标板角点对应的图像角点，以获得每该标板角点的二维坐标；以及基于通过每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。

【技术实现步骤摘要】
一种用于激光雷达和相机的联合标定方法及其系统和电子设备
本专利技术涉及多传感器融合
，更具体地涉及一种用于激光雷达和相机的联合标定方法及其系统和电子设备。
技术介绍
近年来，随着AI(即人工智能)技术的飞速发展和传感器技术水平的进步，诸如自动驾驶、环境感知等方向的技术已经成为众多学者和公司的研究热点，而这些技术实现的前提则是需要充分地感知周围环境。以自动驾驶为例，移动平台集成了激光雷达、相机、毫米波雷达、超声波雷达、IMU和GPS等多种传感器，使得多传感器的融合成为其核心技术之一。例如，激光雷达虽然能探测并输出周围环境的三维点云信息，探测范围大，且抗干扰能力强，但其获得的点云稀疏；相机虽然能够感知丰富的环境信息，信息密集，但其容易受到光照等因素的干扰，且没有深度信息。换句话说，激光雷达和相机各有所长，这使得两者的融合将对增强移动平台对周围环境的感知能力具有重要意义。然而，激光雷达和相机之间的相对位置关系的准确程度又直接影响着两者信息融合的效果，因此对激光雷达和相机之间的外参进行准确标定，是正确感知周围环境的基础。目前，激光雷达和相机的联合标定方法存在很多，大概可以分为基于标定物对应角点的PnP(Pespective-n-Point)方法和自适应迭代方法。但现有的标定方法主要侧重于提高标定精度，而很少关注标定过程的效率和速度。虽然在测试验证和算法开发过程中，标定精度的重要性可能会高于标定效率，但是在规模化量产中，在保证标定精度的前提下，在合理的标定场景中实现较高的标定效率就显得极为重要。<br>
技术实现思路
本专利技术的一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其能够提高对激光雷达和相机的联合标定的效率，有助于满足规模化量产的需求。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统电子设备，其能够在较高的标定精度的前提下，具备较高的标定效率，有助于缩短标定时间、降低标定成本。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定方法不仅能够准确提取激光雷达的点云数据中点云角点，而且能够将提取的点云角点和标板的标板角点一一对应，有助于提高标定效率。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定方法系统在无需人工参与的情况下，自动化提取激光雷达的点云数据中的点云角点，进而提高标定效率。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定方法能够采用模板匹配法来提取图像中标板的标板角点，鲁棒性高，无错误或冗余角点。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定系统能够自动化地提取图像中的图像角点，并将提取的图像角点和标板的标板角点一一对应，有助于提高标板角点提取的可靠性和计算效率。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定方法在标定过程中无需转换视角或者改变标板位置，有利于提高数据采集效率，进而提高标定效率。本专利技术的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述联合标定方法将多个标板有纵深无遮挡地分布在标定场景中，有利于保证标定结果的有效性和可靠性。为了实现上述至少一专利技术目的或其他目的和优点，本专利技术提供了一种用于激光雷达和相机的联合标定方法，包括步骤：在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。在本专利技术的一些实施例中，所述提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；以及求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。在本专利技术的一些实施例中，所述筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据的步骤，包括步骤：基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。在本专利技术的一些实施例中，所述分隔阈值根据该激光雷达的参数和该至少一标板的摆放位置进行确定。在本专利技术的一些实施例中，所述提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；以及根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。在本专利技术的一些实施例中，该标板为多边形标板，并且该标板上每个该直线边缘能够被通过该激光雷达发射的至少二激光线束扫描到。在本专利技术的一些实施例中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公本文档来自技高网...

【技术保护点】
1.一种用于激光雷达和相机的联合标定方法，其特征在于，包括步骤：/n在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；/n提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；/n提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及/n基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。/n

【技术特征摘要】
1.一种用于激光雷达和相机的联合标定方法，其特征在于，包括步骤：
在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；
提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；
提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及
基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。


2.如权利要求1所述的联合标定方法，其中，所述提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：
通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；
筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；
通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；
对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；以及
求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。


3.如权利要求2所述的联合标定方法，其中，所述筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据的步骤，包括步骤：
基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；
求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及
分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。


4.如权利要求3所述的联合标定方法，其中，所述分隔阈值根据该激光雷达的参数和该至少一标板的摆放位置进行确定。


5.如权利要求1至4中任一所述的联合标定方法，其中，所述提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标的步骤，包括步骤：
基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；
基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；以及
根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。


6.如权利要求1至4中任一所述的联合标定方法，其中，该标板为多边形标板，并且该标板上每个该直线边缘能够被通过该激光雷达发射的至少二激光线束扫描到。


7.如权利要求6所述的联合标定方法，其中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。


8.一种用于激光雷达和相机的联合标定系统，其特征在于，包括：
一数据获取模块，...

【专利技术属性】
技术研发人员：李程辉，蒋坤君，胡增新，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：浙江;33