激光雷达与相机的标定方法、装置、设备和可读存储介质制造方法及图纸

本申请实施例公开了一种激光雷达与相机的标定方法、装置、设备和可读存储介质，涉及人工智能技术，尤其涉及智能交通和无人驾驶技术领域。具体实现方案为：获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。本申请实施例过程简单，计算量少，能够节省计算机资源。

【技术实现步骤摘要】
激光雷达与相机的标定方法、装置、设备和可读存储介质
本申请涉及人工智能技术，尤其涉及智能交通和无人驾驶

技术介绍
在无人车行驶过程中，需要激光雷达与相机协同作业来完成车体的感知和定位。当前各种无人车平台上，均需进行激光雷达与相机的标定来完成更加精确地定位与感知。现有的技术方案往往需要对相机拍摄的图像进行三维重建，并将重建图像与激光雷达采集的点云作匹配，进行相机与激光雷达的标定，运算量大，消耗较多的计算资源。
技术实现思路
本申请实施例提供了一种激光雷达与相机的标定方法、装置、设备和可读存储介质。第一方面，本申请实施例提供了一种激光雷达与相机的标定方法，包括：获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。第二方面，本申请实施例还提供了一种激光雷达与相机的标定装置，包括：获取模块，用于获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；第一位姿确定模块，用于从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；r>第二位姿确定模块，用于根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；标定模块，用根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种激光雷达与相机的标定方法。第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种激光雷达与相机的标定方法。根据本申请的技术过程简单，计算量少，能够节省计算机资源。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1a是本申请实施例中的第一种激光雷达与相机的标定方法的流程图；图1b是本申请实施例中的激光雷达和相机观测标定板的示意图；图2a是本申请实施例中的第二种激光雷达与相机的标定方法的流程图；图2b是本申请实施例中的图像中标定板平面的示意图；图3是本申请实施例中的第三种激光雷达与相机的标定方法的流程图；图4是本申请实施例中的第四种激光雷达与相机的标定方法的流程图；图5是本申请实施例中的激光雷达与相机的标定装置的结构图；图6是本申请实施例中的电子设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。根据本申请的实施例，图1a是本申请实施例中的第一种激光雷达与相机的标定方法的流程图，本申请实施例适用于采用标定板对激光雷达和相机进行外参标定的情况，也就是求取激光雷达坐标系与相机坐标系的转换关系的情况。该方法通过激光雷达与相机的标定装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。如图1a所示的激光雷达与相机的标定方法，包括：S110、获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像。本实施例中的标定板为平面板，表面绘制有颜色和形状醒目的图案，例如黑白相间的方格。将标定板以不同的位置和/或姿态(简称位姿)放置在激光雷达和相机的视野内，保证激光雷达和相机能够观测到整个标定板。如图1b所示。具体的，在标定板处于每个位姿时，启动激光雷达扫描标定板得到的点云数据，并启动相机拍摄标定板得到的图像。激光雷达和相机的位姿保持不变，这样会得到不同标定板位姿下的多组点云数据和多张图像，利用对应的每组点云数据和每张图像进行标定，再将标定结果平均。当然，也可以不调整标定板的位姿，仅采用一组点云数据和一张图像进行标定。S120、从点云数据中提取位于标定板平面上的目标点云数据集，并根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息。点云数据是三维的，刻画了所扫描物体的形状、尺寸和深度等特征，其中部分点云数据刻画了标定板平面(即绘制有图案的平面)，也就是位于标定板平面上。为了方便描述和区分，将位于标定板平面上的多个点云数据构成目标点云数据集。目标点云数据集的位置包括其中多个点云数据中每个点云数据的位置，共同刻画了激光雷达坐标系下标定板的位置和姿态，简称第一位姿信息。S130、根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息。标定板平面的特征包括但不限于标定板的形状、尺寸和角度，以及图案的形状等特征，在标定板的位姿固定且已知时，当标定板平面呈现不同的特征时，表征了相机处于不同的位姿。基于此，可以根据图像中标定板平面的特征得到相机坐标系，再将已知的标定板的位姿转换到相机坐标系下，得到相机坐标系下标定板的位置和姿态，简称第二位姿信息。S140、根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定。由于激光雷达和相机观测同一位姿的标定板，则第一位姿信息和第二位姿信息能够反映激光雷达与相机的位姿。基于此，第一位姿信息和第二位姿信息之间的转换关系反映了激光雷达坐标系和相机坐标系之间的转换关系。可选的，坐标系之间的转换关系包括坐标系之间的旋转矩阵和平移向量，从而完成激光雷达与相机的标定。本实施例能够从点云数据中提取位于标定板平面上的目标点云数据集，进而根据目标点云数据集的位置，自动确定激光雷达坐标系下标定板的第一位姿信息，无需人工标注和截取；根据图像中标定板平面的特征，能够自动确定相机坐标系下标定板的第二位姿信息，进而利用第一位姿信息和第二位姿信息能够反映激光雷达和相机的位姿的特点，根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定，整个过程利用标定板平面在两个坐标系下的位姿进行标定，过程简单，计算量少，能够节省计算机资源，不需要三维重建，也不需要复杂的点集本文档来自技高网...

【技术保护点】
1.一种激光雷达与相机的标定方法，包括：/n获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；/n从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；/n根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；/n根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。/n

【技术特征摘要】
1.一种激光雷达与相机的标定方法，包括：
获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；
根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。


2.根据权利要求1所述的方法，其中，所述从所述点云数据中提取位于标定板平面上的目标点云数据集，包括：
采用深度学习模型从所述点云数据中提取位于标定板平面上的目标点云数据集；或者，
基于所述激光雷达与所述相机的初始外参，将所述点云数据投影到图像坐标系下；并从所述点云数据中提取位于所述图像中标定板平面内的目标点云数据集。


3.根据权利要求2所述的方法，其中，所述从所述点云数据中提取位于所述图像中标定板平面内的目标点云数据集，包括：
检测所述图像中的标定板平面；
从投影后的点云数据中，提取位于所述标定板平面内的目标点云数据集；
从剩余的点云数据中，提取与所述目标点云数据集的距离在设定距离阈值内的点云数据，并补充到所述目标点云数据集中；
其中，所述剩余的点云数据为全部点云数据中除所述目标点云数据集之外的点云数据。


4.根据权利要求3所述的方法，其中，所述检测所述图像中的标定板平面，包括：
检测所述图像中的标定板区域；
沿所述标定板区域中心，对所述标定板区域进行缩小，得到所述标定板平面。


5.根据权利要求1所述的方法，其中，
所述第一位姿信息包括所述激光雷达坐标系下所述标定板的法向量和设定点的位置；
所述第二位姿信息包括所述相机坐标系下所述标定板的法向量和设定点的位置。


6.根据权利要求5所述的方法，其中，所述根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息，包括：
根据所述目标点云数据集的位置，对所述目标点云数据集进行平面拟合；
将所述平面的法向量和所述目标点云数据集中标定板设定点的位置，作为所述激光雷达坐标系下所述标定板的第一位姿信息。


7.根据权利要求5所述的方法，其中，所述根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息，包括：
根据所述图像中标定板平面的特征，计算相机坐标系与标定板坐标系的转换关系；
基于所述转换关系，计算所述相机坐标系下所述标定板的法向量和所述设定点的位置，作为所述第二位姿信息。


8.根据权利要求5-7任一项所述的方法，其中，所述根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定，包括：
计算所述激光雷达坐标系下所述标定板的法向量与所述相机坐标系下所述标定板的法向量之间的旋转矩阵；
基于所述旋转矩阵，计算所述激光雷达坐标系下所述设定点的位置与所述相机坐标系下所述设定点的位置之间的平移向量；
根据所述旋转矩阵和所述平移向量，对所述激光雷达与所述相机进行标定。


9.根据权利要求1-7任一项所述的方法，其中，所述根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定，包括：
基于所述转换关系和待求解的所述转换关系的修正值，将所述目标点云数据集投影到相机坐标系下的标定板平面内，得到任意两个目标点云数据组成的向量；
令所述向量与所述相机坐标系下标定板的法向量垂直，求解所述转换关系的修正值；
根据所述转换关系和所述修正值，对所述激光雷达与所述相机进行标定。


10.一种激光雷达与相机的标定装置，包括：
获取模块，用于获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
第一位姿确定模块，用于从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的...

【专利技术属性】
技术研发人员：谢青青，张彦福，张家立，张磊，刘亚成，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11