激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆制造方法及图纸

本申请公开了一种激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆，涉及自动驾驶、智能交通、计算机视觉与深度学习技术领域。具体实现方案为：获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据；对点云数据和图像数据进行处理，以确定点云数据中包括的不同物体间的第一分割点、图像数据中包括的不同物体间的第二分割点；根据每组外参值对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点；根据每个第一分割点的深度值、每个第一分割点对应的第二分割点的梯度值，计算每组外参值的互相关系数；根据每组外参值的互相关系数，从各组外参值中选取目标外参值。

【技术实现步骤摘要】
激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
本申请涉及计算机
，尤其涉及自动驾驶、智能交通、计算机视觉与深度学习
，提出一种激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆。
技术介绍
随着自动驾驶技术的发展，车载传感器的功能也越来越强大，常见的传感器包括激光雷达与摄像头，其中，激光雷达用于获取车辆周围物体的三维位置信息，摄像头用于获取物体的二维信息以及颜色信息等。通过对激光雷达以及摄像头进行外参标定以使得其对应的信息可以相互融合，从而使得自动驾驶车辆能够更加准确地感知周围环境，以保证自动驾驶的安全性。相关技术中，通常通过使用标定板实现激光雷达与摄像头的外参标定。具体的，可以利用激光雷达与摄像头分别对标定板进行数据采集，以生成标定板对应的激光点云数据与图像数据，之后分别在激光点云数据与图像数据中分割出标定板对应的区域，并将从激光点云数据中分割出的区域与从图像数据中分割出的区域进行对齐，以获取激光雷达与摄像头之间的坐标系转换关系，从而实现激光雷达与摄像头之间的外参标定。但是，这种标定方法，需要使用专业的标定板，便捷性本文档来自技高网...

【技术保护点】
1.一种激光雷达与摄像头的外参标定方法，包括：/n获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；/n对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；/n根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；/n根据每个所述第一分割点的深度值、及...

【技术特征摘要】
1.一种激光雷达与摄像头的外参标定方法，包括：
获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；
对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；
根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；
根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数；以及
根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值。


2.如权利要求1所述的方法，其中，所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点，包括：
对所述点云数据和所述图像数据分别进行目标识别，以确定所述点云数据中包括的各个点云点分别对应的各个第一类别标签，以及所述图像数据中包括的各个像素点分别对应的各个第二类别标签；
从所述各个点云点中，抽取分别与不同第一类别标签对应的点云点相邻的点云点作为第一分割点；以及
从所述各个像素点中，抽取分别与不同第二类别标签对应的像素点相邻的像素点作为第二分割点。


3.如权利要求2所述的方法，其中，在所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点之后，还包括：
根据与每个所述第一分割点相邻的各个点云点对应的第一类别标签，确定每个所述第一分割点的第一属性；以及
根据与每个所述第二分割点相邻的各个像素点对应的第二类别标签，确定每个所述第二分割点的第二属性。


4.如权利要求3所述的方法，其中，所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点，包括：
获取所述点云数据中的每个点云点对应的深度值及所述图像数据中的每个像素点对应的梯度值；
根据每个所述点云点对应的深度值，确定所述点云数据中包括的各个第一边界点；
根据每个所述像素点对应的梯度值，确定所述图像数据中包括的各个第二边界点；以及
对所述各个第一边界点和所述各个第二边界点分别进行处理，以确定所述第一边界点中包含的所述各第一分割点，以及所述第二边界点中包含的所述各个第二分割点。


5.如权利要求3所述的方法，其中，所述根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数，包括：
根据每个所述第一分割点的第一属性，在每组所述外参值下与对应的第二分割点的第二属性间的匹配度，确定每个所述第一分割点的权重值；以及
根据每个所述第一分割点的深度值与对应的所述第二分割点的梯度值的乘积、及每个所述第一分割点的权重值，确定每组所述外参值对应的互相关系数。


6.如权利要求1所述的方法，其中，所述获取待标定的各组外参值，包括：
获取所述激光雷达对应的第一坐标系与所述摄像头对应的第二坐标系之间的初始外参值，其中，所述初始外参值为图纸标称值或手量值；以及
基于预设步长对所述初始外参值进行调整，以生成所述待标定的各组外参值。


7.如权利要求1-6任一所述的方法，其中，每组所述外参值包括旋转矩阵和平移矩阵，所述根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点，包括：
根据每组所述外参值包括的旋转矩阵和平移矩阵，对所述第一分割点进行坐标转换，以确定在每组所述外参值下，所述第一分割点在所述第二坐标系中的三维坐标；以及
根据在每组所述外参值下，所述第一分割点在所述第二坐标系中的三维坐标、及所述摄像头的内参，确定在每组所述外参值下，所述第一分割点在所述图像数据中对应的第二分割点。


8.如权利要求1-6任一所述的方法，其中，所述根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值，包括：
将对应的互相关系数最大的所述外参值，确定为所述目标外参值。


9.一种激光雷达与摄像头的外参标定装置，包括：
获取模块，用于获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；
第一确定模块，用于对所述点云数据和所述图像数据分别进行处理，...

【专利技术属性】
技术研发人员：谢青青，张彦福，张家立，张磊，孙俊，李梦扬，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11