一种激光雷达和摄像头标定参数盲复原方法技术

本发明专利技术公开了一种激光雷达和摄像头标定参数盲复原方法，其涉及自动驾驶技术领域。其技术方案要点是在没有标定文件或标定文件不准确的情况下，构建摄像头虚拟平面成像模型，并根据数据本身特征迭代求取模型参数，在缺少内参的情况下之间建立激光雷达点云到摄像头图像的投影关系，为后续数据标注、算法训练等工作提供基础支撑。工作提供基础支撑。工作提供基础支撑。

【技术实现步骤摘要】
一种激光雷达和摄像头标定参数盲复原方法


[0001]本专利技术涉及自动驾驶
，更具体地说，它涉及一种激光雷达和摄像头标定参数盲复原方法。

技术介绍

[0002]自动驾驶作为智能网联汽车的终极形态，逐渐进入人们的视野，引起了高度关注。自动驾驶汽车利用车载感知系统来感知车辆周围环境，并能根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
[0003]自动驾驶的整个系统，一般来说由三个层级组成：感知层、规划决策层和控制执行层。自动驾驶感知层的传感器主要包括：高精度卫星定位系统、激光雷达、摄像头、微波雷达、超声波雷达等，多传感器构成了整个车辆的感知系统，多种传感器从不同维度对驾驶环境进行感知，产生出大量的原始数据。
[0004]激光雷达可以提供准确的三维点云信息，但不具备空间稠密性，摄像头可获取二维稠密彩色信息，却难以反映空间结构。融合摄像头与激光雷达信息，可兼顾二者之长，提高信息完备度，在自动驾驶、自动标注等场景中得到越来越多的应用。
[0005]然而如何对摄像头和激光雷达进行准确匹配，是业界研究的主要难点。激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵。
[0006]一种方法是采用特殊标定板，同时对摄像头和雷达进行标定。这个过程通常包括两个步骤，内参标定和外参标定。当同时标定时，由于点云的稀疏特性，需要在点云图像中拟合提取标定板边界，求其交点，建立和图像交点之间的映射，标定板不同角度的放置将有益于整体结果的提升。<br/>[0007]但是实际上，由于标定方式、技术能力的差异，有些数据集不能够给出较准确的标定文件，给后续场景筛选、数据标注、算法训练等工作带来很大困难。

技术实现思路

[0008]针对现有技术存在的不足，本专利技术的目的在于提供一种激光雷达和摄像头标定参数盲复原方法，其在没有标定文件或标定文件不准确的情况下，构建摄像头虚拟平面成像模型，并根据数据本身特征迭代求取模型参数，在缺少内参的情况下之间建立激光雷达点云到摄像头图像的投影关系，为后续数据标注、算法训练等工作提供基础支撑。
[0009]为实现上述目的，本专利技术提供了如下技术方案：一种激光雷达和摄像头标定参数盲复原方法，包括以下步骤：S01、定义激光雷达坐标系Al和摄像头坐标系Ac之间的高度差为H，根据坐标系平移方法，将激光雷达坐标系移动至摄像头坐标系位置；S02、根据图像大小得到图像宽度w和图像高度h，因摄像头内参未知，无法使用常规摄像头成像模型；重新构造摄像头曲面成像模型，在激光雷达前方构建摄像头虚拟成像曲面；其中，曲面在水平方向张角设为angle_w，张角的起始角度为angle_w0，曲面在竖直方
向张角设为angle_h，张角的起始位置为angle_h0，且angle_w在水平方向上w份等分，angle_h在竖直方向上h等分；S03、综合水平方向和竖直方向，锥形区域空间内的点云映射为投影曲面上的一个点；在每一个锥形区域内，均只取离激光雷达原点最近的点的值作为曲面上投影点的像素值；S04、激光雷达点云中一点point到图像上一个像素（pixel_h,pixel_w）的投影方程可认为在水平和竖直方向上呈线性变换关系；S05、激光雷达为360
°
环视雷达，故水平方向上视场角一定大于摄像头视场角，则通过最左侧图像中物体的特征点和点云中的特征点、最右侧图像中的特征点和点云中的特征点对照可得出angle_w0和angle_w，在水平方向w等分，即可得出水平方向上的投影方式；故在水平方向上激光雷达点云中一点point（点的水平角度为point_angle_w）到图像上一个像素（pixel_w）的投影方程简化为pixel_w=（point_angle_w
‑
angle_w0）/angle_w*w；S06、在竖直方向上，采用搜索迭代法求取H、angle_h以及angle_h0这三个变量；S07、迭代时，对照在点云（3D框）和图像（2D框）上同一个物体，在该物体的点云中一点point（点的竖直角度为point_angle_h）到图像上一个像素（pixel_h）的投影方程可简化为pixel_h=（point_angle_h
‑
angle_h0）/angle_h*h；误差损失函数设为pixel_h离图像2D框中心点的距离，距离越大，说明误差越大；S08、选取若干点云和图像对应的点集，按步骤S07方法迭代，误差值最小时的H、angle_h和angle_h0即为要求取的值。
[0010]进一步地，在步骤S06中，高度差H在
‑
3m到3m之间，以0.01mm为步长迭代，angle_h0和angle_h在0～180
°
之间，以1
°
为步长迭代。
[0011]进一步地，在步骤S01中，激光雷达点云可按如下公式变换，points_lidar =points_lidar+H。
[0012]综上所述，本专利技术具有以下有益效果：1、本专利技术重新构造的摄像头曲面成像模型无需摄像头内参，且不同于小孔成像，是在激光雷达原点前方假定一个虚成像平面，对空间点云进行曲面投影，构造简单，具有很强的可实施性，且符合相机成像的基本逻辑；2、将空间点云投影至曲面上的一点，并将曲面展开得到宽w、高h的图像，投影策略采取距离最近的点云作为像素值，考虑了物体的空间遮挡特性，点云代表了物体在空间的真实分布，是一种方便的3D到2D 转化的策略；3、采取迭代策略，在求取竖直方向参数时，采用了批量点云向图像中映射的方式，避免了少量特征点映射带来的测量误差等问题，大幅增加了可靠性；同时，激光雷达采集时和摄像头因帧率、扫描方式的差异，无法完全同步，批量映射属于多样本均衡，可缓解这些差异带来的结果误差；4、采用中心店距离误差评价函数，主要是因为激光雷达和图像中的特征点较难一一对应，采用中心点距离类似聚类的方式，能够准确评价投影结果的好坏。
附图说明
[0013]图1为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的摄像头图像和激
光雷达点云对照示意图；图2为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的摄像头和激光雷达安装位置及坐标系示意图；图3为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的竖直方向上相机虚拟成像平面及空间投影示意图；图4为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的等分投影至图像示意图；图5为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的锥形空间投影示意图；图6为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的同一物体点云3D框和图像矩形框对应图；图7为本专利技术实施例中激光雷达和摄像头标定参数盲复原方法的投影样例示意图。
具体实施方式
[0014]以下结合附图对本专利技术作进一步详细说明。
[0015]本具体实施例仅仅是对本专利技术的解释，其并不是对本专利技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达和摄像头标定参数盲复原方法，其特征在于，包括以下步骤：S01、定义激光雷达坐标系Al和摄像头坐标系Ac之间的高度差为H，根据坐标系平移方法，将激光雷达坐标系移动至摄像头坐标系位置；S02、根据图像大小得到图像宽度w和图像高度h，因摄像头内参未知，无法使用常规摄像头成像模型；重新构造摄像头曲面成像模型，在激光雷达前方构建摄像头虚拟成像曲面；其中，曲面在水平方向张角设为angle_w，张角的起始角度为angle_w0，曲面在竖直方向张角设为angle_h，张角的起始位置为angle_h0，且angle_w在水平方向上w份等分，angle_h在竖直方向上h等分；S03、综合水平方向和竖直方向，锥形区域空间内的点云映射为投影曲面上的一个点；在每一个锥形区域内，均只取离激光雷达原点最近的点的值作为曲面上投影点的像素值；S04、激光雷达点云中一点point到图像上一个像素（pixel_h,pixel_w）的投影方程可认为在水平和竖直方向上呈线性变换关系；S05、激光雷达为360
°
环视雷达，故水平方向上视场角一定大于摄像头视场角，则通过最左侧图像中物体的特征点和点云中的特征点、最右侧图像中的特征点和点云中的特征点对照可得出angle_w0和angle_w，在水平方向w等分，即可得出水平方向上的投影方式；故在水平方向上激光雷达点云中一点point（点的水平角度为point_angle_w）到图像上...

【专利技术属性】
技术研发人员：孙辉，陈小琴，
申请(专利权)人：清华大学，
类型：发明
国别省市：