激光雷达与相机的标定方法、系统、设备及存储介质技术方案

本发明专利技术提供了激光雷达与相机的标定方法、系统、设备及存储介质，该方法包括以下步骤：提供一标定载体，标定载体的表面包括网格排列的黑方块、白方块和通孔，激光雷达与相机对准标定载体，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点根据获得的图像中标定板不同位姿时的角点坐标求得摄像机内参矩阵K及畸变参数s，根据每个位姿i下的图像角点坐标及激光坐标系内通孔的顶点坐标对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵E

【技术实现步骤摘要】
激光雷达与相机的标定方法、系统、设备及存储介质


[0001]本专利技术涉及AI光学识别领域，具体地说，涉及用于激光雷达与相机的标定方法、系统、设备及存储介质。

技术介绍

[0002]随着全球贸易的不断发展，港口集装箱堆场的作业量密度也越来越高，这在提高成本的同时也给工作人员带来了更高强度的工作。而随着无人驾驶技术的不断更迭，无人集卡的出现成为解决这一难题的方法。在过去，无人集卡安装的传感器一般为GPS和单目相机，因为无法获取三维信息，这种传感器很难感知距离和位置。而如今，许多无人车通过引入相机和激光雷达传感器，弥补了这一缺陷。但多传感器之间会存在不同方位上的偏差，这会给高精度数据的决策输入过多噪声。若采用手动标定的方式，不仅无法满足无人集卡在路径规划方面高精度定位的要求，还会需求大量的高价值劳动力。
[0003]因此，本专利技术提供了一种激光雷达与相机的标定方法、系统、设备及存储介质。

技术实现思路

[0004]针对现有技术中的问题，本专利技术的目的在于提供激光雷达与相机的标定方法、系统、设备及存储介质，克服了现有技术的困难，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
[0005]本专利技术的实施例提供一种激光雷达与相机的标定方法，包括以下步骤：
[0006]S110、提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
[0007]S120、固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点下标j表示第j个角点；
[0008]S130、根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标求得摄像机内参矩阵K及畸变参数s；
[0009]S140、根据每个位姿i下的图像角点坐标及激光坐标系内通孔的顶点坐标对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵E
i
；
[0010]S150、从E
i
中选取一个重投影误差最小的外参矩阵E。
[0011]优选地，所述标定载体为一张共计a
×
b个方块的棋盘格贴，在部分白色方块所在位置镂空形成n个已知边长的矩形通孔，相邻的所述矩形通孔至少隔行隔列排列，n为小于所述棋盘格贴中白色方块的总数的自然数。
[0012]优选地，所述步骤S140中，不同标定载体位姿i下，激光雷达坐标系下标定板通孔
顶点坐标的计算步骤如下：
[0013]S141、每个激光点都采集到三维坐标信息和一个反射强度信息记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合U
i0
；
[0014]S142、将所述第一剩余激光雷达点云集合U
i0
中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、所述标定板短边边长的W倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合U
i1
，以U
i1
内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)，W的取值范围是0.6至0.9；
[0015]S143、将所述第一剩余激光雷达点云集合U
i0
中激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇U
i
；
[0016]S144、根据所述拟合平面l，求得一变换矩阵M
i1
，对投射在标定板上的激光雷达点云簇U
i
经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Q
i
，记该变换到该位置下点云簇U
i
内标定板通孔顶点坐标为则
[0017]S145、在激光坐标系下YOZ面上构建一个与所述标定载体相同的虚拟标定板，所述虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为根据预设的匹配误差函数Cost计算，获得一个变换矩阵M
i2
，所述变换矩阵M
i2
包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇U
i
经过矩阵M
i2
变换后与所述虚拟标定板重合，则满足
[0018]S146、通过已求得的变换矩阵M
i1
、M
i2
获得所述通孔的角点在激光坐标系下原始坐标
[0019]优选地，所述步骤S142中包括：将所述激光坐标系以垂直向上为z轴正方向，所述激光雷达的前方为x轴正方向，所述激光雷达的向左方向为y轴正方向，其中x，y轴构成水平平面，使用Ransac算法来求解所述激光雷达点云集合U
i1
所在平面的平面方程，设平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从U
i1
中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将U
i1
中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值D
f
的激光点的个数n
p
；重复m次，选出n
p
最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。
[0020]优选地，所述激光雷达点云簇U
i
所在平面的平面参数为l(a，b，c，d)，则所述平面对应的法向量为(a，b，c)，则所述平面对应的旋转矩阵
[0021]变换后将点云簇U
i
变换至与YOZ平行；记激光点云簇U
i
内所有激光雷达点坐标均值
为则令M
i1
＝(R
i1
，t
i1
)，使得激光点云簇U
i
经M
i1
变换后与YOZ面重合，记变换位置后的激光点云簇U
′
i
。
[0022]优选地，对经过变换矩阵M
i1
变换后的所述激光点云簇U
′
i
，施加平移、旋转，记参数为(dy，dz，dθ)，其中dy表示沿y轴的平移，dz表示沿z轴的平移，dθ表示绕x轴的旋转，dθ对应旋转矩阵为位移矩阵为令经变换后激光点云簇U
′
i
变换位置后为U
′
i
’
，将U
′
i
’
内的激光点投影至YOZ面，然后统计所述虚拟标定板上，方形通孔区域与非通孔区域内激光点个数分别为num
A
、num
B
，设权重分别为weight
A
、weight
B
，weig本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达与相机的标定方法，其特征在于，包括以下步骤：S110、提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；S120、固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点下标j表示第j个角点；S130、根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标求得摄像机内参矩阵K及畸变参数s；S140、根据每个位姿i下的图像角点坐标及激光坐标系内通孔的顶点坐标对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵E
i
；S150、从E
i
中选取一个重投影误差最小的外参矩阵E。2.如权利要求1所述的激光雷达与相机的标定方法，其特征在于：所述标定载体为一张共计a
×
b个方块的棋盘格贴，在部分白色方块所在位置镂空形成n个已知边长的矩形通孔，相邻的所述矩形通孔至少隔行隔列排列，n为小于所述棋盘格贴中白色方块的总数的自然数。3.如权利要求1所述的激光雷达与相机的标定方法，其特征在于，所述步骤S140中，不同标定载体位姿i下，激光雷达坐标系下标定板通孔顶点坐标的计算步骤如下：S141、每个激光点都采集到三维坐标信息和一个反射强度信息记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合U
i0
；S142、将所述第一剩余激光雷达点云集合U
i0
中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、所述标定板短边边长的W倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合U
i1
，以U
i1
内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)，W的取值范围是0.6至0.9；S143、将所述第一剩余激光雷达点云集合U
i0
的激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇U
i
；S144、根据所述拟合平面l，求得一变换矩阵M
i1
，对投射在标定板上的激光雷达点云簇U
i
经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Q
i
，记该变换到该位置下点云簇U
i
内标定板通孔顶点坐标为则S145、在激光坐标系下YOZ面上构建一个与所述标定载体相同的虚拟标定板，所述虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为根据预设的匹配误差函数Cost计算，获得一个变换矩阵M
i2
，所述变换矩阵M
i2
包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇U
i
经过矩阵M
i2
变换后与所述虚拟标定板重合，则满足
S146、通过已求得的变换矩阵M
i1
、M
i2
获得所述通孔的角点在激光坐标系下原始坐标4.如权利要求3所述的激光雷达与相机的标定方法，其特征在于，所述步骤S142中包括：将所述激光坐标系以垂直向上为z轴正方向，所述激光雷达的前方为x轴正方向，所述激光雷达的向左方向为y轴正方向，其中x，y轴构成水平平面，使用Ransac算法来求解所述激光雷达点云集合U
i1
所在平面的平面方程，设平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从U
i1
中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将U
i1
中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值D
f
的激光点的个数n
p
；重复m次，选出n
p
最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。5.如权利要求4所述的激光雷达与相机的标定方法，其特征在于，所述激光雷达点云簇U
i
所在平面的平面参数为l(a，b，c，d)，则所述平面对应的法向量为(a，b，c)，则所述平面对应的旋转矩阵应的旋转矩阵变换后将点云簇U
i
变换至与YOZ平行；记激光点云簇U
i
内所有激光雷达点坐标均值为内所有激光雷达点坐标均值为则令M
i1
＝(R
i1
，t
i1
)，使得激光点云簇U
i

【专利技术属性】
技术研发人员：谭黎敏，张蒙，顾荣琦，
申请(专利权)人：上海西井信息科技有限公司，
类型：发明
国别省市：