基于三个标定板的激光雷达与双目相机空间关系确定方法技术

本发明专利技术提出了基于三个相互垂直标定板的激光雷达与双目相机空间关系确定方法，利用已知内参的双目相机获取的左、右图像，并根据极线约束准则对左右图像中的内角点进行匹配，再利用最小二乘法求解标定板中角点世界坐标，提取三个平面参数；对于激光点云数据，使用基于激光点云的三次增长平面检测算法，提取三个平面参数；将相机提取的平面参数与激光提取的平面参数一一对应，从而确定两者之间的空间关系，即外参；同时，引入一种新的评价指标，即根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，判断点云投影在前景中的百分比，从而有效、可靠的对标定结果进行评价。可靠的对标定结果进行评价。可靠的对标定结果进行评价。

【技术实现步骤摘要】
基于三个标定板的激光雷达与双目相机空间关系确定方法


[0001]本专利技术涉及相机
，具体为基于三个标定板的激光雷达与双目相机空间关系确定方法。

技术介绍

[0002]目前，基于LiDAR和相机标定的开源方案主要有：but_velodyne、Autoware、lidar_camera_calibration和apollo。but_velodyne选择使用四个在同一平面的圆圈作为标识物，首次提出了基于激光的曲率进行前景和背景的归类。在激光数据处理中使用RANSAC方法拟合圆的参数，在图像中使用Hough变换得到圆的参数。在优化过程中将位置和旋转矩阵进行分步优化，得到初始外参后再使用精优化提高外参的精度。同时在实验部分作者创新地提出了评测标定指标的参数，将激光的前景和背景点投影到图像上并判断图像上的点是否与之匹配，通过匹配率来衡量标定结果的好坏，但针对16线或32线激光雷达，易出现3Dmarker检测失败。Autoware提供的相机和激光外参标定的应用程序，但是在使用的过程中需要人手持大型平面标定板进行多个方向的移动，且标定过程需要不断的手动进行点云和图像的匹配，因此每次得到的标定结果方差较大，稳定性程度不高。lidar_camera_calibration将两个ARUCOMarker贴到平面板上作为标识物进行外参的标定，此种方法不需要对标识物或者传感器进行移动即可得到结果。但开始进行第一帧测量之前需要人为地选出激光点对应的硬纸板边界，这一操作比较复杂，容易产生操作错误，可操作性较差。Apollo方案虽然包含了lidar和camera的标定方案，其标定方法可用于自然环境中，但是其需要广角相机、里程计、惯导等传感器，且还需要具有一定精度的初始外参。该方案的标定流程较为复杂，可操作性差。这几种开源方面都是基于平面标定板的。

技术实现思路

[0003]为解决现有技术中存在的问题，本专利技术提出了基于三个标定板的激光雷达与双目相机空间关系确定方法，利用双目相机获取的左、右图像，利用最小二乘法求解标定板中角点的世界坐标，并提取平面参数，对于激光点云数据，使用基于激光点云的三次增长平面检测算法，同时，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定，能有效、可靠的对标定结果进行评价。
[0004]基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：包括有如下步骤：
[0005]S1.利用已知双目相机内参，可以得到左、右相机的内参K
l
、K
r
以及两者的旋转矩阵R和平移向量t，使用findChessboardCorners检测函数提取棋盘格中的角点，根据极线约束准则对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，再使用RANSAC算法拟合出三个平面的参数：
[0006]S11.计算每个平面中的棋盘格内角点在左相机坐标系下的坐标：
[0007]左、右相机的n个三维空间共视点为P
W
，其投影为p，设空间点世界坐标为
左相机投影的像素坐标为右相机投影的像素坐标为
[0008][0009][0010][0011]令
[0012]将式(1)、(2)展开，并联立方程得：
[0013][0014]利用最小二乘法即可求解出角点在世界坐标系下的坐标[x
i
，y
i
，z
i
]，
[0015]S12.使用RANSAC算法拟合每个平面的平面参数：
[0016]空间中的任一平面都可以用其上面的一点(x,y,z)以及它的法向量(A,B,C)来确定，即Ax+By+Cz+D＝0，将(A,B,C,D)称为平面参数，设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵R
l
＝I，平移向量t
l
＝0，利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数和
[0017]S2.根据激光点云的曲率，并结合三次增长平面检测算法提取平面，以及获取三个平面参数：S21.设计了具有几何意义的曲率计算方法，求解点云的曲率：
[0018]曲率为c计算公式：
[0019]c＝180*acos(|norm(P(i
‑
5，j，k)
‑
P(i，j，k))
·
norm((P(i+5，j，k)
‑
P(i，j，k)))|)
ꢀꢀꢀ
(5)
[0020]其中P(i,j,k)为(i,j,k)时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘，
[0021]S22.确定所有点的曲率，根据曲率将点云被划分两类点：有曲率点和无曲率点，
[0022]S23.第一次区域增长，将A平面和B平面之间的相交区域都划归为角点，空间中平面点已经被聚类完，
[0023]S24.第二次区域增长，将空间中的平面检测出来，特别是与激光光线垂直的平面，
[0024]S25.第三次区域增长，提取点云中的地面，
[0025]S26.使用RANSAC算法拟合每个平面的平面参数：
[0026]步骤1：对于每个平面，选取任意3个点云，判断其是否共线，若共线则重新选取；若
不共线则解算出其对应的原始平面A0x+B0y+C0z+D0＝0；
[0027]步骤2：计算点云到该原始平面的距离，
[0028]步骤3：设定阈值d0，若时，该点被当作有效点保存并计数，反之删除该点；
[0029]重复步骤1
‑
3，迭代M次，选取有效点数最大的平面进行估计，确定平面参数(A
l
，B
l
，C
l
，D
l
)，从而确定激光坐标系下三个平面的参数分别记为和
[0030]S3.将相机坐标系下三个平面的参数和激光点云提取的三个平面参数建立方程，求解激光雷达与左相机的外参：
[0031]S31.利用SVD得到旋转矩阵，再利用线性方程直接求解平移矩阵，从而得到外参初值；
[0032]根据步骤S1和S2可知：相机坐标系下三个平面的参数分别记为和激光坐标系下三个平面的参数分别记为和相机坐标系下的平面参数和激光坐标系下的平面参数有如下关系：
[0033][0034][0035]式(6)为ICP问题，使用SVD分解求解得到外参的旋转矩阵R
l，c
[0036]令
[0037]对W进行SVD分解，W＝U∑V
T
[0038]从而得到：
[0039]式(7)为解线性方程问题，对系数矩阵直接求解即可得到平移矩阵t
lc
，经过对式(6)、(7)的求解从而得到外参初值，
[0040]S32.利用初值，进行非线性优化得到最终结果；
[0041]S4.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于三个相互垂直标定板的激光雷达与双目相机空间关系确定方法，其特征在于：包括有如下步骤：S1.利用已知双目相机内参，可以得到左、右相机的内参K
i
、K
r
以及两者的旋转矩阵R和平移向量t，使用findChessboardCorners检测函数提取棋盘格中的角点，根据极线约束准则对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，再使用RANSAC算法拟合出三个平面的参数：S11.计算每个平面中的棋盘格内角点在左相机坐标系下的坐标：左、右相机的n个三维空间共视点为P
W
，其投影为p，设空间点世界坐标为P
iW
＝[x
i
，y
i
，z
i
]
T
，左相机投影的像素坐标为右相机投影的像素坐标为右相机投影的像素坐标为右相机投影的像素坐标为右相机投影的像素坐标为令将式(1)、(2)展开，并联立方程得：利用最小二乘法即可求解出角点在世界坐标系下的坐标[x
i
，y
i
，z
i
]，S12.使用RANSAC算法拟合每个平面的平面参数：空间中的任一平面都可以用其上面的一点(x，y，z)以及它的法向量(A，B，C)来确定，即Ax+By+Cz+D＝0，将(A，B，C，D)称为平面参数，设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵R
l
＝I，平移向量t
l
＝0，利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数和S2.根据激光点云的曲率，并结合三次增长平面检测算法提取平面，以及获取三个平面参数：S21.设计了具有几何意义的曲率计算方法，求解点云的曲率：曲率为c计算公式：c＝180*acos(|norm(P(i
‑
5，j，k)
‑
P(i，j，k))
·
norm((P(i+5，j，k)
‑
P(i，j，k)))|)
ꢀꢀ
(5)其中P(i，j，k)为(i，j，k)时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘，S22.确定所有点的曲率，根据曲率将点云被划分两类点：有曲率点和无曲率点，
S23.第一次区域增长，将A平面和B平面之间的相交区域都划归为角点，空间中平面点已经被聚类完，S24.第二次区域增长，将空间中的平面检测出来，特别是与激光光线垂直的平面，S25.第三次区域增长，提取点云中的地面，S26.使用RANSAC算法拟合每个平面的平面参数：步骤1：对于每个平面，选取任意3个点云，判断其是否共线，若共线则重新选取；若不共线则解算出其对应的原始平面A0x+B0y+C0z+D0＝0；步骤2：计算点云到该原始平面的距离，步骤3：设定阈值d0，若时，该点被当作有效点保存并计数，反之删除该点；重复步骤1
‑
3，迭代M次，选取有效点数最大的平面进行估计，确定平面参数(A
l
，B
l
，C
l
，D
l
)，从而确定...

【专利技术属性】
技术研发人员：王庆，严超，冯悠扬，刘玉，王怀虎，黎露，
申请(专利权)人：北京农业信息技术研究中心，
类型：发明
国别省市：