一种激光雷达与全景相机的标定方法技术

本发明专利技术公开了一种激光雷达与全景相机的标定方法，包括在标定场景内布置与全景相机的相机数量相同的棋盘格，采用三维激光扫描仪采集整个标定场景的三维点云数据，之后将待标定的激光雷达和由多镜头组合式全景相机移入标定场景，同步采集全景相机和激光雷达的多幅可见光影像数据及点云数据；基于全景相机采集的影像数据和三维激光扫描仪采集的三维点云数据，计算出相机和三维激光扫描仪之间的第一相对位姿；基于激光雷达的点云数据和三维激光扫描仪采集的数据，计算得到激光雷达和三维激光扫描仪之间的第二相对位姿；根据第一相对位姿和第二相对位姿，计算得到激光雷达和全景相机之间的第三相对位姿。本发明专利技术提出了一种标定场景布置要求低且可避免多次变换的累计误差的激光雷达与全景相机的标定方案。激光雷达与全景相机的标定方案。激光雷达与全景相机的标定方案。

【技术实现步骤摘要】
一种激光雷达与全景相机的标定方法


[0001]本专利技术属于空间环境感知
，具体涉及一种激光雷达与全景相机的标定方法。

技术介绍

[0002]激光雷达获得的距离信息和相机获得的纹理信息具有良好的互补性。这两种信息的融合可以很好的对环境全面感知。配备多个激光雷达和全景相机的移动测量系统被广泛应用于自主驾驶、机器人导航、航拍测量和三维场景重建等领域。相机和激光雷达之间外参标定的精度直接决定了颜色和距离信息融合的准确性。
[0003]现有的激光雷达与组合式全景相机的联合标定方法，主要分为两类。一种是将整个系统拆分为多个部分，依次计算两两之间的相对位姿，最后统一到某一坐标系下，这种方法存在多次变换后的累计误差，导致标定精度的退化；另一种为Yuanfan Xie等在文献(Xie,Yuanfan,Rui Shao,Popo Guli,Bo Li,and Liang Wang."Infrastructure based calibration of a multi
‑
camera and multi
‑
LiDAR system using apriltags."In 2018IEEE Intelligent Vehicles Symposium(IV),pp.605
‑
610.IEEE,2018.)提出一个基于基础设施的解决方案，在一个类似车库房间的多面墙壁上，放置一系列规整的AprilTags(四月标签)靶标图案，构建标定场景。通过扫描仪获取AprilTags靶标的角点空间坐标信息，通过PnP(Perspective
‑
n
‑
Point，是求解3D到2D点对运动的方法)算法估计各相机的位姿，通过类ICP(Iterative Closest Point，迭代最近点算法)算法估计各激光雷达的位姿，但是该方法提出的标定场景需要AprilTags靶标在墙壁上规整的排列，设计该标定场景需要的加工制造成本相对较高。
[0004]因此，如何提供一种可解决现有激光雷达和相机之间标定的标定场景布置要求低、可避免多次坐标变换的累计误差等问题的标定方案，这是当前需要解决的问题。

技术实现思路

[0005]本专利技术的主要目的在于提供一种激光雷达与全景相机的标定方法，从而克服现有技术的不足。
[0006]为实现前述专利技术目的，本专利技术采用的技术方案包括：一种激光雷达与全景相机的标定方法，包括：
[0007]S0，用张氏标定法计算出组合式全景相机各相机的内参；
[0008]S1，选择标定场景，在场景内布置与相机数量相同的棋盘格，并使每个棋盘格位于对应相机视野的中心；
[0009]S2，采用三维激光扫描仪采集整个所述标定场景的三维点云数据和全景图，之后将待标定的激光雷达和由多镜头组合式全景相机移入所述标定场景，并使所述激光雷达的位置与所述三维激光扫描仪的采集位置一致，且标定时全景相机的每个镜头画面内对应存在一个完整的所述棋盘格，激光雷达至少扫描到三个线性不相关的平面，同步采集组合式
全景相机可见光影像数据和激光雷达的点云数据；
[0010]S3，基于所述全景相机采集的数据和所述三维激光扫描仪采集的数据，计算出所述相机和所述三维激光扫描仪的第一相对位姿；
[0011]S4，基于所述激光雷达的点云数据和所述三维激光扫描仪采集的数据，计算得到所述激光雷达和所述三维激光扫描仪的第二相对位姿；
[0012]S5，根据所述第一相对位姿和所述第二相对位姿，计算得到所述激光雷达和所述全景相机的第三相对位姿。
[0013]在一优选实施例中，所述S3包括：
[0014]S31，对全景相机采集到的图片做角点检测，得到棋盘格每个角点在图片中的二维坐标；
[0015]S32，从三维激光扫描仪采集的所述三维点云数据中找到对应角点的三维坐标；
[0016]S33，基于所述二维坐标和所述三维坐标，计算出所述第一相对位姿。
[0017]在一优选实施例中，所述S31中，先对全景相机采集到的多幅图片做去畸变处理，包括采用步骤S0中相机的内参，通过OpenCV的接口函数，对图片进行去畸变处理。
[0018]在一优选实施例中，所述S33中，基于所述二维坐标和所述三维坐标，采用PnP算法，计算出所述第一相对位姿。
[0019]在一优选实施例中，所述S4包括：
[0020]S41，对所述三维激光扫描仪采集的三维点云数据和所述激光雷达的点云数据分别提取平面特征；
[0021]S42，在点云数据中，随机选取N个点，采用随机抽样一致算法进行平面拟合，获得三个平面方程的系数及三个平面的交点；
[0022]S43，根据三维激光扫描仪点云数据中的平面法向量和激光雷达获取的点云数据中的平面法向量，得到激光雷达的旋转矩阵。
[0023]在一优选实施例中，所述平面方程的系数通过求解以下公式的最小二乘拟合问题获取：
[0024][0025]其中，f
i
(p
n
)＝|β
(i,0)
x
n
+β
(i,1)
y
n
+β
(i,2)
z
m
+β
(i,3)
|是点云数据中的任意一点p
n
＝[x
n
,y
n
,z
n
]T
到平面Π
i
的距离，Π
i
为第i个平面，β
i
＝[β
(i,0)
,β
(i,1)
,β
(i,2)
,β
(i,3)
]T
为平面方程的系数，即为β
i*
。
[0026]在一优选实施例中，所述三个平面的交点通过求解以下公式获取：
[0027][0028]其中，β1，β2，β3分别是三个平面方程的系数，为三个平面的交点。
[0029]在一优选实施例中，所述激光雷达的旋转矩阵通过以下公式求解：
[0030][0031]其中，表示三维激光扫描仪点云数据中的平面法向量[β
(i,0)
,β
(i,1)
,β
(i,2)
]T
；表示激光雷达点云数据中的平面法向量；
[0032]所述激光雷达的平移向量通过以下公式求解：
[0033][0034]其中，表示三维激光扫描仪采集的点云数据中提取的三个平面的交点，表示激光雷达采集的点云数据中提取的三个平面的交点。
[0035]在一优选实施例中，所述第三相对位姿通过以下公式求解：
[0036][0037]其中，T
L_S
表示为第二相对位姿，T
C_S
表示为第一相对位姿。
[0038]与现有技术相比较，本专利技术的有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达与全景相机的标定方法，其特征在于，所述标定方法包括：S0，用张氏标定法计算出组合式全景相机各相机的内参；S1，选择标定场景，在场景内布置与相机数量相同的棋盘格，并使每个棋盘格位于对应相机视野的中心；S2，采用三维激光扫描仪采集整个所述标定场景的三维点云数据和全景图，之后将待标定的激光雷达和由多镜头组合式全景相机移入所述标定场景，并使所述激光雷达的位置与所述三维激光扫描仪的采集位置一致，且标定时全景相机的每个镜头画面内对应存在一个完整的所述棋盘格，激光雷达至少扫描到三个线性不相关的平面，同步采集组合式全景相机可见光影像数据和激光雷达的点云数据；S3，基于所述全景相机采集的数据和所述三维激光扫描仪采集的数据，计算出所述相机和所述三维激光扫描仪的第一相对位姿；S4，基于所述激光雷达的点云数据和所述三维激光扫描仪采集的数据，计算得到所述激光雷达和所述三维激光扫描仪的第二相对位姿；S5，根据所述第一相对位姿和所述第二相对位姿，计算得到所述激光雷达和所述全景相机的第三相对位姿。2.根据权利要求1所述的一种激光雷达与全景相机的标定方法，其特征在于：所述S3包括：S31，对全景相机采集到的图片做角点检测，得到棋盘格每个角点在图片中的二维坐标；S32，从三维激光扫描仪采集的三维点云数据中找到对应角点的三维坐标；S33，基于所述二维坐标和所述三维坐标，计算出所述第一相对位姿。3.根据权利要求2所述的一种激光雷达与全景相机的标定方法，其特征在于：所述S31中，先对全景相机采集到的多幅图片做去畸变处理，包括采用步骤S0中相机的内参，通过OpenCV的接口函数，对图片进行去畸变处理。4.根据权利要求2所述的一种激光雷达与全景相机的标定方法，其特征在于：所述S33中，基于所述二维坐标和所述三维坐标，采用PnP算法，计算出所述第一相对位姿。5.根据权利要求1所述的一种激光雷达与全景相机的标定方法，其特征在于：所述S4包括：S41，对所述三维激光扫描仪采集的三维点云数据和所述激光雷达的点云数据分别提取平面特征；S42，在点云数据中，随机选取N个点，采用随机抽样一致算法进行平面拟合，获得三个平面方程的系数及三个平面的交点；S43，根据三维激光扫描仪点云数据中的平面法向量和激光雷达获取的点...

【专利技术属性】
技术研发人员：葛建飞，肖江剑，卜宁波，田振楠，茹浩磊，许根，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：