多线激光雷达与多路相机混合标定方法技术

本发明专利技术公开了一种多线激光雷达与多路相机混合标定方法，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。

Hybrid calibration method of multi line lidar and multi-channel camera

The invention discloses a hybrid calibration method of multi line laser radar and multi-channel camera, which includes the following steps: S1, the original image data of a multi-channel camera, the multi line laser radar point cloud data and the collection of static laser radar point cloud data; S2, the solution of the model of each camera internal reference; S3, images collected by each camera. S4, registration of the static laser radar point cloud data to the multi line laser radar point cloud coordinate system; S5, get the position of each camera in the multi line laser radar point cloud coordinate system (Xs, Ys, Zs) in the S4 registered point cloud data; S6, select at least 4 target images in the image corrected by each camera. The U (V) and the corresponding three-dimensional coordinates (Xp, Yp, Zp) of the target in the point cloud with multi line laser radar as the coordinates of the coordinates; S7, the pixel coordinates (U, V) and the three-dimensional coordinates of the target's target of the camera, the camera position (Xs, Ys, Zs) and the camera's corresponding target, and the collinear equation to find the attitude angle of each camera. The element and the 9 direction cosine are calibrated.

【技术实现步骤摘要】
多线激光雷达与多路相机混合标定方法
本专利技术涉及标定
，具体涉及一种多线激光雷达与多路相机混合标定方法。
技术介绍
激光雷达是通过发射激光并接受反射的激光来探测物体的位置，为了提高激光雷达的探测范围和精度，人们在单线激光雷达的基础上进一步研究获得了多线激光雷达。多线激光雷达是指其可同时发射和接受多束激光，在进行扫描时，可以得到多个同心的扫描线。在基于多线激光雷达扫描的三维重建应用中，基于多线激光雷达与多路相机的数据融合，能够抓取更多的环境三维细节信息，为进一步处理提高更完善的空间数据，但在相关系统中，多线激光雷达与多路相机均存在自身的局部坐标系，需要通过相关算法进行标定，以找到多线激光雷达与多路相机之间的三维坐标变换关系，目前，针对多线激光雷达与多路相机混合标定的算法大多需要每一路相机与多线激光雷达单独标定。由于激光雷达采集的点云数据稀疏，而且多路相机内参数未知，导致标定难度大，目前尚无相关的标定技术能够一次性解决此种类型的多线激光雷达与多路相机混合标定的技术。
技术实现思路
本专利技术的目的在于提供一种多线激光雷达与多路相机混合标定算法，用于实现多线激光雷达与多路相机间的标定。为实现上述目的，本专利技术采用以下技术方案：多线激光雷达与多路相机混合标定方法，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的场景点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。进一步地，步骤S1具体包括：S11、多路相机图像数据的采集：将车辆静止停放，在每个相机的视场中依次均匀摆放若干个靶标，获得多路相机的原始图像数据；S12、多线激光雷达点云数据的采集：将车顶上的多线激光雷达开机扫描，获得以多线激光雷达所在的位置为三维空间坐标系原点的多线激光雷达点云数据；S13、静态激光雷达点云数据的采集：采用地面静态激光雷达对整个场景进行扫描，获得静态激光雷达点云数据及各相机在静态激光雷达点云数据中的位置。进一步地，步骤S2中，相机内参模型表示为其中fx，fy为相机的焦距，cx，cy为相机的主光轴点，使用张正友的棋盘标定法求解相机内参和畸变因子，获得相机内参模型。进一步地，步骤S7中，所述共线方程为：式中，f为镜头中心到影像平面的垂距，a1、a2、a3、b1′、b2′、b3′、c1、c2′及c3为各相机的9个方向余弦，各方向余弦与图像姿态角ω及γ间的关系如下：b1＝cosωsinγ；b2＝cosωsinγ；b3＝-sinω；其中ω和γ分别是以多线激光雷达为坐标原点的Y轴为主轴、X轴为主轴、Z轴为主轴的旋转角；估计出各相机的姿态角元素和9个方向余弦，完成标定。采用上述技术方案后，本专利技术与
技术介绍
相比，具有如下优点：本专利技术提出了一种新的标定方法，用于实现多线激光雷达与多路相机的同时混合标定，可进行一个多线激光雷达与多路相机同时标定，填补了相关技术空白。本专利技术安装简单，标定算法易于实施，在多路相机内参数未知、激光雷达采集的点云数据稀疏的情况下，解决了多线激光雷达与多路相机同时标定的困难，填补了相关技术空白，推进了无人驾驶技术朝低成本性、普遍性、平民性发展。附图说明图1为本专利技术中多线激光雷达与多路相机在车辆上的某一安装实例示意图。图2为本专利技术流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在本专利技术中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本专利技术和简化描述，而不是指示或暗示本专利技术的装置或元件必须具有特定的方位，因此不能理解为对本专利技术的限制。实施例本专利技术公开了一种多线激光雷达与多路相机混合标定方法，用于实现多线激光雷达与多路相机的混合标定。如图1所示的是多线激光雷达与多路相机在车辆上的某一安装实例示意图，其中，多线激光雷达5的个数为1，设置于车顶位置，4路相机1、2、3及4分别安装于车前、车后及车的左右两侧，在实际应用中，多线激光雷达的个数、分布位置以及相机的个数、分布位置可根据实际需求进行布置，不影响本专利技术对多线激光雷达与相机之间的位置标定。如图2所示的是本专利技术的流程图，本专利技术包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集，具体地：具体地，步骤S1包括：S11、多路相机图像数据的采集：首先，找到一个宽敞的、四周可以悬挂靶标场地，在每个相机的视场中依次均匀摆放5块或更多的靶标，获得多路相机的原始图像数据。S12、多线激光雷达点云数据的采集：将车顶上的多线激光雷达开机扫描，获得以多线激光雷达所在的位置为三维空间坐标系原点的多线激光雷达点云数据，即激光雷达所在位置的三维坐标(x,y,z)＝(0,0,0)。S13、静态激光雷达点云数据的采集：采用高精度地面静态激光雷达(精度在5毫米以内)对标定的整个场景进行扫描，获得静态激光雷达点云数据及各相机在静态激光雷达点云数据中的位置。此时获得的静态激光雷达点云数据是以静态激光雷达所在的位置为三维坐标原点的点云数据，即每个点的三维空间坐标值(X,Y,Z)是相对于静态激光雷达所在的位置。S2、各相机内参模型的求解：相机内参模型表示为其中fx，fy为相机的焦距，cx，cy为相机的主光轴点，畸变因子由(k1,k2,k3,k4)表示，使用张正友的棋盘标定法求解相机内参和畸变因子，获得相机内参模型。S3、根据S2得到的相机内参和畸变因子等，对各相机采集的图像进行去畸变,得到矫正后的图像。S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中：将S1中得到的静态激光雷达点云数据和多线激光雷达点云数据进行手工配准，将以静态激光雷达位置为坐标原点的点云坐标系变换到以多线激光雷达位置为坐标原点的点云坐标系，得到整个标定场景的点云数据(其中，包括车、相机和靶标等目标)，此步骤借助于专业软件(如RiPROCESS)完成。S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)。S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的场景点云中靶标的三维坐标(Xp，Yp，Zp)。S7、根据各相机的内参模型、相机位置(Xs，Ys，Zs)及相机所对应的靶标的像素坐标(u，v)和三维坐标(Xp，Yp，Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。其中，所述共线方程为：式中，f为镜头中心到影像平面的垂距(即焦本文档来自技高网...

【技术保护点】
多线激光雷达与多路相机混合标定方法，其特征在于，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的场景点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。

【技术特征摘要】
1.多线激光雷达与多路相机混合标定方法，其特征在于，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的场景点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。2.如权利要求1所述的多线激光雷达与多路相机混合标定方法，其特征在于，步骤S1具体包括：S11、多路相机图像数据的采集：将车辆静止停放，在每个相机的视场中依次均匀摆放若干个靶标，获得多路相机的原始图像数据；S12、多线激光雷达点云数据的采集：将车顶上的多线激光雷达开机扫描，获得以多线激光雷达所在的位置为三维空间坐标系原点的多线激光雷达点云数据；S13、静态激光雷达点云数据的...

【专利技术属性】
技术研发人员：温程璐，王程，夏彦，张正，宫正，李军，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35