一种无标定装置的相机与激光雷达自动标定方法制造方法及图纸

本发明专利技术公开一种无标定装置的相机与激光雷达自动标定方法：处理激光雷达及与激光雷达的视角重叠的相机采集的图像数据I

【技术实现步骤摘要】
一种无标定装置的相机与激光雷达自动标定方法


[0001]本专利技术涉及电气图制作
，特别是涉及一种无标定装置的相机与激光雷达自动标定方法。

技术介绍

[0002]无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定人体的智能汽车。它利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
[0003]相机和激光雷达是无人车上常用传感器。相机与激光雷达融合是无人驾驶领等机器人域的热门方法。相机传感器通过镜头及感光元件获取周围环境中的色彩等平面图像信息，激光雷达通过发射和接收特定波长的激光获取周围环境的三维几何信息。单一的传感器无法满足感知需求，而传感器融合可以做到优势互补，提高感知结果的鲁棒性，满足应用场景对感知的需求。而进行传感器融合之前需要进行相机与激光雷达的外参标定。
[0004]外参标定即通过一系列步骤，获得精确的传感器之间的相对外参。传统基于标定物的标定方法一般需要制作结构复杂的标定装置，并布置复杂的标定场景，甚至需要执行复杂的标定流程，且对标定装置的尺寸要求严格；而无标定装置的标定方法一般需要采集大量的数据进行复杂的计算，且标定结果无法得到保障。

技术实现思路

[0005]本专利技术的目的是为了克服现有技术中的不足，而提供一种无标定装置的相机与激光雷达自动标定方法，解决了目前标定需要标定装置，标定流程复杂，标定结果无法得到保障的问题，使得能够在满足标定结果需求的基础上，使标定流程更为便捷。
[0006]为实现本专利技术的目的所采用的技术方案是：
[0007]一种无标定装置的相机与激光雷达自动标定方法，包括步骤：
[0008]S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据I
i
、和图像数据I
i+1
与一帧点云数据L
i
，得到运动补偿后的图像数据I
i
对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标；
[0009]S2.利用获得的多对2D-3D点对，使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解，得到初始标定结果T
’
；
[0010]S3.根据建立的图像以及点云匹配计算函数F和位姿转换T的关系计算匹配计算函数F对位姿转换T的导数，并利用梯度下降算法，计算得到位姿转换参数的最优解，得到最终标定结果。
[0011]其中，上述的步骤S1.所述补偿后的图像数据I
i
对象区域的中心2D坐标的获取步骤如下：
[0012]对图像数据I
i
和图像数据I
i+1
进行人像分割；
[0013]分别遍历分割后的图像数据I
i
和图像数据I
i+1
的各像素点，记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目，将坐标和除以像素数目，分别得到两张图像数据对象区域的中心坐标(x
i
，y
i
)和(x
i+1
，y
i+1
)；
[0014]对图像数据I
i
中的对象区域的中心坐标插值，进行运动补偿；令：
[0015][0016]得到运动补偿后的图像数据Ii中对象区域的中心2D坐标，式中，(x
c
，y
c
)为中心2D坐标，分别是图像数据I
i
和图像数据I
i+1
采集时刻，为点云数据L
i
采集时刻。
[0017]其中，上述的步骤S1中，得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下：
[0018]对点云数据L
i
直通滤波，保留对象活动范围的点云，对对象活动范围内的点云执行RANSAC算法，分割出地面部分的点云，保留扫描到的对象的点云，将保留的点3D坐标相加除以保留的点的数目，得到人体点云中心在激光雷达坐标系下的初始3D坐标(x
′
l
，y
′
l
，z
′
l
)；
[0019]对人体点云中心坐标进行误差补偿，令：
[0020][0021][0022]得到误差补偿后的中心3D坐标，式中，(x
l
，y
l
，z
l
)表示所述中心3D坐标。
[0023]其中，上述的步骤S1中，所述匹配计量函数F，由每一帧数据计算出的帧的匹配计量函数F
i
求和得到；表示如下：
[0024][0025][0026][0027][0028]其中，为在集合B
i
中的某投影点周围的邻近的图像边缘点，n为邻近的图像边缘点的数目，Bi为图像数据I
i
中对象区域的边缘点集合，C
i
为人体点云的边缘点集合P
i
中的边缘点投影到相机平面所得到的投影像素坐标的集合，b.x、a
j
.x、b
n
.x分别为对应像素点的x坐标，b.y、a
j
.y、b
n
.y分别对应的像素点的y坐标。
[0029]其中，上述的人体点云的边缘点集合P
i
的获得步骤如下：
[0030]对保留的人体部分点云按照激光雷达扫描线束进行遍历，对于每一条线束，将扫
描到的点按照激光的旋转角度进行排序，得到每一条线束打在人体上的最左以及最右两侧的边缘点，该帧所有线束的边缘点形成边缘点集合P
i
。
[0031]其中，上述的图像数据I
i
中对象区域的边缘点集合B
i
获得步骤如下
[0032]对图像数据I
i
分割后的对象区域的图像进行边界提取，遍历图像数据I
i
分割后的对象区域的图像的所有像素点，将被标记为对象像素点且其周围8个像素点中包含背景点的像素点标记为边缘点，将图像数据I
i
的所有边缘点作为图像数据I
i
的边缘点集合B
i
，然后边缘点集合B
i
中的边缘点修正；
[0033]对边缘点集合B
i
中的边缘点进行修正的方法如下：
[0034]设(u，v)∈B
i
，则令
[0035][0036]式中，(x
i
，y
i
)和(x
i+1
，y
i+1
)分别为图像数据I
i
和图像数据I
i+1
对象区域的中心坐标。
[0037]本专利技术的无标定装置的相机与激光雷达自动标定方法，解决了目前标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无标定装置的相机与激光雷达自动标定方法，其特征在于，包括步骤：S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据I
i
、图像数据I
i+1
与一帧点云数据L
i
，得到运动补偿后的图像数据I
i
对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标；S2.利用获得的多对2D-3D点对，使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解，得到初始标定结果T
’
；S3.根据建立的图像以及点云匹配计算函数F和位姿转换T的关系计算匹配计算函数F对位姿转换T的导数，并利用梯度下降算法，计算得到位姿转换参数的最优解，得到最终标定结果。2.根据权利要求1所述无标定装置的相机与激光雷达自动标定方法，其特征在于，步骤S1.所述补偿后的图像数据I
i
对象区域的中心2D坐标的获取步骤如下：对图像数据I
i
和图像数据I
i+1
进行人像分割；分别遍历分割后的图像数据I
i
和图像数据I
i+1
的各像素点，记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目，将坐标和除以像素数目，分别得到两张图像数据对象区域的中心坐标(x
i
，y
i
)和(x
i+1
，y
i+1
)；对图像数据I
i
中的对象区域的中心坐标插值，进行运动补偿；令：得到运动补偿后的图像数据I
i
中对象区域的中心2D坐标，式中，(x
c
，y
c
)为中心2D坐标，分别是图像数据I
i
和图像数据I
i+1
采集时刻，为点云数据L
i
采集时刻。3.根据权利要求2所述无标定装置的相机与激光雷达自动标定方法，其特征在于，步骤S1中，得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下：对点云数据L
i
直通滤波，保留对象活动范围的点云，对对象活动范围内的点云执行RANSAC算法，分割出地面部分的点云，保留扫描到的对象的点云，将保留的点3D坐标相加除以保留的点的数目，得到人体点云中心在激光雷达坐标系下的初始3D坐标(x
′
l
，y
′
l
，z
′
l
)；对人体点云中心坐标进行误差补偿，令：对人体点云中心坐标进行误差补偿，令：得到误差补偿后的中心3D...

【专利技术属性】
技术研发人员：马浩淳，刘禹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：