一种路侧激光雷达-相机-UTM坐标系联合标定方法及系统技术方案

本发明专利技术提出了一种路侧激光雷达

【技术实现步骤摘要】
一种路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法及系统


[0001]本专利技术属于智慧交通领域，具体涉及一种路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法及系统。

技术介绍

[0002]随着智慧交通的发展，需要智能路端设备对交通情况进行实时、准确的感知，目前路端设备主要包括激光雷达、RGB相机等传感器。为保证激光雷达与RGB相机对场景具有协调一致的空间描述，需要对激光雷达和RGB相机的外参进行标定。
[0003]为了与上下游算法完成对接，路端设备的感知信息需要转换至一个统一的坐标系，在智慧交通领域一般选用UTM坐标系作为统一坐标系。要将路端设备转换到UTM坐标系中，目前常用方法是通过激光雷达点云与高精度地图进行匹配，从而定位到激光雷达在UTM坐标系中的坐标，再通过激光雷达与RGB相机的外参标定关系，得到相机在UTM坐标系中的坐标。
[0004]但是高精度地图的获取非常困难，有极高的经济成本和政策成本，在每个路口均建立高精度地图用以将路端设备标定至UTM坐标系是性价比极低的方案。因此现有技术亟待改进。

技术实现思路

[0005]为了解决现有技术中存在的问题，本专利技术实施例的目的在于提出一种能够无依托高精度地图的联合标定方法、系统和装置，能够更加方便、经济、准确地实现路侧激光雷达
‑
相机
‑
UTM坐标系的联合外参标定。
[0006]为了达到上述目的，本专利技术第一方面提供了一种路侧激光雷达
‑
相机
‑
UTM坐标系的外参标定方法，包括以下步骤：
[0007]选取GNSS RTK设备采集点，并获取UTM坐标序列P
UTM
；
[0008]在激光雷达点云中依次提取GNSS RTK设备采集点，并获取激光雷达坐标系下的坐标序列P
Lidar
；
[0009]在相机图像中依次提取GNSS RTK设备采集点，并获取像素坐标系下的坐标序列P
Pixel
；
[0010]基于P
UTM
、P
Lidar
和P
Pixel
，通过非线性优化计算得到激光雷达坐标系、相机坐标系和UTM坐标系之间的外参变换关系。
[0011]进一步的，选取GNSS RTK设备采集点，并获取UTM坐标序列P
UTM
包括：选取相机与激光雷达感知的公共区域作为采集区域，在相机和激光雷达外参未知时，通过观察相机图像和激光雷达点云中的场景特点判断其公共区域；在公共区域中选择至少3个采集点，采集点在采集区域分布尽可能均匀，且不处于同一条直线上；将地球经纬度坐标经过投影算法转换成平面坐标，UTM坐标是在平面坐标的基础上增加了海拔信息。
[0012]进一步的，在激光雷达点云中依次提取GNSS RTK设备采集点，并获得激光雷达坐
标系下坐标序列P
Lidar
包括以下步骤：
[0013]根据地平面对应的点云，并通过平面拟合得到平面方程；
[0014]对于每个采集点，提取GNSS RTK设备对应的点云，并通过直线拟合得到直线方程，GNSS RTK测量设备成直杆状，在测量时需要保持设备与地面呈垂直状态，使用RANSAC算法对激光雷达点云中的GNSS RTK测量设备进行直线拟合，得到直线方程；
[0015]根据拟合得到的直线方程与地平面方程，计算得到每个采集点在激光雷达坐标系下的坐标。
[0016]进一步的，在相机图像中依次选取GNSS RTK设备采集点，并获得像素坐标系下坐标序列P
Pixel
包括以下步骤：
[0017]在相机图像中对GNSS RTK设备进行检测，获取图像中GNSS RTK设备的准确位置；
[0018]提取GNSS RTK设备与地面的交点即为采集点，并获取其像素坐标(u，v)，像素坐标是以图像左上角为原点，向右为u轴正方向，向下为v轴正方向。
[0019]进一步的，在相机图像中对GNSS RTK设备进行检测时，检测方法采用YOLO或SSD深度学习类的目标检测算法，通过提前对GNSS RTK设备进行标注和训练实现检测，或采用手动选取。
[0020]进一步的，基于P
UTM
，P
Lidar
和P
Pixel
，通过非线性优化计算得到激光雷达坐标系与相机坐标系和UTM坐标系之间的外参变换关系包括以下步骤：
[0021]基于UTM坐标序列P
UTM
和激光雷达坐标序列P
Lidar
，通过非线性优化得到激光雷达坐标系与UTM坐标系之间的外参关系；
[0022]基于激光雷达坐标序列P
Lidar
在图像上的投影与像素坐标序列P
Pixel
的误差，通过非线性优化得到激光雷达坐标系与相机坐标系之间的外参关系。
[0023]进一步的，基于UTM坐标序列P
UTM
和激光雷达坐标序列P
Lidar
，通过非线性优化得到激光雷达坐标系与UTM坐标系之间的外参关系时，共选取n个匹配点对，其中坐标序列P
UTM
和P
Lidar
分别写成矩阵形式：
[0024][0025]则需要优化的方程为：
[0026][0027]其中是得到的激光雷达坐标系到UTM坐标系的最优外参。
[0028]进一步的，基于激光雷达坐标序列P
Lidar
在图像上的投影与像素坐标序列P
Pixei
的误差，通过非线性优化得到激光雷达坐标系与相机坐标系之间的外参关系包括以下步骤：
[0029]a)首先获取相机的内参矩阵K和畸变系数D，获取相机的内参K为3
×
3的矩阵，形式为：
[0030][0031]其中f
x
和f
y
代表横向、纵向的焦距，c
x
和c
y
代表像素偏移；获取畸变系数向量D为一个5维向量，形式为：
[0032]D＝[k1，k2，p1，p2，k3][0033]其中k1，k2，k3是径向畸变的前三个系数，p1，p2是切向畸变的前两个系数；
[0034]b)将P
Lidar
中的点从激光雷达坐标系转换到相机坐标系：
[0035]c)根据内参矩阵K进行投影变换，并转为齐次坐标得到其中Z为KP
Camera
的第三维坐标；
[0036]d)根据径向畸变和切向畸变的泰勒表达式增加畸变，公式为：
[0037]径向畸变：
[0038]切向畸变：
[0039]其中(x0，y0)为畸变前的坐标，(x，y)为畸变后的坐标；
[0040]e)构造优化方程：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，包括以下步骤：选取GNSS RTK设备采集点，并获取UTM坐标序列P
UTM
；在激光雷达点云中依次提取GNSS RTK设备采集点，并获取激光雷达坐标系下的坐标序列P
Lidar
；在相机图像中依次提取GNSS RTK设备采集点，并获取像素坐标系下的坐标序列P
Pixel
；基于P
UTM
、P
Lidar
和P
Pixel
，通过非线性优化计算得到激光雷达坐标系、相机坐标系和UTM坐标系之间的外参变换关系。2.根据权利要求1所述的路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，选取GNSS RTK设备采集点，并获取UTM坐标序列P
UTM
包括：选取相机与激光雷达感知的公共区域作为采集区域，在相机和激光雷达外参未知时，通过观察相机图像和激光雷达点云中的场景特点判断其公共区域；在公共区域中选择至少3个采集点，采集点在采集区域分布尽可能均匀，且不处于同一条直线上；将地球经纬度坐标经过投影算法转换成平面坐标，UTM坐标是在平面坐标的基础上增加了海拔信息。3.根据权利要求1所述的路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，在激光雷达点云中依次提取GNSS RTK设备采集点，并获得激光雷达坐标系下坐标序列P
Lidar
包括以下步骤：根据地平面对应的点云，并通过平面拟合得到平面方程；对于每个采集点，提取GNSS RTK设备对应的点云，并通过直线拟合得到直线方程，GNSS RTK测量设备成直杆状，在测量时需要保持设备与地面呈垂直状态，使用RANSAC算法对激光雷达点云中的GNSS RTK测量设备进行直线拟合，得到直线方程；根据拟合得到的直线方程与地平面方程，计算得到每个采集点在激光雷达坐标系下的坐标。4.根据权利要求1所述的路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，在相机图像中依次选取GNSS RTK设备采集点，并获得像素坐标系下坐标序列P
Pixel
包括以下步骤：在相机图像中对GNSS RTK设备进行检测，获取图像中GNSS RTK设备的准确位置；提取GNSS RTK设备与地面的交点即为采集点，并获取其像素坐标(u，v)，像素坐标是以图像左上角为原点，向右为u轴正方向，向下为v轴正方向。5.根据权利要求1所述的路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，在相机图像中对GNSS RTK设备进行检测时，检测方法采用YOLO或SSD深度学习类的目标检测算法，通过提前对GNSS RTK设备进行标注和训练实现检测，或采用手动选取。6.根据权利要求1所述的路侧激光雷达
‑
相机
‑
UTM坐标系联合标定方法，其特征在于，基于P
UTM
，P
Lidar
和P
Pixel
，通过非线性优化计算得到激光雷达坐标系与相机坐标系和UTM坐标系之间的外参变换关系包括以下步骤：基于UTM坐标序列P
UTM
和激光雷达坐标序列P
Lidar
，通过非线性优化得到激光雷达坐标系与UTM...

【专利技术属性】
技术研发人员：陈仕韬，严宇宸，张皓霖，翟帅帅，郑南宁，
申请(专利权)人：宁波市舜安人工智能研究院，
类型：发明
国别省市：