激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质，在线漂移检测方法包括点云与图像配准和传感器漂移检测，点云与图像配准包括：在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧，完成激光雷达和相机的数据同步；基于同步的数据，通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相机运动；传感器漂移检测包括：基于估计得到的激光雷达运动和相机运动，求解对应帧的激光雷达和相机间的运动偏差；当对应帧的激光雷达和相机间的运动偏差大于设定阈值时，检测当前帧是否发生传感器漂移。本发明专利技术方法特征提取精准、全面且鲁棒，泛化性能好，在各个方向的漂移检测和标定精度和鲁棒性良好。棒性良好。棒性良好。

【技术实现步骤摘要】
激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质


[0001]本申请涉及智能驾驶传感器标定领域，特别涉及一种面向激光雷达与相机在线漂移检测与外参校正的方法。

技术介绍

[0002]智能驾驶汽车在行驶过程中，由于车身振动不可避免地导致所装备的激光雷达和相机的相对姿态发生漂移，相应地，两传感器之间的外参也会随之变化。这种情况下，先前的标定参数将无法对齐激光雷达坐标系与相机坐标系，造成自动驾驶汽车感知性能衰退甚至失效，严重威胁行驶安全。
[0003]面对车辆运行期间的传感器漂移问题，有研究根据标定参数准确时，激光雷达点云数据中的深度不连续点往往会投影到图像边缘上这一认知，通过搜索和判断外参是否使点云边缘投影和图像边缘灰度值的乘积最大，来确定传感器是否漂移以进行外参校正。然而，由于两个传感器之间存在视差，激光雷达点云中远处点构成的边缘往往与近处点的边缘相交叉，导致点云投影后出现边缘模糊。此外，相机图像中的大量无效边缘特征与点云深度不连续点无关，这可能导致特征对齐出错，算法向错误的方向优化。深度学习技术也被用来解决传感器在线标定问题，有研究通过训练具有不同漂移程度的五个神经网络模型，来迭代地优化校正外参，但是基于深度学习的方法性能严重依赖于训练数据，这意味着当车辆行驶环境或传感器参数发生变化时，这类方法因为泛化能力弱导致校正效果较差；此外，该类方法缺乏有效的传感器漂移判断机制，算法运行时每一帧都进行校正，无疑浪费了计算资源。
[0004]总之，现有技术存在的问题是：基于点云和图像边缘对齐的方法由于传感器视差以及大量无效图像边缘问题，对漂移的判断以及校正效果不佳；基于深度学习的技术，缺乏传感器漂移判断机制，并且依赖大量训练数据，泛化性能较差。且以上两类方法都是试图从不同模态数据中，提取共同环境特征，这是非常容易出错的；此外，以上两类方法在激光雷达线束分辨率较低的方向标定效果较差。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种在线的传感器漂移检测方法、校正方法、装置及存储介质，用于解决智能驾驶汽车在行驶过程中的激光雷达和相机在线漂移检测和自动校正问题。
[0006]本专利技术首先提供一种激光雷达与相机在线漂移检测方法，其特征在于，包括：
[0007]点云与图像配准，包括：
[0008]在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧，完成激光雷达和相机的数据同步；
[0009]基于同步的数据，通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动
和相机运动；
[0010]传感器漂移检测，包括：
[0011]基于估计得到的激光雷达运动和相机运动，求解对应帧的激光雷达和相机间的运动偏差；
[0012]设定阈值，当对应帧的激光雷达和相机间的运动偏差大于设定阈值时，检测当前帧是否发生传感器漂移。
[0013]本专利技术还提供一种激光雷达与相机在线漂移外参校正方法，其特征在于，包括：
[0014]基于激光雷达与相机在线漂移检测方法对传感器漂移检测；
[0015]对于检测结果为传感器漂移的，进行传感器外参的校正，对传感器外参进行校正的方法，包括：
[0016]估计带尺度的相机运动，将当前图像帧中的二维特征点与对应的前N帧点云中三维点相匹配，求解带尺度的相机运动；
[0017]根据带尺度的相机运动，得到前一帧和当前帧之间的运动矩阵并平均化；
[0018]平均化后将未漂移的前一帧点云转换到当前位置作为参考点云，通过与当前漂移的点云配准得到最终的校正外参。
[0019]本专利技术传感器漂移检测方法，利用点云配准和图像配准技术估计激光雷达和相机前后帧间的运动，通过两个模态运动大小的对比来判断是否漂移。本专利技术校正方法，根据传感器运动来在线校正外参漂移。本专利技术方法无需从不同模态中提取共同边缘特征，无需大量训练数据。
[0020]本专利技术还提供一种激光雷达与相机在线漂移检测与外参校正装置，其特征在于，包括：
[0021]相机，用于实时获取环境图像；
[0022]激光雷达，用于实时获取环境点云数据；
[0023]以及，
[0024]处理器，执行上述在线漂移检测与外参校正方法的步骤。
[0025]相对于现有技术，本专利技术具有以下有益效果：
[0026]1、特征提取更准确全面：本方法基于点云、图像配准原理，从相同模态中提取共同特征，特征提取精准；且所提取的特征更为全面，不限于边缘特征，特征更容易对齐，不会导致算法优化方向出错。
[0027]2、无需大量训练数据：不依赖大量训练数据，泛化性能好；
[0028]3、漂移检测和校正的鲁棒性好：对激光雷达分辨率大小不敏感，在各个方向的漂移检测和标定鲁棒性良好。
附图说明
[0029]图1是本申请一个实施例提供的一种激光雷达与相机在线漂移检测与外参校正方法的整体框架图；
[0030]图2是本申请一个实施例提供的没有发生传感器漂移时激光雷达和相机运动偏差典型的频率分布直方图和拟合的高斯分布曲线；
[0031]图3是本申请一个实施例提供的不同的全局系数α和帧数N下漂移检测正确率的统
计试验结果；
[0032]图4是本申请一个实施例提供的二维特征点u
k
f与三维点云点p
c,k
‑
n
匹配的示意图；
[0033]图5是本申请一个实施例提供的在传感器无漂移、小漂移、大漂移下，与基于边缘对齐的方法和深度学习的方法的在线漂移检测和校正的试验结果图；
[0034]图6是本申请一个实施例提供的在传感器小漂移和大漂移下，与基于边缘对齐的方法和深度学习的方法的外参自动校正后的图像反投影点云图。
具体实施方式
[0035]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0036]请参考图1，其示出了本申请一个实施例提供的激光雷达与相机在线漂移检测与外参校正方法的整体框架图，该方法应用于智能驾驶车辆行驶过程中。该激光雷达与相机在线漂移检测与外参校正方法，可以包括：
[0037]本实施例中，传感器漂移是指以相机坐标系为参考，激光雷达坐标系相对于相机坐标系的位置和姿态变化，称为传感器漂移。
[0038]步骤101，点云与图像配准：首先在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧，完成激光雷达和相机的数据同步，将同步后的数据作为输入数据；然后分别通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相机运动。
[0039]步骤1011，激光雷达运动估计：首先对激光雷达点云进行预处理，包括去除地面点和较远处点、下采样等，以增强点云配准的鲁棒性和处理速度。然后，根据式(1)使用原始外参T
lc
将点云转换到相机坐标系中：
[0040][0041]其中，和分别表示相机坐标系和激光雷达坐标系下的一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达与相机在线漂移检测方法，其特征在于，包括：点云与图像配准，包括：在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧，完成激光雷达和相机的数据同步；基于同步的数据，通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相机运动；传感器漂移检测，包括：基于估计得到的激光雷达运动和相机运动，求解对应帧的激光雷达和相机间的运动偏差；设定阈值，当对应帧的激光雷达和相机间的运动偏差大于设定阈值时，检测当前帧是否发生传感器漂移。2.根据权利要求1所述的激光雷达与相机在线漂移检测方法，其特征在于，通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相机运动，包括：使用原始外参T
lc
将点云转换到相机坐标系中：其中，和分别表示相机坐标系和激光雷达坐标系下的一个三维点，和分别是T
lc
的旋转分量和平移分量，表示为欧拉角的形式，即yaw、pitch和roll，[R
ψ
,R
θ
,R
φ
]
T
，将前N帧点云和当前点云进行配准，以估计帧间的激光雷达运动其中，和分别是的旋转分量和平移分量，n＝1,2,...,N；提取和匹配前N帧图像I
k
‑
n
与当前图像I
k
间的特征点然后结合相机内参K求解帧间的本质矩阵将本质矩阵分解为前N帧图像I
k
‑
n
与当前帧图像I
k
之间的变换矩阵：其中，和分别是的旋转分量和平移分量。3.根据权利要求2所述的激光雷达与相机在线漂移检测方法，其特征在于，基于估计得到的激光雷达运动和相机运动，求解对应帧的激光雷达和相机间的运动偏差，包括：求解两传感器运动的旋转部分和的偏差的偏差将偏差转化为欧拉角的形式：e
ψ,k
‑
n
＝atan2(r
21
,r
11
)
e
φ,k
‑
n
＝atan2(r
32
,r
33
)其中，e
ψ,k
‑
n
、e
θ,k
‑
n
和e
φ,k
‑
n
分别表示yaw、pitch和roll方向上的运动偏差，r
ij
表示偏差中的元素。4.根据权利要求3所述的激光雷达与相机在线漂移检测方法，其特征在于，设定阈值，当对应帧的激光雷达和相机间的运动偏差大于设定阈值时，检测当前帧是否发生传感器漂移，包括：根据前N帧和当前帧之间的激光雷达和相机运动偏差e
ψ,k
‑
n
、e
θ,k
‑
n
和e
φ,k
‑
n
，n＝1,2,...,N，得到偏差阈值为μ
j,k
‑
n
‑
3σ
j,k
‑
n
和μ
j,k
‑
n
+3σ
j,k
‑
n
，其中，μ
j,k
‑
n
和σ
j,k
‑
n
分别为k
‑
n帧j方向上拟合的高斯分布函数的均值和方差，j＝ψ,φ,θ；拟合的高斯分布函数为：当μ
j,k
‑
n
‑
3σ
...

【专利技术属性】
技术研发人员：殷国栋，彭湃，徐利伟，庄伟超，祝小元，张宁，王金湘，耿可可，高强，张辉，
申请(专利权)人：东南大学，
类型：发明
国别省市：