一种环视系统外参数在线修正方法、系统、设备及介质技术方案

本发明专利技术涉及一种环视系统外参数在线修正方法、系统、设备及介质，该方法包括：步骤S1：采用环视系统采集图像数据；步骤S2：基于ORB特征匹配和像素梯度值阈值设置，对环视系统采集到的图像数据进行帧选择和像素选择，确定用于后续优化的图像帧以及图像的像素；步骤S3：利用所选图像帧上相应的像素点，建立双相机模型，通过计算相邻相机共视区的像素均值比对共视区的像素值进行缩放，并基于各个像素对应的双相机损失项误差构建优化图结构；步骤S4：利用列文伯格

【技术实现步骤摘要】
一种环视系统外参数在线修正方法、系统、设备及介质


[0001]本专利技术涉及环视系统参数修正领域，尤其是涉及一种环视系统外参数在线修正方法、系统、设备及介质。

技术介绍

[0002]作为高级驾驶辅助系统不可或缺的组成部分，越来越多的车辆配备了环视系统。环视系统通常由四到六个广角鱼眼摄像头组成，这些摄像头安装在面向不同方向的车辆上，以实现对车辆周围环境的360度全覆盖感知。通过对环视系统进行内参标定与外参标定，我们可以确定环视系统中相机之间的相对位姿，然后实时地合成高质量的环视图。环视图不仅可以拓宽驾驶员视野并消除盲区，还可以用于停车位检测、行人检测、自主泊车等计算机视觉任务中，对促进辅助驾驶的发展具有重要的作用。
[0003]在进行了外参数标定之后，环视系统中的相机将被固定在车辆上，以保证外参数(即相机之间的相对位姿)在通常情况下不会发生明显变化。然而，在车辆行驶的过程中发生的碰撞、颠簸，或是气温变化导致的热胀冷缩现象都有可能会破坏环视相机系统中相机之间的原始空间结构，导致外参数发生变化。此时，如果依然使用原始的外参数来合成环视图，而不进行相应的调整，生成地环视图中将会出现明显的几何裂缝，这反映着环视系统的感知发生了异常。
[0004]当合成的环视图中出现了明显的几何裂缝时，及时去修正环视系统的外参数对行车安全的保证有着重要的意义。不幸的是，到目前为止，学术界与工业界仍然缺乏针对环视系统设计的能够有效地、在线地修正环视系统外参数的解决方案。目前，在相关领域存在的现有的研究方案主要存在着以下两点的局限性：
[0005]a)大多数现有的外参在线修正的方法都是针对普通的多相机系统(如双目相机)而设计的。尽管环视系统也属于一种特殊的多相机系统，但由于其结构的特殊性，这些方法通常不容易被扩展以使得它能够适应环视系统的特点。具体来说，现有的大多数相关方案都是在不同相机的共视区提取特征点并计算对应的描述符，然后再对特征进行匹配，最终利用匹配获得的特征点对恢复出精准的外参数。然而，在环视系统中，相邻相机之间的共视区比普通双目相机窄得多，畸变也更加严重，这导致了我们很难从这些区域中提取出高质量的特征对。
[0006]b)现有的适用于环视系统的解决方案大多基于一些像车道线这样的特定标志物，这意味着他们依赖于相对理想的应用环境。例如，地面上必须有两条可以被清晰地检测到的平行车道线。经过检索，中国专利公开号CN112529966A公开了一种车载环视系统的在线标定方法及其车载环视系统，该方法需要基于车道线信息进行特征提取，对地面环境有限制。因此，这些方法在可用性和泛化能力方面都有着明显的局限性。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种地面纹理局
限性低、精度高的环视系统外参数在线修正方法、系统、设备及介质。
[0008]本专利技术的目的可以通过以下技术方案来实现：
[0009]根据本专利技术的第一方面，提供了一种环视系统外参数在线修正方法，该方法包括以下步骤：
[0010]步骤S1：采用环视系统采集图像数据；
[0011]步骤S2：基于ORB特征匹配和像素梯度值阈值设置，对环视系统采集到的图像数据进行帧选择和像素选择，确定用于后续优化的图像帧以及图像的像素；
[0012]步骤S3：利用所选图像帧上相应的像素点，建立双相机模型，通过计算相邻相机共视区的像素均值比对共视区的像素值进行缩放，并基于各个像素对应的双相机损失项误差构建优化图结构；
[0013]步骤S4：利用列文伯格
‑
马夸尔特LM算法对优化图结构进行图优化以获得最优的相机位姿，从而完成对环视系统外参数的修正。
[0014]优选地，所述步骤S2包括以下步骤：
[0015]步骤S21：检查当前帧是否和滑动窗口内上一帧之间相隔至少P帧，如果是则继续执行后续步骤，否则丢弃当前帧并等待新的一帧到来；
[0016]步骤S22：在当前帧和上一帧的环视图上检测ORB特征并进行匹配，随后进行两帧之间的单应估计，并检查单应阵的等距性，当该单应阵对应的变换在近似范围内满足等距变换，地面被视为相对平整，继续执行后续步骤，否则丢弃当前帧并等待新的一帧的到来；
[0017]步骤S23：在当前帧的相邻相机共视区中选择像素梯度值大于预设值的像素点；
[0018]步骤S24：基于颜色匹配，从已选择出的梯度大于预设值的点中剔除掉不位于地平面上的像素点；
[0019]步骤S25：检查当前帧上被选择出的像素数量是否达到预定数量，如果达到则将当前帧以及选择出的像素点一起存储在局部滑动窗口中，否则就丢弃当前帧并等待新的一帧的到来。
[0020]优选地，所述步骤S22中单应阵的等距性判定为：检查单应阵左上角2x2矩阵块的行列式是否在1的误差范围内，若是，即为等距变换。
[0021]优选地，所述步骤S24具体为：
[0022]首先定义变量颜色比，对于三通道彩色图I
t
与I
t
′
而言，点p所对应的在c通道的颜色比r
c
(p)被定义为：
[0023][0024]其中，c的取值为{1,2,3}，分别对应R、G、B通道；
[0025]进一步，I
t
与I
t
′
在p处所对应的颜色差异D
color
(p)为：
[0026][0027]其中，P
p
为p以及其所有相邻像素点构成的集合，r
μ
(p
w
)则是p
w
处在所有通道上的颜色比的均值。
[0028]优选地，所述步骤S3包括以下步骤：
[0029]步骤S31：检查滑动窗口内的帧数是否满足设定值，如果满足则继续执行后续步骤，否则返回至步骤S2；
[0030]步骤S32：计算环视系统内相邻相机共视区的像素均值比，并按照比值对于共视区内像素值进行放缩，以进行相机曝光时间的修正；
[0031]步骤S33：基于双相机模型与滑动窗口内所有帧上的合格像素点，构建每个像素对应的最小二乘双相机损失项，并将所有损失项加和获得系统待优化的最终误差；
[0032]步骤S34：将待优化的相机位姿与点的逆深度信息构建为顶点，相应损失项作为边，添加到g2o优化器中，完成优化图结构的构建。
[0033]优选地，所述步骤S33中的双相机损失项为：
[0034]对相机C
i
与相机C
j
来说，环视图上一点p
G
所对应的双相机损失项形式如下：
[0035][0036]其中，与分别为相机C
i
与相机C
j
在同一时间点捕获到的图像，与分别为p
G
在与上的投影，γ
ij
为曝光时间修正系数。
[0037]优选地，所述步骤S4包括以下步骤：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环视系统外参数在线修正方法，其特征在于，该方法包括以下步骤：步骤S1：采用环视系统采集图像数据；步骤S2：基于ORB特征匹配和像素梯度值阈值设置，对环视系统采集到的图像数据进行帧选择和像素选择，确定用于后续优化的图像帧以及图像的像素；步骤S3：利用所选图像帧上相应的像素点，建立双相机模型，通过计算相邻相机共视区的像素均值比对共视区的像素值进行缩放，并基于各个像素对应的双相机损失项误差构建优化图结构；步骤S4：利用列文伯格
‑
马夸尔特LM算法对优化图结构进行图优化以获得最优的相机位姿，从而完成对环视系统外参数的修正。2.根据权利要求1所述的一种环视系统外参数在线修正方法，其特征在于，所述步骤S2包括以下步骤：步骤S21：检查当前帧是否和滑动窗口内上一帧之间相隔至少P帧，如果是则继续执行后续步骤，否则丢弃当前帧并等待新的一帧到来；步骤S22：在当前帧和上一帧的环视图上检测ORB特征并进行匹配，随后进行两帧之间的单应估计，并检查单应阵的等距性，当该单应阵对应的变换在近似范围内满足等距变换，地面被视为相对平整，继续执行后续步骤，否则丢弃当前帧并等待新的一帧的到来；步骤S23：在当前帧的相邻相机共视区中选择像素梯度值大于预设值的像素点；步骤S24：基于颜色匹配，从已选择出的梯度大于预设值的点中剔除掉不位于地平面上的像素点；步骤S25：检查当前帧上被选择出的像素数量是否达到预定数量，如果达到则将当前帧以及选择出的像素点一起存储在局部滑动窗口中，否则就丢弃当前帧并等待新的一帧的到来。3.根据权利要求2所述的一种环视系统外参数在线修正方法，其特征在于，所述步骤S22中单应阵的等距性判定为：检查单应阵左上角2x2矩阵块的行列式是否在1的预设误差范围内，若是，即为等距变换。4.根据权利要求2所述的一种环视系统外参数在线修正方法，其特征在于，所述步骤S24具体为：首先定义变量颜色比，对于三通道彩色图I
t
与I
t
′
而言，点p所对应的在c通道的颜色比r
c
(p)被定义为：其中，c的取值为{1，2，3}，分别对应R、G、B通道；进一步，I
t
与I
t
′
在p处所对应的颜色差异D
color
(p)为：其中，P
p
为p以及其所有相邻像素点构成的集合，r
μ
(p
w
...

【专利技术属性】
技术研发人员：张林，张天骏，沈莹，赵生捷，
申请(专利权)人：同济大学，
类型：发明
国别省市：