一种车载多相机间目标融合方法、系统及存储介质技术方案

本发明专利技术公开了一种车载多相机间目标融合方法、系统及存储介质，方法包括：步骤1：获取车载多相机同一时刻拍摄的图像、每个相机的内参矩阵、相邻相机的外参矩阵、相邻相机间的基距，利用神经网络进行目标检测，获取每张图像上所有目标；步骤2：确定非重叠目标框；步骤3：进行均匀采样获得采样点集合，并根据极线约束误差最小化准则重投影至相邻相机图像上，获得重投影矩形框；步骤4：对当前相机的原始目标框、重投影矩形框、相邻相机目标框进行逻辑判断，根据判断结果进行目标融合；步骤5：遍历所有相机，重复步骤2

【技术实现步骤摘要】
一种车载多相机间目标融合方法、系统及存储介质


[0001]本专利技术涉及目标融合
，更具体地，涉及一种车载多相机间目标融合方法、系统及存储介质。

技术介绍

[0002]视觉作为智能驾驶的核心感知手段，可直观感受车辆行驶过程中的动态目标及静态目标，为车辆的安全行驶提供保证。受限于摄像机视场角，为感知车辆周围360度影像，一般需布置多个相机，且相邻相机间图像一般有重叠区域。在保证360度的全感知的前提下，高效、准确的判断重叠区域目标的唯一性对车辆行驶的规划控制也至关重要。
[0003]现有技术中，公开号为CN113077511B中国专利技术专利，公开了一种用于汽车的多相机目标匹配与跟踪方法及装置，方法使用相机坐标系与车辆坐标系之间的投影矩阵，将图像目标投影至车辆坐标系上，通过计算三维位置坐标之差以及外观相似度的方式，达到对多路视频帧中的目标进行匹配的目的。作为业界共识，单目图像缺少深度信息，且无法通过投影矩阵恢复全图深度信息用于计算世界坐标系下的三维坐标(x,y,z)，但若已知某个像素点对应的世界坐标z＝0，该像素点一般称为接地点，可通过投影矩阵计算该像素点在世界坐标系下的x、y值。在此方法中，车辆坐标系视为世界坐标系且位于平坦地面上，车辆坐标系下坐标计算的方式本质是假设目标框底边位于地平面上且地面为水平面，这样可以得到目标框底边接地点在车辆坐标系下的x、y值。但实际行驶过程中，通常情况下行驶路面为非标准水平面，且目标框底边不一定位于车辆行驶地面上，如交通指示牌位于天空、人行道高于车辆行驶路面等，使用此方法计算的坐标会存在较大误差。此方法为了准确度，使用了图像相似度作为进一步判断的依据，但当目标框存在相互遮挡时，使用图像相似度的方法不仅计算耗时，且无法准确区分遮挡的目标。
[0004]因此，上述方法的使用存在一定的局限性，车辆行驶过程更需一种高效、准确的适用于不同路面、不限制目标在图像中所处位置、可解决目标存在部分遮挡的多相机目标融合方法。

技术实现思路

[0005]本专利技术为解决上述现有技术的问题，提供一种车载多相机间目标融合方法、系统及存储介质，能够不限制车辆行驶条件的高效、准确的判断多相机间目标的唯一性，同时解决了遮挡目标的多相机间融合问题。
[0006]本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：
[0007]本专利技术第一方面提供了一种车载多相机间目标融合方法，包括以下步骤：
[0008]步骤1：获取车载多相机同一时刻拍摄的图像、每个相机的内参矩阵、相邻相机的外参矩阵、相邻相机间的基距，利用神经网络进行目标检测，获取每张图像上所有目标；
[0009]步骤2：选取每个相机确定非重叠目标框；
[0010]步骤3：将非重叠目标框内的区域均匀采样获得采样点集合，采样点集合根据极线
约束误差最小化准则重投影至相邻相机图像上，获得重投影矩形框；
[0011]步骤4：对当前相机的原始目标框、重投影矩形框、相邻相机目标框进行逻辑判断，根据判断结果进行目标融合处理；
[0012]步骤5：遍历所有相机，重复步骤2
‑
步骤4处理所有相机下的目标框。
[0013]进一步的，所述神经网络包括：卷积神经网络、transform网络。
[0014]进一步的，选取每个相机确定非重叠目标框，具体步骤为：
[0015]判断当前所选相机下的原始目标框间是否存在重叠，若存在重叠，获取每个目标框的非重叠区域作为非重叠目标框；若不存在重叠，则将目标框本身作为非重叠目标框。
[0016]进一步的，所述采样点集合根据极线约束误差最小化准则重投影至相邻相机图像上，获得重投影矩形框，具体步骤为：
[0017](a)将采样点进行畸变校正得到无畸变坐标Po；
[0018](b)使用每个相机的内参矩阵和相邻相机的外参矩阵获取右目基于中间目的基础矩阵F和采样点无畸变坐标Po，计算当采样点Po在相邻相机图像上对应的极线方程；
[0019]le＝FPo
[0020](c)根据极线方程le，设定距离阈值Td，根据点与直接距离计算公式，得到距离极线距离小于Td的图像上所有像素点Pt
i
(t
i
＝0,1,...,n)；
[0021](d)基于采样点Po和像素点Pt
i
，对所述像素点Pt
i
进行三维重建，获得采样点Po和像素点Pt
i
两个对应点在相邻相机坐标系下的三维坐标Wt(Xt,Yt,Zt)；
[0022](e)根据当前相机与相邻相机的外参矩阵R和T，将所述相邻相机坐标系下的三维坐标转为所述当前相机坐标系下三维坐标Wo；
[0023](f)根据当前相机的内参矩阵，将所述当前相机坐标系下采样点的三维坐标转为所述当前相机下的重投影像坐标，转换后的点记作Pr
i
(i＝0,1,...,n)；
[0024](g)计算采样点Po与转换后的点之间的距离，得到距离最小的重投影像素坐标在Pr
i
中的索引，确定最佳重投影点Pt；
[0025](h)根据所有采样点的最佳重投影点，确定最大外接矩形框，作为在当前相机无遮挡矩形框在相邻相机图像上的重投影矩形框。
[0026]进一步的，三维重建的表达式为：
[0027]Zt＝B*f/d
[0028]Xt＝Z*Pt
i
_x/f
[0029]Yt＝Z*Pt
i
_y/f
[0030]其中B为当前相机与相邻相机之间的基距，f为相机焦距，d为Po与Pt
i
点所成视差，Pt
i
_x为点Pt
i
的像素x坐标，Pt
i
_y为点Pt
i
的像素y坐标。
[0031]进一步的，三维坐标转换公式为：
[0032]Wo＝RWt+T
[0033]Wo表示当前相机坐标系下三维坐标。
[0034]进一步的，步骤4所述对当前相机的原始目标框、重投影矩形框、相邻相机目标框进行逻辑判断，根据判断结果进行目标融合处理，具体为：
[0035]计算重投影矩形框与相邻相机目标框的交并比，设置交并比的阈值为Tiou；
[0036]若相邻相机目标框与重投影矩形框交并比大于阈值Tiou，则判定相邻相机目标框
与重投影框对应的当前相机原始目标框为一个目标，则进行目标融合；
[0037]若相邻相机目标框与重投影矩形框交并比小于或等于阈值Tiou，则相邻相机目标框与重投影框对应的当前相机原始目标框不是同一个目标，则不进行目标融合。
[0038]本专利技术第二方面提供了一种车载多相机间目标融合系统，该系统包括：存储器、处理器，所述存储器中包括一种车载多相机间目标融合方法程序，所述一种车载多相机间目标融合方法程序被所述处理器执行时实现所述的一种车载多相机间目标融合方法的步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载多相机间目标融合方法，其特征在于，包括以下步骤：步骤1：获取车载多相机同一时刻拍摄的图像、每个相机的内参矩阵、相邻相机的外参矩阵、相邻相机间的基距，利用神经网络进行目标检测，获取每张图像上所有目标；步骤2：选取每个相机确定非重叠目标框；步骤3：将所述非重叠目标框内的区域均匀采样获得采样点集合，所述采样点集合根据极线约束误差最小化准则重投影至相邻相机图像上，获得重投影矩形框；步骤4：对当前相机的原始目标框、重投影矩形框、相邻相机目标框进行逻辑判断，根据判断结果进行目标融合处理；步骤5：遍历所有相机，重复步骤2
‑
步骤4处理所有相机下的目标框。2.根据权利要求1所述的一种车载多相机间目标融合方法，其特征在于，所述神经网络包括：卷积神经网络、transform网络。3.根据权利要求1所述的一种车载多相机间目标融合方法，其特征在于，选取每个相机确定非重叠目标框，具体步骤为：判断当前所选相机下的原始目标框间是否存在重叠，若存在重叠，获取每个目标框的非重叠区域作为非重叠目标框；若不存在重叠，则将目标框本身作为非重叠目标框。4.根据权利要求1所述的一种车载多相机间目标融合方法，其特征在于，所述采样点集合根据极线约束误差最小化准则重投影至相邻相机图像上，获得重投影矩形框，具体步骤为：(a)将采样点进行畸变校正得到无畸变坐标Po；(b)使用每个相机的内参矩阵和相邻相机的外参矩阵获取右目基于中间目的基础矩阵F和采样点无畸变坐标Po，计算当采样点Po在相邻相机图像上对应的极线方程；le＝FPo(c)根据极线方程le，设定距离阈值Td，根据点与直接距离计算公式，得到距离极线距离小于Td的图像上所有像素点Pt
i
(t
i
＝0,1,...,n)；(d)基于采样点Po和像素点Pt
i
，对所述像素点Pt
i
进行三维重建，获得采样点Po和像素点Pt
i
两个对应点在相邻相机坐标系下的三维坐标Wt(Xt,Yt,Zt)；(e)根据当前相机与相邻相机的外参矩阵R和T，将所述相邻相机坐标系下的三维坐标转为所述当前相机坐标系下三维坐标Wo；(f)根据当前相机的内参矩阵，将所述当前相机坐标系下采样点的三维坐标转为所述当前相机下的重投影像坐标，转换后的点记作Pr
i
(i＝0,1,...,n)；(g)计算采样点Po与转换后的点之间的距离，得到距离最小的重投影像素坐标在Pr
i
中的索引，确定最佳重投影点Pt；(h)根据所有采样点的最佳重投影点，确定最大外接矩形框，作为在当前相机无遮挡矩形框在相邻相机图像上的重投影矩形框。5.根据权利要求4所述的一种车载多相机间目标融合方法，其特...

【专利技术属性】
技术研发人员：柴志文，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：