一种基于可变形配准的车载环视拼接方法及系统技术方案

本发明专利技术涉及一种基于可变形配准的车载环视拼接方法及系统，其方法包括：S1：由四路鱼眼车载相机获取非平面视图，对非平面视图进行校正，得到平面视图；S2：对平面视图通过最小视差容限深度进行优化，得到优化后的平面视图，并使用ORB算法得到全局对齐变换矩阵H；S3：将优化后的平面视图用网格表示，利用H对优化后的平面视图拟合的对应网格顶点进行重新定位，以对齐匹配点，并定义约束能量函数以抑制网格的变形，得到网格配准后的平面视图；S4：对网格配准后的平面视图采用线性加权方法和增益补偿方法进行融合，得到拼接的四路鱼眼车载环视图。本发明专利技术提供的方法，不依赖相机参数即可实现四路鱼眼相机全景环视拼接，利用图像融合方法有效优化伪影。法有效优化伪影。法有效优化伪影。

【技术实现步骤摘要】
一种基于可变形配准的车载环视拼接方法及系统


[0001]本专利技术涉及计算机视觉与汽车自动驾驶领域，具体涉及一种基于可变形配准的车载环视拼接方法及系统。

技术介绍

[0002]鸟瞰图形式的车载环视全景图能提供车辆周围环境的全向视角感知内容，是自动驾驶中的一项关键且具有挑战性工作。相较于高成本的激光雷达解决方案，使用廉价的鱼眼相机在成本上具有极大的竞争优势，但拼接鱼眼相机的非平面视图时可能出现的变形和边界不规则以及计算花费等问题，相应地也对环视拼接算法的性能有更高的要求。
[0003]利用安装于车辆四个正交观察方向并各自具有大于180
°
视场(field
‑
of
‑
view)的鱼眼相机，同时采集具有大比例重叠区域的图像，这些图像共同覆盖了周围环境的整个360
°
观看范围，利用环视拼接算法便可以将这些图像拼接成一个鸟瞰图形式的全景图像。
[0004]目前的多数环视拼接方法使用基于几何变换的刚性图像对齐，而这需要四路鱼眼相机的诸如镜头光圈、焦距、装配等硬件参数信息，但这些信息通常是相机供应商私有或者需要额外的测量程序。这些依赖于特定相机相关参数和有限相机选择以及封闭商用软件的环视拼接方法限制了通用的车载全景程序开发。因此，如何不依赖相机参数实现四路鱼眼图像环视拼接，同时减轻不准确的像素对齐和相机光度差异造成的不一致伪影，成为一个亟待解决的问题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种基于可变形配准的车载环视拼接方法及系统。
[0006]本专利技术技术解决方案为：一种基于可变形配准的车载环视拼接方法，包括：
[0007]步骤S1：由四路鱼眼车载相机获取非平面视图，对所述非平面视图进行校正，得到平面视图；
[0008]步骤S2：对所述平面视图通过最小视差容限深度进行优化，得到优化后的平面视图，并使用ORB算法得到全局对齐变换矩阵H；
[0009]步骤S3：将所述优化后的平面视图用网格表示，利用H对所述优化后的平面视图拟合的对应网格顶点进行重新定位，以对齐所述匹配点，并通过定义约束能量函数以抑制所述网格的变形，其中所述约束能量函数包括：特征对齐的约束能量函数、局部结构保持的约束能量函数和全局相似度的约束能量函数；得到网格配准后的平面视图；
[0010]步骤S4：对所述网格配准后的平面视图采用线性加权方法以及增益补偿方法进行融合，得到拼接的四路鱼眼车载环视图。
[0011]本专利技术与现有技术相比，具有以下优点：
[0012]1、现有的鱼眼相机拼接方法需要测量四路鱼眼相机的一系列硬件参数，如镜头光圈，焦距，装配误差等。但通常这些参数都是相机供应商私有或者需要使用额外的封闭商业
软件进行测量校准，这会给在更丰富场景推广鱼眼相机全景环视拼接带来诸如有限相机型号等方面的限制。而本专利技术公开了一种基于可变形配准的车载环视拼接方法，可以在不依赖相机参数的情况下，实现四路鱼眼相机全景环视拼接，更适合开发通用场景下的应用程序，给该技术带来更好的推广前景。
[0013]2、由于四路相机安装位置不同，各自光学中心没有对齐从而造成4路图像的视差，导致合并区域出现伪影，而且，四路图像被独立安装处理，照明条件的不同导致四路图像的光度特性往往不一致；最后相邻相机(比如前和左)拍摄图像重叠区域的对应点可能存在不同程度的鱼眼失真，本专利技术利用图像融合方法可以有效优化伪影，消除拼接结果中的视觉不一致性，从而改善视觉效果。
附图说明
[0014]图1为本专利技术实施例中一种基于可变形配准的车载环视拼接方法的流程图；
[0015]图2A为本专利技术实施例中原始鱼眼图像中点P的位置的示意图；
[0016]图2B为本专利技术实施例中将点P映射到3D单位球上的S的示意图；
[0017]图2C为本专利技术实施例中将S投影到二维正交坐标系O的示意图；
[0018]图3A为本专利技术实施例中鱼眼相机最小视差容限深度d的示意图；
[0019]图3B为本专利技术实施例中鱼眼相机最小可见深度d1的示意图；
[0020]图4A为本专利技术实施例中由前、左、后、右鱼眼相机拍摄图像示意图；
[0021]图4B为本专利技术实施例中拼接后的图像示意图；
[0022]图5为本专利技术实施例中一种基于可变形配准的车载环视拼接系统的结构框图。
具体实施方式
[0023]本专利技术提供了一种基于可变形配准的车载环视拼接方法，不依赖相机参数即可实现四路鱼眼相机全景环视拼接，并利用图像融合方法可以有效优化伪影，消除拼接结果中的视觉不一致性，从而改善视觉效果。
[0024]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0025]实施例一
[0026]如图1所示，本专利技术实施例提供的一种基于可变形配准的车载环视拼接方法，包括下述步骤：
[0027]步骤S1：由四路鱼眼车载相机获取非平面视图，对非平面视图进行校正，得到平面视图；
[0028]步骤S2：对平面视图通过最小视差容限深度进行优化，得到优化后的平面视图，并使用ORB算法得到全局对齐变换矩阵H；
[0029]步骤S3：将优化后的平面视图用网格表示，利用H对优化后的平面视图拟合的对应网格顶点进行重新定位，以对齐匹配点，并通过定义约束能量函数以抑制网格的变形，其中约束能量函数包括：特征对齐的约束能量函数、局部结构保持的约束能量函数和全局相似度的约束能量函数；得到网格配准后的平面视图；
[0030]步骤S4：对网格配准后的平面视图采用线性加权方法以及增益补偿方法进行融
合，得到拼接的四路鱼眼车载环视图。
[0031]根据鱼眼相机的光学成像原理，最初拍摄得到的鱼眼图像是非平面视图，且图像四周具有巨大的畸变，所以必须在图像拼接之前进行鱼眼图像校正，从而消除畸变。首先需要确定鱼眼图像圆形内容区域的中心，该中心通常与图像焦点位置重合。可以按圆中心为焦点位置计算最小外接圆来提取圆形内容区域，然后用一个拟合正方形包围来以裁剪原始鱼眼图像。
[0032]在一个实施例中，上述步骤S1：由四路鱼眼车载相机获取非平面视图，对非平面视图进行校正，得到平面视图，具体包括：
[0033]步骤S11：将非平面视图裁剪至边缘长度为L，非平面视图每个图像点P(x，y)作为球面坐标映射到3D单位球面上；其中，θ是方位角；是仰角；
[0034]图2A所示为原始鱼眼图像中点P的位置；
[0035]图2B所示，将点P映射到3D单位球上的S；
[0036]但是，实际中由于设计或制造偏差，鱼眼镜头镜头的中心线不可避免地与相机水平面具有俯仰角ρ≠0；鱼眼图像校正可能受到忽略此俯仰角ρ的影响并导致沿图像水平中线的严重失真，因此需要计算S的笛卡尔坐标，并将其投影到2D正交坐标系；
[0037]步骤S12：计算S的笛卡尔坐标S
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形配准的车载环视拼接方法，其特征在于，包括：步骤S1：由四路鱼眼车载相机获取非平面视图，对所述非平面视图进行校正，得到平面视图；步骤S2：对所述平面视图通过最小视差容限深度进行优化，得到优化后的平面视图，并使用ORB算法得到全局对齐变换矩阵H；步骤S3：将所述优化后的平面视图用网格表示，利用H对所述优化后的平面视图拟合的对应网格顶点进行重新定位，以对齐所述匹配点，并通过定义约束能量函数以抑制所述网格的变形，其中所述约束能量函数包括：特征对齐的约束能量函数、局部结构保持的约束能量函数和全局相似度的约束能量函数；得到网格配准后的平面视图；步骤S4：对所述网格配准后的平面视图采用线性加权方法以及增益补偿方法进行融合，得到拼接的四路鱼眼车载环视图。2.根据权利要求1所述的基于可变形配准的车载环视拼接方法，其特征在于，所述步骤S1：由四路鱼眼车载相机获取非平面视图，对所述非平面视图进行校正，得到平面视图，具体包括：步骤S11：将所述非平面视图裁剪至边缘长度为L，所述非平面视图每个图像点P(x，y)作为球面坐标映射到3D单位球面上；其中，θ是方位角；是仰角；步骤S12：计算S的笛卡尔坐标S
′
(x
′
，y
′
，z
′
)，如公式(1)～(3)所示：)，如公式(1)～(3)所示：)，如公式(1)～(3)所示：其中，ρ为鱼眼镜头的中心线与相机水平面的俯仰角，可以自行校准或从相机供应商处获取；步骤S13：使用球面投影O(u，v)将点S
′
投影到2D正交坐标系，如公式(4)～(5)所示：投影到2D正交坐标系，如公式(4)～(5)所示：其中，γ表示每个相机镜头的视场，β＝tan
‑1(z
′
/x
′
)，L为非平面视图的长度。3.根据权利要求2所述的基于可变形配准的车载环视拼接方法，其特征在于，所述步骤S2：对所述平面视图通过最小视差容限深度进行优化，得到优化后的平面视图，并使用ORB算法得到全局对齐变换矩阵H，具体包括：步骤S21：对所述平面视图通过增加最小视差容限深度d进行优化，得到优化后的平面视图，如公式(6)所示：其中，r为相机透镜半径，γ表示每个鱼眼相机镜头的视场，v＝(γ
‑
π)/2；O1、O2分别表示透镜顶点和物体位置点，F表示透镜最远视点位，d1表示相机的最小可见深度；步骤S22：令I
i
和I
j
表示两个相邻的所述优化后的平面视图；使用ORB算法计算I
i
和I
j
间的匹配点，然后通过计算得到全局对齐变换矩阵
4.根据权利要求3所述的基于可变形配准的车载环视拼接方法，其特征在于，所述步骤S3：将所述优化后的平面视图用网格表示，利用H对所述优化后的平面视图拟合的对应网格顶点进行重新定位，以对齐所述匹配点，并通过定义约束能量函数以抑制所述网格的变形，其中所述约束能量函数包括：特征对齐的约束能量函数、局部结构保持的约束能量函数和全局相似度的约束能量函数；得到网格配准后的平面视图，具体包括：步骤S31：将所述优化后的平面视图用网格表示，通过网格变形，利用H对I
i
和I
j
中重叠区域的对应网格顶点进行重新定位，从而实现网格对齐；定义约束能量函数以抑制网格变形，定义特征对齐的约束能量函数，如公式(7)所示：其中，M
ij
由图像I
i
和图像I
j
之间的所有k对匹配顶点组成；表示与图像I
i
有重叠区域的所有相邻图像；α
ik
和α
jk
表示加权因子，由网格变形后的网格顶点w
ik
或w
jk
在目标图像I
i...

【专利技术属性】
技术研发人员：凌强，熊佳兵，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：