图像和/或图像点的矫正方法，基于摄像装置的系统和车辆制造方法及图纸

本发明专利技术涉及用于对由带挡风玻璃(6)的车辆(14)的基于摄像装置的系统(1)至少一个摄像装置(2)获取的图像和/或图像点进行矫正的方法。首先，用摄像装置(2)获取一场景的原始图像。从原始图像中选择原始图像数据，其中，原始图像数据是完整的原始图像、原始图像的一部分或原始图像的多个原始图像点。然后，基于原始图像数据和摄像装置参数计算中间图像数据，其中，中间图像数据包括中间图像或多个中间图像点，其中，中间图像数据类似于针孔摄像装置(8)通过挡风玻璃(6)获取的相关场景的图像或图像点。最后，计算相关场景空间中的一点集，其中，所述点集与中间图像像素或中间图像点相对应。所述计算是使用基于挡风玻璃参数、由挡风玻璃(6)造成的光路(7)的平行偏移(11)来进行的。此外，本发明专利技术还涉及一种用于车辆(14)的基于摄像装置的系统(1)以及一种车辆(14)。装置的系统(1)以及一种车辆(14)。装置的系统(1)以及一种车辆(14)。

【技术实现步骤摘要】
【国外来华专利技术】图像和/或图像点的矫正方法，基于摄像装置的系统和车辆


[0001]本专利技术涉及一种具有挡风玻璃的车辆的基于摄像装置的系统的至少一个摄像装置获取的图像和/或图像点的矫正方法，涉及一种用于车辆的基于摄像装置的系统和车辆。

技术介绍

[0002]例如高级驾驶员辅助系统(ADAS)中所用的计算机视觉可将空间中的点分配给由摄像装置获取的图像像素或图像区域。对高级驾驶员辅助系统(ADAS)而言，准确估计摄像装置的投影对准确估计与车辆前方对象的距离至关重要。反过来，准确估计与车辆前方对象的距离对例如自动制动或自动巡航控制等基于摄像装置的交通安全应用至关重要。
[0003]为实现车辆中高级驾驶员辅助系统(ADAS)的目的，摄像装置通常安装在挡风玻璃后的镜罩中。显然，这解决了摄像装置镜头被脏污或雨水遮掩的问题。可惜，摄像装置的特殊位置将挡风玻璃的光学特性带入整个光学系统的投影几何中。挡风玻璃的影响会带来与摄像装置光学系统内同轴设置的镜头相比严重不同的光路行为。因此，与前面没挡风玻璃的同一摄像装置相比，挡风玻璃后的摄像装置光学系统可产生明显的图像偏差。上述这类光学畸变被称为摄像装置图像的挡风玻璃畸变。
[0004]包括以任何类型出现的失真在内的光学系统投影特性的估计问题被称为摄像装置校准。典型情况下，后期过程具有参数化特性。也就是说，有一由参数向量调整的函数系列，即一摄像装置模型，它为每个固定的参数向量描述一物理摄像装置，即空间中的点如何被该特定摄像装置投射到图像上。上述向量被称为摄像装置参数。
[0005]摄像装置模型在高级驾驶员辅助系统(ADAS)中的应用通常解决的是投影的逆向问题。也就是说，给定图像中一像素位置的目标是，估计空间中对该特定像素位置成像的点集。然后，将摄像装置校准用作工具，消除光学器件的负面影响，从而用一个计算简单的模型描述光学系统。简单模型本质上是中央投影的一针孔摄像装置。进一步消除挡风玻璃的影响被称为图像矫正。尤其是对立体成像而言，矫正是有效估计场景密集距离图的一主要工具。立体矫正将两个不同摄像装置系统的图像修改为它们似乎源自两个光学上相同针孔摄像装置的平行系统。上述系统中，可在同一水平图像线上找到相应的对象点，这大幅度简化了对相应点的搜索，从而也简化了视差计算。
[0006]忽视挡风玻璃失真的影响，尤其在短距离范围内，会对车辆前方对象的距离估计产生严重的负面影响。因此，对挡风玻璃的失真进行建模和估计非常重要。
[0007]作为一示例，欧洲专利申请EP 3 293 701 A1包括一种方法，它用于对由带挡风玻璃车辆基于摄像装置系统至少一个摄像装置所获得的图像进行矫正。基于摄像装置的系统是通过在基于摄像装置系统的摄像装置视场中设置具有已知图案的一板块状图像目标进行校准的，由此摄像装置就可通过挡风玻璃获取板块的校准图像。因此，计算出由挡风玻璃导致的挡风玻璃失真。然后，用摄像装置获取图像，并使用所获取挡风玻璃的失真度计算空间投影到图像上某一位置的一点集。然而，这种方法计算工本很高，并将摄像装置和挡风玻璃视为一光学系统。因此，对摄像装置和挡风玻璃的每一种组合，都必须进行新的校准。

技术实现思路

[0008]本专利技术的一目的是，提供一种方法，用于对由带挡风玻璃车辆基于摄像装置系统的至少一个摄像装置获得的图像和/或图像点进行矫正，该方法在计算上迅捷，并对挡风玻璃和摄像装置的光学效果予以分离。本专利技术另一目的是，提供一种适用于执行所述方法的车辆的基于摄像装置的系统，以及具有挡风玻璃和基于摄像装置的系统的一类车辆。
[0009]该项任务通过所附独立权利要求的标的解决。从属权利要求和以下描述及附图提供了实施方式。
[0010]根据本专利技术的第一方面所述，提供一种用于矫正图像和/或图像点的方法。也就是说，所述方法既适用于矫正完整图像，也适用于矫正图像的一些图像点，例如涉及感兴趣对象的图像点、涉及图像中极有特征的对象的图像点或涉及例如其他车辆或行人等边界框的图像点。
[0011]这些图像或图像点是带挡风玻璃车辆基于摄像装置的系统中至少一个摄像装置获取的。如果基于摄像装置的系统包括一个以上的摄像装置，则所述摄像装置可获取例如立体信息。摄像装置设置在挡风玻璃后面，也就是说，挡风玻璃设置在摄像装置和车辆周围环境之间。由此，摄像装置受到保护，不受如雨水或脏污等周围环境影响。
[0012]作为所述方法的一第一步骤，用摄像装置获取一场景的原始图像。所述场景可以是道路、路标、建筑物、行人和/或其他车辆等交通场景。由于挡风玻璃设置在摄像装置前面，来自场景的光线首先被挡风玻璃偏转，然后由一物镜聚焦到图像传感器上。所述物镜可以是例如鱼眼镜头或直线广角镜头等一广角物镜。图像传感器可以是例如一互补金属氧化物半导体(CMOS)传感器或一电荷耦合器件(CCD)传感器。
[0013]然后，从原始图像中选择原始图像数据，其中，原始图像数据是完整的原始图像、原始图像的一部分或原始图像的多个原始图像点。原始图像的一部分可以是一特别感兴趣的区域，原始图像点可涉及感兴趣的对象、涉及图像中极有特征的对象或涉及例如其他车辆或行人等的边界框。
[0014]基于原始图像数据计算出中间图像数据。中间图像数据包括中间图像或多个中间图像点，它类似于由针孔摄像装置通过挡风玻璃获取的场景图像或图像点。换句话说，在中间图像中去除物镜影响，并由针孔摄像装置取代。此外，为此目的基于摄像装置参数，即基于表征物镜的参数计算中间图像数据。本领域专业人员已知所述计算的详情。通过在该步骤中消除物镜的影响，将摄像装置和挡风玻璃的光学影响彼此分离。因此，如果在一特定挡风玻璃后使用不同的摄像装置，只需提供新的摄像装置参数，如果在不同挡风玻璃后面安装具有已知摄像装置参数的摄像装置，只需评估不同挡风玻璃的影响。
[0015]作为所述方法的最后一个步骤，计算相关场景空间中的一系列点。所述场景空间中的点与中间图像的像素或中间图像的点相对应。也就是说，相关场景空间中的点是空间中的点，如果用针孔摄像装置通过挡风玻璃投影，就会产生中间图像的像素或中间图像点。为计算相关场景的空间点，使用由挡风玻璃导致的光路平移。也就是说，挡风玻璃的影响被建模为光路平移。这也完全适用于平面挡风玻璃，对在摄像装置区域只有轻微弯曲的挡风玻璃有极佳的近似值。上述计算以挡风玻璃参数为基础，计算速度很快。
[0016]因此，所述方法提供对由至少一个摄像装置获取的图像和/或图像点的矫正，所述矫正对挡风玻璃和摄像装置的影响进行分离，计算速度迅捷。
[0017]根据一实施方式所述，用摄像装置获取一场景的原始图像序列。所述序列尤其是场景的一图像时间序列。在所述序列中，场景随场景中对象的移动和/或车辆以及摄像装置的移动而改变。随着相关场景的变化，对原始图像点和/或中间图像点进行追踪。空间中的点集也随原始图像序列的变化而变化，并与所追踪的原始图像点和/或中间图像点相对应。通过追踪原始图像点和/或中间图像点，可确定与所述图像点对应的空间中点的距离。
[0018]根据一实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.用于对由带挡风玻璃(6)的车辆(14)的基于摄像装置的系统(1)的至少一个摄像装置(2)获取的图像和/或图像点进行校正的方法，其中，所述方法包括以下步骤用摄像装置(2)获取一场景的原始图像；从原始图像中选择原始图像数据，其中，原始图像数据是完整的原始图像、原始图像的一部分或原始图像的多个原始图像点；基于原始图像数据和摄像装置参数计算中间图像数据，其中，中间图像数据包括中间图像或多个中间图像点，其中，中间图像数据类似于针孔摄像装置(8)通过挡风玻璃(6)获取的相关场景图像或场景图像点；以及基于挡风玻璃(6)的参数，使用由挡风玻璃(6)导致的光路(7)的平行偏移(11)，计算场景空间中对应于中间图像像素或中间图像点的一点集。2.根据权利要求1所述的方法，其中，用摄像装置(2)获取一场景的一原始图像序列；对原始图像点和/或中间图像点进行追踪，并且将空间中的点集与所追踪的原始图像点或中间图像点相对应。3.根据权利要求1或2所述的方法，其中，挡风玻璃参数包括挡风玻璃(6)在摄像装置(2)附近区域内的法向量n、挡风玻璃(6)的厚度t和/或挡风玻璃(6)的折射系数ν。4.根据权利要求3所述的方法，其中，平行偏移(11)等于斜面偏移σ与法向量n的乘积。5.根据权利要求4所述的方法，其中，斜面偏移σ被近似为一常数，尤其是斜面偏移σ等于t(ν
‑
1)/ν。6.根据权利要求4所述的方法，其中，斜面偏移σ被计算为是四次方程g(σ)＝a4σ4+a3σ3+a2σ2+a1σ+a0的根σ0，其中，0≤σ0≤t，a4＝ν2，a3＝
–
2ν2(w+t)，a2＝(v2–
1)(u2+t2)+ν2w(w+4t)，a1＝
–
2t(ν2(w2+u2)+tw(ν2–
1)
–
u2)，a0＝(ν2–
1)t2(w2+u2)，w＝n
·
s，u＝√(s
·
s
–
w2)以及s是相关场景空间中一个点的空间点。7.根据权利要求4所述的方法，其中，斜面偏移σ被计算为不动点方程σ＝φ(σ)的不动点，其中，φ(σ)＝t(1

【专利技术属性】
技术研发人员：A，
申请(专利权)人：大陆智行德国有限公司，
类型：发明
国别省市：