机动车辆摄像头系统的在线标定技术方案

本发明专利技术涉及用于标定机动车辆(1)的摄像头系统(7)的方法。至少一个摄像头(8‑11)分别相继地从机动车辆(1)的环境(2)产生摄像头图像(21‑28)。计算装置(12)通过投影(P)从虚拟视角从所述摄像头图像(21‑28)分别产生该环境(2)的虚拟视图(14)。在行进时，对每个摄像头(8‑11)，计算装置(12)经过至少一次标定循环。基于投影(P)的当前投影参数(30)，在此，摄像头(9)的摄像头图像(23、24)被变换。运动矢量从其确定。对于运动矢量的至少一个几何特征，参考值被设定。从运动矢量的所述至少一个几何特征和各相应参考值之间的差异，误差值被确定。取决于误差值，新的投影参数被确定(30)。

【技术实现步骤摘要】
【国外来华专利技术】机动车辆摄像头系统的在线标定
本专利技术涉及用于机动车辆的摄像头系统和用于标定该摄像头系统的方法。摄像头系统具有至少一个摄像头，其由来自机动车辆的环境的摄像头图像、由此视频图像产生图像序列。摄像头系统的计算装置从预确定虚拟视角(例如，该环境的平面视图)从所述至少一个摄像头的摄像头图像分别产生该环境的虚拟视图。本专利技术提供一种车辆视频系统的在线标定方法，其基于鱼眼上执行的运动估计和在车辆移动时一个或多个摄像头捕获的地表面的透视矫正图像帧。该方法可估计每个摄像头相对于车辆运动方向和地平面的空间取向(俯仰-侧滑-横滚)。其还可估计每个摄像头相对于地平面的高度。另外，其可提供这些参数的改进，以进一步优化视频系统产生的虚拟平面视图的拼接质量。
技术介绍
为了产生虚拟视图，每个摄像头图像通过变换或投影而变换。该投影必须考虑每个摄像头的空间取向或空间方向，由此相应摄像头对环境的实际视角。摄像头的空间取向例如通过其观察角度、偏航角度和/或横滚角度。每个摄像头的空间取向决定投影的投影参数，通过其，摄像头图像由实际视角变换为虚拟视角。这些投影参数必须通过标定适应于每个摄像头的实际空间取向。用于标定机动车辆的摄像头系统的方法由WO2012/139636A1已知。在此，在虚拟视图的多个变换摄像头图像的序列中，在变换摄像头图像中确定的环境的至少两个特征的运动轨迹被确定。运动轨迹导致与平行四边形相对的几何图形。通过该方法，摄像头的不正确调整的俯仰、侧滑、横滚角度(相对于运动方向和地平面)可被补偿。
技术实现思路
本专利技术基于执行机动车辆系统中的每个摄像头相对于车辆纵向轴线和地面平面的空间取向和Z位置(高度)的标定的目的。该目的通过独立权利要求的主题解决。本专利技术的有利改进通过从属权利要求的特征显现。根据本专利技术，提供了一种用于标定机动车辆的摄像头系统的方法。在此，以下摄像头系统作为基础。摄像头系统的至少一个摄像头分别相继地从机动车辆环境产生摄像头图像。摄像头系统的计算装置通过投影从预确定虚拟视角从所述摄像头图像分别产生该环境的虚拟视图。特别地，虚拟视角是环境的平面视图，由此是鸟瞰视图。由此为每个摄像头形成的被变换的摄像头图像优选地构成或组合至总视图，特别是全景视图。特别地对于平面视图，导致对完全包围机动车辆的机动车辆环境的鸟瞰视图。虚拟视图例如可显示在显示装置上，例如屏幕上，作为显示器图像。由此，可提供停车辅助。根据本专利技术的方法包括以下步骤。计算装置识别机动车辆沿预设定运动方向的运动。特别地，识别直的车辆运动，由此直着向前的行进。通过沿运动方向的被识别行进，对每个摄像头，计算装置分别经过至少一次标定循环。在每个标定循环中，计算装置执行以下步骤。基于投影的当前投影参数，相应的摄像头的两个摄像头图像被变换。每个被变换摄像头图像由此代表来自预确定虚拟视角的环境。由于机动车辆执行运动，这两个摄像头图像不同之处在于，这两个变换的摄像头图像的第一个的图像特征移动一距离，这取决于在第二变换摄像头图像中的运动。但是，只有在真实空间中的特征一致地移动相同量，这是由于线性运动逼近。由于还没标定的系统以及虚拟视图(例如，平面视图)的透视误差，该移动对于跨过图像测量的图像特征是不一致的，即它们的运动矢量是不相同的。通过将第一被变换的摄像头图像的每一个图像特征连接至第二被变换的摄像头图像中的相同图像特征，分别导致运动矢量。基于被变换的摄像头图像，由此，多个运动矢量在虚拟视图中确定。在此，每个运动矢量特别地描述运动的长度和/或运动的方向以及未标定系统的虚拟平面视图的透视误差。对于直运动，需要沿侧向方向合理间隔开的至少两个运动矢量，从而为每个摄像头计算俯仰-偏航-横滚角。实践中，更多的运动矢量需要能够检测和否定异常值。通过本专利技术的方法，可从相同帧获得这些运动矢量。还将可行的是，它们在不同帧中获得，在该情况下，每帧中需要至少一个运动矢量。对于运动矢量的至少一个几何特征，特别是长度和/或方向，各参考值取决于运动方向被设定。换句话说，基于运动方向，确定运动矢量应具有哪个几何特征。由此，名义运动矢量或参考矢量可例如取决于运动方向被确定。例如，参考矢量可具有名义长度和/或名义方向。从运动矢量的所述至少一个几何特征和各相应参考值之间的差异，例如，用于长度和/或方向的参考值确定误差值。换句话说，运动矢量与参考矢量的偏差被确定。取决于误差值，新的投影参数被由当前投影参数确定。所提到的误差值可例如形成为绝对误差的和、均方误差的和或类似方法。例如，可为每个几何特征形成运动矢量的实际值和参考值的差。通过本专利技术，产生优势：不仅横滚角，而且例如不正确调整的摄像头俯仰角和/或侧滑角可基于虚拟图中的运动矢量通过改变投影参数、由此通过确定新的投影参数而被补偿。横滚角是根据所利用的旋转机制摄像头绕其光轴或车辆横向轴线的旋转位置。偏航角描述摄像头绕车辆垂直轴线的旋转位置。俯仰角描述摄像头绕车辆横向轴线的旋转位置。通过车辆垂直轴线(Z轴线)、车辆纵向轴线(X轴线)和车辆横向轴线(Y轴线)，机动车辆技术背景下已知的通常指定将被理解。在汽车中典型的是具有作为纵向轴线的X和作为横向轴线的Y——该传统在此使用。所提的投影可例如是透视变换，如本领域所已知的。计算装置可例如通过控制器或多个控制的组件或通过DSP(数字信号处理器)或机动车辆的中央处理器装置提供。每个运动矢量可基于相应图像特征在两个被变换摄像头图像的图像对中确定。为了检测和将这样的图像特征彼此关联，例如，可提供SIFT算法(SIFT-尺度不变特征变换)或SURF算法(SURF-加速鲁棒特征)。这样的特征检测和匹配提供来自第一被变换摄像头图像的每一个图像特征和来自第二被变换摄像头图像的图像特征的特征对，其中，图像特征视觉地(optically)彼此对应。优选地，代替像SIFT或SURF这样的特征检测器，可执行两个感兴趣帧之间的预限定数量图像块(在网格上的布置)的直接相关，且为超过阈值而否定偏离在运动场中的局部趋势的运动矢量。这是与利用特征检测器且等待图像中出现的可在下一帧中匹配的良好特征根本不同的方式。该追踪方法原则上非常类似于用于视频压缩的运动估计。这不意味着，不可以使用高级的特征检测器，诸如SIFT或SURF(以及许多其他的)来匹配特征，但这可以具有过度杀伤力，因为虚拟平面视图自动地为匹配的块提供所需的移位和尺度不变性(具有一定容差)。但是，为了增强追踪性能，可在两个虚拟平面视图上在匹配它们之前运行带通滤波器，诸如高斯差分或高斯拉普拉斯算子。这提供了弱光和/或不良天气条件中的明显改进。在优选实施例中，所述至少一个摄像头的至少一个空间取向——特别是俯仰角(俯仰)和/或偏航角(偏航)和/或横滚角(横滚)——通过投影参数描述，特别是新的投影参数。除此之外或与之替换地，摄像头在机动车辆中的安装高度通过投影参数描述，特别是新的投影参数。通过空间取向和/或安装高度标定为或改变为新的投影参数，图像特征的图像运动在虚拟视图中产生，其对应于机动车辆的运动方向。特别地，通过机动车辆的直着向前的行进，在虚拟视图中的像素直着移动，且特别地边缘平行于显示器图像的边缘，其没有横向或对角线地跨过显示装置。在一实施例中，所述至少一个摄像头捕获行进地面作为环境，运动矢量基于行进本文档来自技高网...

【技术保护点】
一种用于标定机动车辆(1)的摄像头系统(7)的方法，其中，所述摄像头系统(7)的至少一个摄像头(8‑11)分别相继地从所述机动车辆(1)环境(2)产生摄像头图像(21‑28)，且所述摄像头系统(7)的计算装置(12)通过投影(P)从预确定虚拟视角从所述摄像头图像(21‑28)分别产生该环境(2)的虚拟视图(14)，该虚拟视角特别是该环境(2)的平面视图，其特征在于以下步骤：a)所述计算装置(12)识别所述机动车辆(1)沿预确定运动方向(6)的运动，特别是直的车辆运动，b)通过沿所述运动方向(6)的被识别的行进，对每个摄像头(8‑11)，所述计算装置(12)经过至少一次标定循环，其中，所述计算装置(12)执行以下步骤：‑所述摄像头(9)的摄像头图像(23、24)基于所述投影(P)的当前投影参数(30)变换，‑基于被变换的摄像头图像(23’、24’)在所述虚拟视图(14)中确定运动矢量(33)，‑对于所述运动矢量(33)的至少一个几何特征，特别是长度和/或方向，各参考值取决于所述运动方向(6)被设定，‑从运动矢量(33)的所述至少一个几何特征和所述各相应参考值之间的差异确定误差值，和‑新的投影参数取决于所述误差值由所述当前的投影参数(30)确定。...

【技术特征摘要】
【国外来华专利技术】2014.12.04 DE 102014117888.21.一种用于标定机动车辆(1)的摄像头系统(7)的方法，其中，所述摄像头系统(7)的至少一个摄像头(8-11)分别相继地从所述机动车辆(1)环境(2)产生摄像头图像(21-28)，且所述摄像头系统(7)的计算装置(12)通过投影(P)从预确定虚拟视角从所述摄像头图像(21-28)分别产生该环境(2)的虚拟视图(14)，该虚拟视角特别是该环境(2)的平面视图，其特征在于以下步骤：a)所述计算装置(12)识别所述机动车辆(1)沿预确定运动方向(6)的运动，特别是直的车辆运动，b)通过沿所述运动方向(6)的被识别的行进，对每个摄像头(8-11)，所述计算装置(12)经过至少一次标定循环，其中，所述计算装置(12)执行以下步骤：-所述摄像头(9)的摄像头图像(23、24)基于所述投影(P)的当前投影参数(30)变换，-基于被变换的摄像头图像(23’、24’)在所述虚拟视图(14)中确定运动矢量(33)，-对于所述运动矢量(33)的至少一个几何特征，特别是长度和/或方向，各参考值取决于所述运动方向(6)被设定，-从运动矢量(33)的所述至少一个几何特征和所述各相应参考值之间的差异确定误差值，和-新的投影参数取决于所述误差值由所述当前的投影参数(30)确定。2.根据权利要求1所述的方法，其特征在于，所述至少一个摄像头(8-11)的至少一个空间取向——特别是俯仰角(俯仰)和/或偏航角(偏航)和/或横滚角(横滚)，和/或所述摄像头(8-11)在所述机动车辆(1)上的安装高度——通过所述投影参数(30)描述。3.根据前述权利要求中的任一项所述的方法，其特征在于，所述至少一个摄像头(8-11)捕获行进地面(3)作为所述环境(2)，所述运动矢量(33)基于所述行进地面(3)的纹路被确定。4.根据前述权利要求中的任一项所述的方法，其特征在于，多个运动矢量(33)通过将每个被变换的摄像头图像(23’、24’)分为邻接彼此或重叠的图像块(32)的阵列(31)且为每个图像块(32)确定运动矢量(33)而被确定。5.根据前述权利要求中的任一项所述的方法，其特征在于，在每个标定循环中，通过取决于所述误差值确定中间投影参数，并且基于中间投影参数通过借助所述投影(P)重新变换而使仅所述虚拟视图(14)中的运动矢量(33)重新取向，所述误差值被迭代减小，直到所述误差值满足预确定的优化准则。6.根据前述权利要求中的任一项所述的方法，其特征在于，直着向前的行进识别为沿所述运动方向(6)的行进，作为所述几何特征，检查所述运动矢量(33)是否彼此平行和/或平行于所述虚拟视图(14)的图像边缘和/或同样长。7.根据权利要求5所述的方法，其特征在于，对于与车辆横向轴线平行取向的每个运动矢量(33)的y分量，y参考值零被设定，且对于与车辆纵向轴线平行取向的x分量，所述运动矢量(33)的所有x分量的平均值设定为x参考值，均方差的和形成为所述误差值。8.根据前述权利要求中的任一项所述的方法，其特征在于，为了从各摄像头(9)的图像序列选择两个摄像头图像(23、24)，在所述两个摄像头图像的第一个和所述两个摄像头图像的第二个之间跳过至少一个摄像头图像。9.根据前述权利要求中的任一项所述的方法，其特征在于，至少一个运动矢量——其中对所述误差值的贡献大于预确定的最大值和/或其违反关于其余运动矢量的近似准则——作为异常值(35)被从所述运动矢量(33)删除。10.根据...

【专利技术属性】
技术研发人员：P埃尔米利奥斯，
申请(专利权)人：康诺特电子有限公司，
类型：发明
国别省市：爱尔兰,IE