标定车辆视觉系统的方法和车辆视觉系统技术方案

一种车辆视觉系统包括分别捕获具有非线性畸变的图像的多个图像传感器（11至14）。为了标定所述车辆视觉系统，使用图像传感器(11)捕获多个(22)物体的图像，以及使用额外图像传感器(13)捕获所述多个(22)物体的额外图像。所述图像传感器(11)和所述额外图像传感器(13)具有重叠的视场(15、17)。所述图像传感器(11)相对于所述多个(22)物体的位置和定向基于所述捕获的图像确定。所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向基于所述捕获的额外图像确定。所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向基于所述确定的结果而建立。

【技术实现步骤摘要】

本专利技术涉及标定车辆视觉系统的方法和车辆视觉系统。本专利技术尤其涉及可建立组合用不同摄像机捕获的图像所需的摄像机系统参数的这种方法和视觉系统。
技术介绍
在车辆系统中整合图像传感器已得到越来越广泛的应用。这种图像传感器可用作驾驶员辅助系统(其中图像传感器捕获车辆环境的图像)的组件。所捕获的图像可经处理来执行物体识别和/或可能可在处理之后显示给用户。可执行自动警告和辅助功能来警告驾驶员潜在的危险情况，或通过致动刹车或类似物来主动控制车辆操作。图像传感器也可以用作帮助驾驶员停泊车辆或其它关键操作的后视或侧视摄像机。随着在车辆应用中使用图像传感器变得越来越普遍，可提供多个图像传感器，以便捕获车辆环境的图像，所述图像组合起来提供关于环绕车辆的全360°角度范围的环境的信息。为避免数量过多的图像传感器，希望使用具有较大横向开口角的视场的图像传感器。当由不同图像传感器捕获的数据将彼此组合时，必须知道摄像机系统的参数。为此，可执行标定以建立每个摄像机的外部和内部参数。摄像机标定的途径包括要求将一个记号定位在车辆参考系中事先已知的高精度位置的技术。由于由记号的不精确定位造成的误差传播，这种途径可能不精确。高精确性结果可能耗时，且实现成本高。摄像机标定的其它途径包括在物体相对于车辆移动时追踪物体。在许多这些途径中，单独针对每个摄像机逐一执行标定。摄像机系统标定的另外其它途径包括重叠视场(FOV)技术。这些途径的实施也常常要求将一个记号以高精确性定位在相对于车辆的预定义位置上。在本领域中一直需要一种标定车辆视觉系统的方法和标定无需事先知道记号在车辆参考系中的位置的车辆视觉系统。本领域中也需要容许使用具有较大横向开口角视场的摄像机的这样一种方法和这样一种车辆视觉系统。
技术实现思路
这种需求通过独立权利要求中叙述的方法和车辆视觉系统来解决。附属权利要求描述实施方案。根据一个方面，提供一种标定车辆视觉系统的方法。所述车辆视觉系统包括分别捕获具有非线性畸变(尤其是鱼眼畸变)的图像的多个图像传感器。图像传感器提供在车辆的不同位置上。方法包括针对一对图像传感器执行捕获、确定和建立步骤，所述图像传感器对包括多个图像传感器中的一个图像传感器和一个额外图像传感器。在所述方法中，使用图像传感器捕获多个物体的图像，以及使用额外图像传感器捕获多个物体的额外图像。多个物体被定位在所述图像传感器的视场和所述额外图像传感器的视场的重叠区域中。图像传感器相对于多个物体的位置和定向基于所捕获的图像来确定，而额外图像传感器相对于多个物体的位置和定向基于所捕获的额外图像来确定。额外图像传感器与图像传感器之间的相对位置和定向基于所述确定步骤的结果来建立。在所述方法中，图像传感器之间的相对位置和定向基于定位在视场(FOV)的重叠区域中的多个物体的图像来确定。无需事先知道多个物体相对于车辆的位置来确定图像传感器的相对位置。图像传感器和额外图像传感器是不同的图像传感器。图像传感器经过构造使得其捕获具有非线性畸变的图像。这容许图像传感器构造有容许图像传感器具有宽FOV的光学组件。少量图像传感器(诸如四个图像传感器)足以捕获覆盖环绕车辆的全360°角度范围的环绕视图。图像传感器在横向方向上的FOV开口角可为至少170°或至少175°。多个物体相对于彼此的位置是已知的。这些预定相对位置可用于确定图像传感器和额外图像传感器相对于多个物体的位置和定向。多个物体可以是专用记号，诸如配置为三面形配置的棋盘图案。多个物体可配置为至少一个规则配置。多个物体可包括至少一个棋盘图案。这容许从定义所有物体的相对位置的少量参数中确定多个物体之间的相对位置。多个物体可以使得其不全都位于相同平面内。可能存在与由多个物体中的至少三个其它物体定义的平面间隔的至少一个(具体若干个)物体。根据本领域中的常用术语，本文中使用的术语“图像传感器的位置”指的是图像传感器的特征点的位置。为说明的目的，“图像传感器的位置”可定义为光轴与电光传感器、透镜或任何其它给定光学组件相交的点的位置。本文中使用的术语“图像传感器的定向”指的是可通过三个角度量化的空间中图像传感器坐标系的定向。相应地，两个图像传感器之间的“相对位置”是特征点之间的偏移。“相对定向”描述需要哪些旋转操作来将所述一对中的一个图像传感器的坐标系与额外图像传感器的坐标系对准。存在描述相对位置和相对定向的不同方式。为说明的目的，为了描述图像传感器相对于由多个物体所定义的坐标系的定向，无需明确计算旋转角度。可计算旋转矩阵。类似地，可通过旋转矩阵描述图像传感器与额外图像传感器之间的相对定向。可通过平移矩阵或平移矢量描述相对位置。可针对具有重叠视场的多对图像传感器分别执行所述捕获、确定和建立步骤。从而可确定具有重叠FOV的所有图像传感器对的相对位置和/或相对定向。一对图像传感器之间所确定的相对定向可包括或否则表示至少两个角度，以便提供关于需要旋转哪一个以将所述一对中的一个图像传感器的光轴与另一图像传感器的光轴对准的信息。可针对多对图像传感器分别执行所述捕获、确定和建立步骤，并且可基于此确定关于非邻近图像传感器之间的相对定向的信息。为说明的目的，关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可基于针对至少两对图像传感器执行的所述捕获、确定和建立步骤来确定。关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤而以更高的精确性实现。或可或另可通过针对至少两对图像传感器执行所述捕获、确定和建立步骤获得关于车辆的左侧与右侧摄像机之间的相对定向的信息。可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤执行一致性检查，以便以更高的精确性确定非邻近图像传感器的相对定向。多对中的一对可包括第一图像传感器和中间图像传感器。多对中的另一对可包括中间图像传感器和第二图像传感器。第二图像传感器与第一图像传感器之间的相对位置和定向可基于针对所述一对而获得的建立步骤的结果和针对另一对而获得的建立步骤的结果而建立。从而第一图像传感器与中间图像传感器之间的相对位置和定向以及中间图像传感器与第二图像传感器之间的相对位置和定向可经计算处理以计算第二图像传感器与第一图像传感器之间的相对位置和相对定向。如果第一图像传感器和第二图像传感器无重叠视场，和/或如果没有多个物体定位在这些传感器的FOV的重叠区域中，那么可以执行这种处理。可分别针对额外多对图像传感器中的每一对执行所述捕获、确定和建立步骤。第二图像传感器与第一图像传感器之间的相对位置和定向也可以基于针对额外多对获得的建立步骤的结果来建立。从而第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种独立方式确定。这容许执行一致性检查。可量化和/或改进标定程序的可靠性。 在所述方法中，定义图像传感器之间的相对定向以及视需要定义相对位置的外部参数值可被反复调整，直到获得定义非邻近图像传感器之间的相对定向的一致参数组。在所述方法中，第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种不同方式计算，也就是使用针对多对获得的建立步骤的结果，以及针对不同于所述多对的额外多对获得的建立步骤的结果。可将所述结果互相作对比。为说本文档来自技高网...

【技术保护点】
一种标定车辆视觉系统的方法，所述车辆视觉系统包括分别捕获具有非线性畸变，尤其是鱼眼畸变的图像(45、46)并且提供在所述车辆(1)的不同位置上的多个图像传感器（11至14），所述方法包括针对一对（41至44）图像传感器执行下列步骤，所述图像传感器对包括所述多个图像传感器（11至14）中的一个图像传感器(11)和一个额外图像传感器(12)：使用所述图像传感器(11)捕获多个(22)物体的图像(45)，以及使用所述额外图像传感器(13)捕获所述多个(22)物体的额外图像(46)，所述多个(22)物体定位在所述图像传感器(11)的视场(15)与所述额外图像传感器(13)的视场(17)的重叠区域(21)中；基于所述捕获的图像(45)确定所述图像传感器(11)相对于所述多个(20)物体的位置和定向，以及基于所述捕获的额外图像(46)确定所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向；和基于所述确定的结果建立所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：K纳特罗什威利，KU肖勒，J夸斯特，
申请(专利权)人：哈曼贝克自动系统股份有限公司，
类型：发明
国别省市：