用于机动车辆的视觉系统和控制视觉系统的方法技术方案

一种用于机动车辆的视觉系统(10)，包括形成立体成像设备(11)的一对成像装置(12a、12b)和数据处理设备(14)，该数据处理设备(14)适于对所述立体成像设备(11)所拍摄的图像执行修正、对经修正的图像执行立体匹配，并且适于从立体匹配的图像中检测出机动车辆周围的物体。该数据处理装置(14)适于对来自一个成像装置的经修正的图像的图像元素(43)检索来自另一个成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够由竖直偏移信息推导出从图像元素(43)至最佳匹配图像元素(44')的竖直偏移，其中，所述数据处理装置(14)适于由所述竖直偏移信息计算出成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。

Vision system for vehicle and method of controlling vision system

A visual system (10) for a motor vehicle (10), including a pair of imaging devices (12a, 12b) and data processing apparatus (14) forming a stereoscopic imaging device (11), which is adapted to perform a correction of an image taken by the stereoscopic imaging device (11), perform a stereoscopic match to the corrected image, and be adapted from a stereoscopic image. The object around the motor vehicle is detected in the matching image. The data processing device (14) is suitable for retrieving the best matched image element (44') in a corrected image from another imaging device (43) for an image element (43) from a modified image from another imaging device. The retrieval covers a two-dimensional retrieval area, and the retrieval produces vertical offset information, which can be offset vertically. The information derives the vertical offset from the image element (43) to the best matched image element (44'), in which the data processing device (14) is adapted to calculate the pitching angle error and / or the roll angle error between the imaging device (12a, 12b) or the imaging device (12a, 12b) by the vertical offset information.

【技术实现步骤摘要】
【国外来华专利技术】用于机动车辆的视觉系统和控制视觉系统的方法
本专利技术涉及一种用于机动车辆的视觉系统，该视觉系统包括形成立体成像设备的一对成像装置和数据处理设备，该数据处理设备适于对所述立体成像设备所拍摄的图像执行修正、对经修正的图像执行立体匹配并且适于从立体匹配的图像中检测机动车辆周围的物体。本专利技术还涉及一种控制视觉系统的方法。
技术介绍
为了精确计算来自立体相机的视差图像或深度图像，两个相机相对于彼此的定向必须是已知的。两个相机之间的俯仰角上的误差使得一个相机相较于另一个更加向下看。滚转角是指相应光轴周围的图像平面的转动。这两个角都必须是已知的，以便在左右图像之间执行精确的立体匹配。对于汽车立体相机，由于汽车系统的热变化和长使用寿命，这些角在车辆使用寿命期间将不会是恒定的。因此，需要用于估算俯仰和滚转角误差的在线方案。被称为5点方法或特征点方法的用于估计俯仰和滚转角的常规方法包含在左侧和右侧图像对中找出例如五个不同的点(称为特征点)并且由这些特征点估算俯仰和滚转角误差。然而，这种方法需要找出图像中的特征点，并且例如在不能找出不同特征点的单调、低光或下雨的环境中不会良好地工作。
技术实现思路
本专利技术的目的在于，提供一种视觉系统和方法，其允许在机动车辆操作期间精确地确定立体相机之间的俯仰角误差和/或滚转角误差。本专利技术通过独立权利要求的特征来解决这一目的。根据本专利技术，对于来自一个成像装置的经修正的图像的图像元素，检索来自另一个成像装置的相应的经修正的图像的二维检索区域中的最佳匹配图像元素。该检索产生竖直偏移信息，能够由该竖直偏移信息推导出从该图像元素至最佳匹配图像元素的竖直偏移。本专利技术已经实现了可以基于(即，直接或间接地由)这样的竖直偏移信息轻易地计算出成像装置的或其之间的俯仰角误差和/或滚转角误差。根据本专利技术，不需要找出图像中的不同特征点，并且在所检查的汽车环境中的所有条件下，都可以确定俯仰和滚转角误差。由于对经修正的图像执行计算，因此在所计算的立体匹配或修正中使用的是俯仰和/或滚转角的误差。根据本专利技术的图像元素可以为像素(即最小的可能图像元素或图片元素)或由多个像素组成的图像区域(例如p×q像素的矩形区域，其中，p和q为大于一的整数)。在具体涉及一维水平检索引擎的使用的一个实施例中，竖直偏移信息包括多个匹配相关评分，由此产生竖直匹配代价立方体，其中，所述多个匹配相关评分表示考虑中的图像元素与来自另一个成像装置的相应的经修正图像的、相对于考虑中的图像元素偏移不同竖直分量的多个图像元素之间的竖直匹配度。具体而言，当使用一维水平检索引擎时，每次一维水平检索计算出水平匹配或代价元组，并且一维水平检索中的每个水平位置具有一个匹配或代价值。提取出每个水平匹配或代价元组中的最低匹配或代价值，由此产生包含针对所执行的每次水平检索的一个匹配或代价值的竖直匹配代价立方体。这样的竖直匹配评分立方体包含计算影响立体匹配的俯仰角误差和/或滚转角误差所需要的图像的所有信息。优选地，多个图像元素被捆绑到更大的图像区域中，并且对于每个竖直偏移，总计或累计来自该图像区域中的每个图像元素的代价值或匹配相关评分，由此产生减小尺寸的匹配代价立方体。这种方法的优点在于相较于大型竖直匹配代价立方体小得多的数据量，同时仍然能够使得关于俯仰角误差和滚转角误差的计算的精确性高且充分。换言之，来自许多像素的匹配评分或代价值可以结合到图像区域中以节省存储带宽、存储容量和处理要求。优选地，由减小的代价立方体确定给予每个图像区域的最佳匹配的竖直偏移，由此产生竖直偏移映射。可以由这样的偏移映射最轻易地计算出俯仰转角误差和/或滚转角误差。例如，可以由对偏移映射的贡献估算出俯仰误差，该贡献指向相同方向且具有相同尺寸；可以由对偏移映射的贡献估算出滚转误差，该贡献在右侧上和在左侧上指向相反方向并且从中心向左侧和右侧增加。替代地，可以使用最小化函数、尤其是最小二乘法最小化函数由偏移映射同时计算出俯仰误差和滚转误差。也可以直接由竖直匹配评分立方体或由减小的代价立方体计算出俯仰和/或滚转角误差，而不使用偏移映射。在一些实施例中，除了计算俯仰转角误差和/或滚转角误差，还可以由竖直偏移信息计算出两个成像装置之间的焦距差上的误差。例如，可以从对偏移映射的贡献中估计出焦距差，该贡献在顶部上和在底部上指向相反方向并且从中心向顶部和底部增加。替代地，可以使用最小化函数通过俯仰误差和/或滚转误差由偏移映射同时计算出焦距差误差。也可以直接由竖直匹配评分立方体或从减小的代价立方体计算出焦距差误差，而不使用偏移映射。在优选的实施例中，使用一维水平检索引擎并且执行相对于彼此在竖直方向上偏移不同量的多个一维水平检索来执行该检索。换言之，可以例如通过将现有的一维立体匹配硬件或软件随视觉系统中进行的标准立体计算进行分时，来简单地将其再利用。例如，可以在水平立体匹配过程的空闲时隙中和/或与水平立体匹配过程交替的时隙中执行该检索。在另一实施例中，可以使用充分二维检索引擎来同时执行水平立体匹配过程和该检索。光流计算中所使用的二维检索引擎尤其合适，这是由于支撑两个任务的数学问题是本质相同的。这样的二维检索引擎产生向量形式的竖直偏移信息，该向量从考虑中的每个图像元素至来自另一个成像装置的相应图像中的最佳匹配图像元素。通过简单地取向量的竖直分量，可以轻易地从这些向量中推导出竖直偏移映射。检索引擎可以为软件引擎或专用检索硬件。具体地，一维检索引擎可以由水平立体匹配硬件块形成。优选地，计算出的俯仰角误差和/或滚转角误差在后来的立体匹配过程中使用。换言之，俯仰角误差和/或滚转角误差所导致的成像装置的任何不匹配都可以在驾驶期间得到自动且持续的补偿。为了具有稳定且精确的结果，可以使用合适的信号处理算法对从每个图像对估算出的俯仰角和/或滚转角进行滤波。也可以在估算俯仰角和/或滚转角之前组合多个偏移映射，以便改善统计数据并进而改善精确性。由于相同原因，可以在基于匹配评分立方体或代价立方体执行进一步处理之前、尤其是在计算偏移映射之前，组合多个匹配评分立方体或代价立方体。附图说明下面将参照附图基于优选的实施例来阐释本专利技术，其中：图1示出机动车辆中的立体视觉系统的示意图；图2图示左/右图像对的水平立体匹配和竖直匹配；图3以示意性方式图示由代价立方体计算偏移映射；图4-6图示由偏移映射分别计算俯仰角误差、滚转角误差和焦距漂移。具体实施方式视觉系统10安装在机动车辆中并且包括成像设备11，该成像设备11用于获取机动车辆周围区域(例如机动车辆前方的区域)的图像。成像设备11包括形成立体成像设备11并且在可见光和/或红外线波长范围内操作的两个光学成像装置12a、12b(具体为相机)，其中，红外线包括具有5微米以下波长的近红外辐射(IR)和/或具有超出5微米波长的远红外辐射(IR)。成像设备11耦接到数据处理装置14，数据处理装置14适于处理从成像设备11接收的图像数据。有益地，数据处理装置14包括预处理部件13，预处理部件13适于控制成像设备11的图像拍摄、从成像设备11接收包含图像信息的电信号、将左/右图像对修正或弯曲至对齐和/或创建视差图像，这本身是现有技术中已知的。图像预处理部件13可以通过专用硬件电路(例如现场可编程门阵列(FPGA))来实本文档来自技高网...

【技术保护点】
1.一种用于机动车辆的视觉系统(10)，所述视觉系统(10)包括形成立体成像设备(11)的一对成像装置(12a、12b)和数据处理设备(14)，所述数据处理设备(14)适于对所述立体成像设备(11)所拍摄的图像执行修正、对经修正的图像执行立体匹配并且适于从立体匹配的图像中检测出所述机动车辆周围的物体，其特征在于，所述数据处理装置(14)适于对来自一个所述成像装置的经修正的图像的图像元素(43)检索来自另一个所述成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够从所述竖直偏移信息中推导出从所述图像元素(43)至所述最佳匹配图像元素(44')的竖直偏移，其中，所述数据处理装置(14)适于由所述竖直偏移信息计算出所述成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。

【技术特征摘要】
【国外来华专利技术】2015.12.04 EP 15198019.01.一种用于机动车辆的视觉系统(10)，所述视觉系统(10)包括形成立体成像设备(11)的一对成像装置(12a、12b)和数据处理设备(14)，所述数据处理设备(14)适于对所述立体成像设备(11)所拍摄的图像执行修正、对经修正的图像执行立体匹配并且适于从立体匹配的图像中检测出所述机动车辆周围的物体，其特征在于，所述数据处理装置(14)适于对来自一个所述成像装置的经修正的图像的图像元素(43)检索来自另一个所述成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够从所述竖直偏移信息中推导出从所述图像元素(43)至所述最佳匹配图像元素(44')的竖直偏移，其中，所述数据处理装置(14)适于由所述竖直偏移信息计算出所述成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。2.根据权利要求1所述的视觉系统，其特征在于，所述竖直偏移信息包括多个匹配相关评分，由此产生竖直匹配代价立方体(52)，其中，所述多个匹配相关评分表示考虑中的所述图像元素(43)与来自另一个所述成像装置的相应图像的、相对于考虑中的所述图像元素(43)偏移不同竖直分量的多个图像元素(44)之间的竖直匹配度。3.根据权利要求2所述的视觉系统，其特征在于，所述多个图像元素被捆绑到更大的图像区域(49)中，并且对于每个竖直偏移，累计来自所述图像区域(49)中的每个图像元素的匹配相关评分，由此产生减小尺寸的匹配代价立方体(50)。4.根据权利要求3所述的视觉系统，其特征在于，由所述减小的代价立方体(50)确定给予每个所述图像区域(49)的最佳匹配的竖直偏移，由此产生竖直偏移映射(48)。5.根据前述权利要求中任一项所述的视觉系统，其特征在于，所述数据处理装置(14)适于由所述竖直偏移信息计算出两个所述成像装置之间的焦距差。6.根据前述权利要求中任一项...

【专利技术属性】
技术研发人员：利夫·林德格伦，
申请(专利权)人：奥托立夫开发公司，
类型：发明
国别省市：瑞典,SE