用于处理图像数据的方法和设备和用于车辆的驾驶员辅助系统技术方案

本发明专利技术涉及一种用于处理图像数据(104)的方法。所述方法包括如下步骤：作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据，所述第一图像数据代表基于由摄像机(106)在第一时刻检测的图像数据(104)的数据，所述先前图像数据代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)的数据。在所述确定步骤中，基于在使用所述对应数据的情况下执行的自身运动估计来确定深度数据。在所述求取步骤中，在使用所述深度数据和所传输的融合数据的情况下求取融合数据，其中，所述融合数据包括基于所述图像数据的深度信息。

Methods and equipment for processing image data and driver assistance system for vehicles

The present invention relates to a method for processing image data (104). The method comprises the following steps: determining the corresponding data as the correspondence between the first image data and the image data obtained from the previous results, the first image data based on the representative by the camera (106) in the image data of the first moment detection (104) data, the previous image data based on the representative by the camera (106 in the previous time) image data detection (104) data. In the determined step, the depth data is determined based on the self motion estimation performed in the case of using the corresponding data. In the acquisition step, the fusion data is acquired under the condition of using the depth data and the transmitted fusion data, wherein the fusion data includes depth information based on the image data.

【技术实现步骤摘要】
用于处理图像数据的方法和设备和用于车辆的驾驶员辅助系统
本专利技术涉及一种设备或一种方法。本专利技术的主题也是一种计算机程序。
技术介绍
车辆的驾驶员辅助系统可以使用由摄像机检测的数据。为此，所述数据可以在使用前通过驾驶员辅助系统预处理，例如压缩。
技术实现思路
在这种背景下，借助在此介绍的方案，提出一种用于处理图像数据的方法、和一种使用所述方法的设备、一种车辆辅助系统以及最后提出一种相应的计算机程序。通过根据本专利技术的措施，可以说明所述设备的有利的扩展方案和改善方案。可以例如与基于摄像机的驾驶员辅助系统结合或与具有摄像机的其他系统——例如移动机器人——结合使用所描述的方案。基于摄像机的信息获取典型的特征在于信息的快速压缩。在此，原始的测量信号例如可以是光流场(Flussfeld)(opticalflowmap：光流场图)或视差图(stereodisparitymap：立体视差图)。压缩的结果例如是棒状像素(Stixel)或对象盒(Objektbox)(boundingbox：包围盒)。跟踪和必要时的融合然后在更高的层面上实现。早期的压缩具有历史和架构原因。那么例如可以以在现场可编程门阵列(FPGA)和ASIC上的可管理的资源开销计算光流并且产生密集的结果场(每图像的高数据量)。尤其当在通用目的处理器上执行所述其他的分析处理和处理时，瓶颈示出其他的分析处理和处理。在必要的压缩中，信息的一大部分丢失。所述早期的信息压缩也阻止了新的功能的发展，因为用于存在的功能的架构是优化的。可以使用名为“占用栅格(OccupancyGrid)”的占用网格，所述占用网格适合用于支持也可以来自多个传感器的多个测量的融合。例如经常在机器人技术中使用所述占用网格，例如用于路线规划。坐标系统经常相应于(俯视的)地图。在“3D点云”(pointclouds)中，单个这种3D点示出世界点的一个3D测量，对于所述世界点，必要时也可以说明测试不可靠性。经常通过内插借助点云示出表面。出于开销原因，在嵌入式系统上，这种点云大多仅非常单薄(稀疏)地描绘真实的3D世界，因为大的点云的管理和使用对计算平台提出了很高的要求。在此描述的方案在没有占用栅格和3D点云的情况下也成立。替代地，提出一种在像素网格上的特殊的融合，借助所述融合，可以高效地应对在成本有利的嵌入式系统上的高数据密度。一种用于处理图像数据的方法包括以下步骤：作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据，所述第一图像数据代表基于由摄像机在第一时刻检测的图像数据的数据，所述先前图像数据代表基于由摄像机在先前时刻检测的图像数据的数据；基于在使用所述对应数据的情况下执行的自身运动估计来确定深度数据；在使用深度数据和所传输的融合数据的情况下求取融合数据，其中，所述融合数据包括基于图像数据的深度信息。待处理的图像数据可以涉及由至少一个摄像机提供的图像数据。可以将摄像机理解为图像检测设备，所述图像检测设备可以在相继的时刻提供描绘所述图像检测设备的周围环境的图像数据。第一图像数据以及先前图像数据可以分别涉及直接由摄像机提供的数据或涉及已经预处理的数据。先前时刻可以在时间上位于第一时刻前。因此，先前图像数据可以涉及存储的图像数据。对应求取可以包括对应分析。对应数据可以包括第一图像数据中和先前图像数据中的关于彼此对应的特征——例如彼此对应的像点(也称为像素)——的信息。对应数据可以包括关于如下内容的信息：在第一图像数据和在先前图像数据中的对应的像点的位置如何彼此移位。在执行自身运动估计的情况下，可以在使用图像数据中的对应特征的情况下识别在图像数据中描绘的对象。在此，关于对应特征的为此必需的信息可以在对应数据中包含。深度数据可以示出深度图像。深度数据的确定可以在两个步骤中实现。首先可以执行自运动(Egomotion)——即自身运动(Eigenbewegung)——的确定。为此，不需要所有对应(Korrespondenz)，而小的读取(Auslese)是足够的。接下来，对于所有像素执行深度数据的确定，对于所述所有像素存在对应数据。对于单目摄像机(Mono-Kamera)的应用情况，可以执行自身运动估计用于确定深度数据。自身运动估计可以理解为在运动的单目摄像机的情况下确定两个摄像机位置(6个参数，从所述6个参数中可以确定5个参数，即除了尺度(Maβstab)以外的所有参数)的相对定向。在立体摄像机中，在固定的立体布置中，一般已知相对定向和尺度。如果尽管如此应该估计相对定向，可以替代自身运动估计执行在线校准。只要相对定向和摄像机间距是已知的，可以通过三角测量将找到的对应换算成深度。通过与所传输的融合数据的融合，可以改善深度数据的质量。融合例如可以包括平均值求取(Mittelwertbildung)。因此，所述深度信息可以代表深度图像。根据一种实施方式，通过所述方法，借助光流在像素网格中执行深度测量的融合。这通过无缝的包括或具有更大的时间间距的附加光流场的融合能够实现图像检测的高有效范围。所述间距例如可以为2T、4T或8T，其中T可以示出时间步长(Zeitschritt)。还通过测量不可靠性的降低在所有距离范围中实现高的精度。如果使用两个摄像机，此外，可以执行系统行为从立体到单目的无缝过渡，例如如果两个摄像机中的一个受到干扰或不可以使用。在基于视频的驾驶员辅助系统中，仅必需较小的开发开销，因为不同的摄像机系统构型(例如单眼系统、立体系统、多摄像机系统)可以在用于基础信号处理的在此描述的统一的概念上构造。根据一种实施方式，所描述的方案基于像素网格上的信息的富集(Anreicherung)。在此，显著地改善测量的质量和精度(与单个测量相比)。所述富集与之后的压缩无关地实现并且可以大量平行地例如在FPGA或ASIC平台上执行。为此，在预定义的时间或在可变的时间进行融合，所述融合加权地将测量结果的旧的图像和一个或多个新的图像结合。例如可以在每个时间步长进行融合。但是不一定必需的是：在每个固定的时间步长T之后执行所述融合。时间间距绝对也可以是不规律的，例如2T，当之间缺少光流场(例如因为计算单元忙于其他事情)或甚至1.2739T并且在下次0.9864T。根据一种实施方式，摄像机也可以不以固定的时间基础运行，而是例如在一段固定行驶的路径之后触发或读取。因此，也可以在与时间基础无关的时刻执行所述融合。在以下描述的实施例中，仅仅以简单起见，假定固定的时间间距T。一方面支持用于一个或多个先前图像的光流以及可选地支持立体视差(同样优选密集的)，并且另一方面既支持单目摄像机系统又支持立体或甚至多摄像机系统。光流可以是密集的，即尽可能对于每个像素存在。但是，有利地，替代整体密集，光流可以仅仅是区域性密集的。例如不必要的并且也不可以良好实现的是，确定蓝色的天空上的光流。仅当足够的纹理存在时，才可以有意义地确定光流。哪里不存在足够的纹理，则可以放弃光流。立体视差同样可以是整体或区域性密集的。根据一种实施方式，所提及的方法包括以下步骤：作为在先前的求取步骤中求取的融合数据和对应数据的传输的结果确定所传输的融合数据。通过所述传输，可以考虑从先前步骤开始实现的运动，使得可以将在求取步骤中所传输的融合数据直接与深度数据融合。在确定本文档来自技高网...

【技术保护点】
一种用于处理图像数据(104；304)的方法，其中，所述方法包括以下步骤：作为第一图像数据(340)与先前数据(342)之间的对应求取的结果确定(220)对应数据(470)，所述第一图像数据代表基于由摄像机(106)在第一时刻检测的图像数据(104)的数据，所述先前数据代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)的数据，其中，所述第一图像数据(340)代表基于由摄像机(106)在第一时刻检测的图像数据(104)，其中，所述先前图像数据(342)代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)；基于在使用所述对应数据(470)的情况下执行的自身运动估计来确定(222)深度数据(472)；在使用所述深度数据(472)和所传输的融合数据(474)的情况下求取融合数据(476)，其中，所述融合数据(476)包括基于所述图像数据(340，342)的深度信息。

【技术特征摘要】
2016.05.11 DE 102016208056.31.一种用于处理图像数据(104；304)的方法，其中，所述方法包括以下步骤：作为第一图像数据(340)与先前数据(342)之间的对应求取的结果确定(220)对应数据(470)，所述第一图像数据代表基于由摄像机(106)在第一时刻检测的图像数据(104)的数据，所述先前数据代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)的数据，其中，所述第一图像数据(340)代表基于由摄像机(106)在第一时刻检测的图像数据(104)，其中，所述先前图像数据(342)代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)；基于在使用所述对应数据(470)的情况下执行的自身运动估计来确定(222)深度数据(472)；在使用所述深度数据(472)和所传输的融合数据(474)的情况下求取融合数据(476)，其中，所述融合数据(476)包括基于所述图像数据(340，342)的深度信息。2.根据权利要求1所述的方法，所述方法具有如下步骤：作为在先前的求取步骤中所求取的融合数据(476)和所述对应数据(470)的传输的结果确定(226)所传输的融合数据(474)。3.根据上述权利要求中任一项所述的方法，其中，在确定(220)所述对应数据(470)的步骤中，确定光流矢量作为所述对应数据(470)，所述光流矢量分配给所述第一图像数据(340)的像点和/或所述先前图像数据(342)的像点。4.根据上述权利要求中任一项所述的方法，其中，在确定(222)深度数据(472)的步骤中，确定深度值作为所述深度数据(472)，所述深度值分配给所述第一图像数据(340)的像点和/或所述先前图像数据(342)的像点。5.根据上述权利要求中任一项所述的方法，其中，在所述求取(224)步骤中，在使用所述深度数据(472)与所传输的融合数据(474)之间的平均值求取的情况下，求取所述融合数据(476)。6.根据上述权利要求中任一项所述的方法，其中，在所述求取(224)步骤中，如果不存在所传输的融合数据(474)，则所述融合数据(476)相应于所述深度数据(472)，如果不存在深度数据(472)，则所述融合数据(476)相应于所传输的融合数据(474)。7.根据上述权利要求中任一项所述的方法，其中，在求取(224)所述融合数据(476)的步骤中，检查所述深度数据(472)与所传输的融合数据(474)之间的一致性。8.根据上述权利要求中任一项所述的方法，所述方法具有至少一个如下步骤：作为所述第一图像数据(340)与其他先前图像数据(344；548)之间的对应求取的结果确定(220)其他对应数...

【专利技术属性】
技术研发人员：S·西蒙，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国,DE