借助单应矩阵从摄像机的一系列图像中探测和验证对象制造技术

本发明专利技术涉及一种用于从摄像机图像中识别对象的方法和装置，并尤其可应用在基于摄像机的驾驶员辅助系统中。用于从一车载摄像机的一图像序列中探测对象的方法包括下列步骤：a)用车载摄像机拍摄图像序列，b)确定两个前后连续图像中的对应特征，d)通过将相邻对应特征分别分配给空间中一平面来确定空间中的多个平面，f)在考虑步骤d)中所确定平面的情况下探测对象。根据一优选实施方式，所述方法包括以下步骤：c)计算相邻对应特征的单应矩阵以确定多个平面；和/或d2)将相邻对应特征分别分配给一底平面、一背平面或一侧平面。因为根据本发明专利技术的方法可非常迅速地设计，因此可对几乎整个图像实时进行通用对象探测或场景描绘。

Detection and Verification of Objects from a Series of Camera Images by Homography Matrix

The present invention relates to a method and device for recognizing objects from camera images, and is especially applicable to a camera-based driver assistance system. The method for detecting objects from an image sequence of a vehicle-mounted camera includes the following steps: a) taking an image sequence with a vehicle-mounted camera, b) determining the corresponding features of two consecutive images, d) determining multiple planes in space by assigning adjacent corresponding features to one plane in space, and f) detecting objects in the case of considering the planes determined in step D. According to a preferred embodiment, the method comprises the following steps: c) calculating the homography matrix of adjacent corresponding features to determine multiple planes; and/or d2) assigning adjacent corresponding features to a bottom plane, a back plane or a side plane, respectively. Because the method according to the present invention can be designed very quickly, universal object detection or scene description can be performed in real time for almost the entire image.

【技术实现步骤摘要】
【国外来华专利技术】借助单应矩阵从摄像机的一系列图像中探测和验证对象
本专利技术涉及一种用于从摄像机图像中识别对象的方法，并尤其可应用在基于摄像机的驾驶员辅助系统中。
技术介绍
根据当前技术现状的车辆识别系统大部分是以分类为基础的。基于分类的系统可重新认出其在训练数据中见过的车辆或车辆部件。然而，新的车辆设计以及被改变的结构形式可能导致系统性能的严重下降并需要通用的对象识别方法。US2014/0161323A1描述了从借助一单目摄像机拍摄的图像中生成道路周围环境内致密三维立体结构的方法。EP2993654A1描述了一种用于从摄像机图像给出前方碰撞警告(FCW)的方法。在此，对一图像部分加以分析，自身所在车辆将在一预定的时间间隔内到达那里。如果在那里识别到一对象，则发出碰撞警告。
技术实现思路
本专利技术的任务是，提供一种通用地识别对象的方法。本专利技术的出发点考虑如下：如果两个帧(单一图像)的摄像机位置是已知的，可对点对应关系(对应特征点)进行三角测量，但不会生成对象，这是因为三角测量不具备可将点云聚类成有意义对象的模型知识。单目系统的缺点是，极点附近的对象只能被不准确地三角测量，并且在那里自运动(摄像机自运动)中的最小误差都很明显。极点表示的是在一第一摄像机图像中的如下像点，摄像机中心在一第二时间点成像在该像点处。在一直线行驶期间，消失点/没影点例如与极点相应。然而，这是识别与停止不动或前方行驶车辆碰撞的重要区域。如果动态对象根据对极几何运动时，可对其进行三角测量。然而，由于未知的相对速度，动态对象会被估计得距离太近或太远。如果代替单一对应关系，对多个相邻对应关系(对应特征)进行观察，则对象可根据不同的速度、缩放和变形加以划分/分割(segmentieren)。根据本专利技术的用于从一车载摄像机的一图像序列中探测对象的方法包括下列步骤：a)用车载摄像机拍摄一图像序列，b)确定两个前后连续图像中的对应特征，d)通过将相邻对应特征分别分配给空间中一相应平面来确定空间中的多个平面，以及f)在考虑(步骤d)中)所确定的平面的情况下探测对象。优选车载摄像机设计用于拍摄一车辆的周围环境。所述周围环境尤其是指车辆前方的周围环境。车载摄像机优选可被集成在一驾驶员辅助装置中或可与驾驶员辅助装置相连接，其中，所述驾驶员辅助装置尤其设计用于从车载摄像机装置提供的图像数据中识别对象。车载摄像机装置优选为一设置在机动车辆内挡风玻璃后并朝向行驶方向的摄像机。车载摄像机尤其优选为一单目摄像机。优选采用车载摄像机在规定或已知时间点拍摄单图像，由此生成一图像序列。第一图像中一特征与第二图像中相同特征的相应性被称为对应关系。两个图像中的对应特征也可被描述为指示所述特征在图像中如何移位的光流矢量。一特征尤其可以是一图像部分(或图像块)、一像素、一边缘或一角落。作为替代选择，步骤d)可描述如下：确定多个平面，在这些平面中分别有或将有多个相邻对应特征。步骤d)还包括：预先规定空间中的多个平面，并将相邻对应特征分别分配给预先规定的平面之一(参见步骤d2))。在本专利技术的上下文中，术语“平面”描述了以下关系：一方面描述了针对累积相邻对应特征的一标准。即，如果所述相邻对应特征位于空间中一共同平面内，并根据平面的运动随时间发展，则这些相邻对应特征被认为是属于一起的。随后，这类所累积的对应特征被称为例如“底平面”，因为它们都位于与车行道平面相应的平面中。然而，一如此的底平面不是延伸到无限远的，而是指该平面的部分区域，即实际对应特征布置在其中的部分区域。在步骤f)中，表述“在考虑......的情况下”意味着在探测对象时对步骤d)中确定的多个平面加以考虑。这例如可以以下述方式进行：由一所识别底平面推导出一车行道假设并从一背平面/后壁平面或一侧平面/侧壁平面为一凸起对象生成一对象假设。从一车行道假设和针对凸起对象的(多个)对象假设就可进行一无障碍空间探测，该探测指出，车辆周围环境中哪些无障碍空间当前可供通行。所述无障碍空间探测的一有益应用例如为不依赖于车道标记识别的车行道边缘确定。因此，表述“探测对象”例如可指对象假设或对象的生成。根据一优选实施方式，所述方法包括以下步骤：c)计算相邻对应特征的单应矩阵以确定多个平面。一单应矩阵描述两个摄像机位置之间一平面上各点的对应关系或车载摄像机两个前后连续图像中两个点之间的对应关系。通过计算相邻对应特征的单应矩阵，可将相邻对应特征分别分配给空间中的一平面(参见步骤d))。所述方法有利地包含下列步骤：e)基于所计算的单应矩阵划分对应特征。尤其是基于所计算单应矩阵，可划分对应特征，即分配不同区段。然后在步骤f)中可在考虑所划分的特征的情况下进行对象探测。所述方法另一有益的改进形式包括步骤d2)：将相邻对应特征分别分配给一底平面、一背平面或一侧平面。其中，在x方向设置在水平和/或横向，y方向设置在竖直方向，以及z方向设置在车辆纵向的坐标系统的情况下，底平面可规定为垂直于y方向，背平面可规定为垂直于z方向，侧平面可规定为垂直于x方向。通过计算底平面、背平面以及侧平面的单应矩阵，可将相邻对应特征分配给这些平面中的一个。背平面的单应矩阵可优选根据等式(10)和/或底平面的单应矩阵可优选根据等式(9)和/或侧平面的单应矩阵可优选根据等式(11)进行计算。在此，a、b、c是常数，x0、y0、x1、y1表示拍摄于时间点t-0的第一图像(索引0)中和拍摄于一较早时间点t-1的第二图像(索引1)中的对应关系，tx、ty、tz是矢量t/d的分量。t描述了车载摄像机的平移，d描述了到一平面(垂直于该平面)的距离，即沿着该平面的法向矢量的距离。分量tx、ty和tz下面也被称为“碰撞时间倒数(inverseTTC)”。TTC是“Timetocollision(碰撞时间)”的缩写，并在一空间方向上由距离除以平移速度得到。根据另一有益的改进形式，如果多个平面具有相同的取向，则具有相同取向的平面可根据所属的tx、ty和tz值被分离。例如，可通过不同的tz值区分在z方向与车载摄像机相距不同距离的两个背平面。优选可通过一栅格将一图像细分为相似的单元格，并可针对每个单元格从在该单元格中所确定的对应特征计算一单应矩阵。随后，可将具有一致单应矩阵的单元格进行聚类。如果所计算出的第一单元格的单应矩阵没有充分与一相邻单元格的单应矩阵相一致，为了确定一平面界限，可优选以一有益的方式对单个对应特征的所谓反投影误差加以考虑。对应特征可通过反投影误差来分析评估。反投影误差表示所测得的光流和从所计算单应矩阵预测出的光流之间的差异。换句话说，一平面的反投影误差表示的是在时间点t-0所描述的一个点x和在前面的时间点t-1根据该平面单应矩阵所成像的对应点之间的差异(见下面：等式4)。如果将第一单元格中一对应特征的反投影误差与相邻单元格单应矩阵的反投影误差相比较，并且该对应特征被分配给具有最小差异的单应矩阵，则平面界限(或区段界限或聚类边界)可在第一单元格内细化。以此方式，可将一单元格的不同对应特征分配给不同平面。将平面分配给相邻对应特征可优选基本上在车载摄像机的整个图像(例如图像面积的至少80％，优选至少90％)中加以确定。因为根据本专利技术的方法可非常迅速地设计，因此几乎整个图像可实时进行通用对象探测或场景解读本文档来自技高网...

【技术保护点】
1.用于从一车载摄像机的一图像序列中探测对象的方法，该方法包括下列步骤：a)用车载摄像机拍摄图像序列，b)在两个前后连续的图像中确定对应特征，d)通过将相邻对应特征分别分配给空间中一相应平面，确定空间中的多个平面，以及f)在考虑步骤d)中所确定的平面的情况下探测对象。

【技术特征摘要】
【国外来华专利技术】2016.09.29 DE 102016218852.61.用于从一车载摄像机的一图像序列中探测对象的方法，该方法包括下列步骤：a)用车载摄像机拍摄图像序列，b)在两个前后连续的图像中确定对应特征，d)通过将相邻对应特征分别分配给空间中一相应平面，确定空间中的多个平面，以及f)在考虑步骤d)中所确定的平面的情况下探测对象。2.根据权利要求1所述的方法，其包括下列步骤：c)计算相邻对应特征的单应矩阵以确定多个平面。3.根据权利要求2所述的方法，其包括下列步骤：e)根据所计算的单应矩阵划分对应特征。4.根据上述权利要求中任一权利要求所述的方法，其包括下列步骤：d2)将相邻对应特征分别分配给一底平面、一背平面或一侧平面。5.根据权利要求4所述的方法，其中，按照下列等式计算至少一个背平面其中，a、b、c是常数，x0、y0、x1、y1是在第一图像(索引0)和第二图像(索引1)中的对应关系，以及tx、ty、tz是矢量t/d的分量。t描述车载摄像机的平移，d描述到一平面的距离。6.根据权利要求4或5所述的方法，其中，按照下列等式计算至少一个底平面7.根据权利要求4、5或6所述的方法，其中，按照下列等式计算至少一个侧平面8.根...

【专利技术属性】
技术研发人员：M·沃尔特，
申请(专利权)人：康蒂特米克微电子有限公司，
类型：发明
国别省市：德国,DE