基于视差图的视差方向上连续型物体检测方法和装置制造方法及图纸

公开了一种基于视差图的视差方向上连续型物体检测方法和装置，该检测方法包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。根据本发明专利技术实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检。

Method and apparatus for detecting continuous object in parallax direction based on disparity map

Disclosed is a parallax direction disparity map on continuous object detection method and device based on the detecting method comprises: obtaining the disparity map including the continuous objects, the objects in continuous parallax direction; according to the parallax by large and small order, to obtain parallax sections and each parallax corresponding or corresponding with each parallax the scope of the section is determined with parallax parallax value corresponding to or determine the parallax value disparity map all cross section corresponding to the formation of the disparity range; according to the characteristics of the object to be tested, features are extracted from the cross section and the disparity; feature based object recognition sequence of each parallax section. Extract parallax section sequence according to the method of the embodiment of the invention, the feature extraction and object recognition, to overcome the dependence on the road input results, has better stability and adaptability; characteristics of effective use of object space continuity, and overcome the direct detection by background interference error or omission.

【技术实现步骤摘要】
基于视差图的视差方向上连续型物体检测方法和装置
本专利技术总体地涉及图像处理，更具体地涉及基于视差图的视差方向上连续型道路分割物检测方法和装置。
技术介绍
诸如驾驶辅助系统的应用日渐普及。在驾驶辅助系统中，道路场景物体的检测非常重要。道路场景物体的例子有，路肩石、白线、栅栏、车辆、行人、高楼、树木等。对于道路场景物体的检测，根据所进行处理的图像类型，现有的检测方法可大致分为两类，即，基于灰度图的检测方法和基于视差图的检测方法。基于灰度图的检测方法在灰度图上基于边缘，颜色，纹理，或者其他灰度图像特征进行物体，其中的一些方法可能利用其他感应器获取物体信息，结合灰度图像进行物体检测。例如，在非专利文献1，GiancarloAlessandretti,AlbertoBroggi,andPietroCerri等人的文章VehicleandGuardRailDetectionUsingRadarandVisionDataFusion，IEEE2007TRANSACTIONSONINTELLIGENTTRANSPORTATIONSYSTEMS中，介绍了一种基于雷达成像和视觉成像相结合的车辆与栅栏检测方法。在该方法中，利用雷达定位感兴趣区域，再用灰度图像进行检测。该第一类检测方法基于灰度图像进行检测，受环境条件例如光照强度、色彩变化和以及视觉几何形变的影响较大，在实际应用过程中不稳定。例如，图1示出了具有栅栏部分的灰度图像的示例，其中栅栏部分以椭圆形圈出示意。图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图像的示例。可见，环境和几何变形等对灰度图像的形式影响较大，因此对检测结果也具有较大影响。另一类方法是基于立体相机获得视差图来进行物体的检测。例如，在非专利文献2，即ZhenchengHu,FranciscoLamosaandKeiichiUchimura的文章ACompleteU-V-DisparityStudyforStereovisionBased3DDrivingEnvironmentAnalysis，ProceedingsoftheFifthInternationalConferenceon3-DDigitalImagingandModeling2005中，介绍了一种基于U视差图和V视差图的物体分割的方法。该方法首先进行U视差图和V视差图的计算，然后在U视差图和V视差图上进行线的检测，则检测到的线段有可能是物体的表面，最后U视差图和V视差图上对应具有相同视差值的线段被认为是同一个物体，从而实现物体分割。在第二类方法中，存在无法解决遮挡的问题。因为U视差图和V视差图分别是视差图在x和y坐标方向的视差累计图，所以水平和垂直方向上的遮挡问题固有地存在。图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图。图4示意性地示出了此时各部分在U视差图和V视差图中对栅栏部分的遮挡情况。因此，希望能提供如下技术，该技术既能很好解决环境变化和几何形变的问题，又能解决水平和垂直方向上的遮挡问题。
技术实现思路
在同一专利技术人做出的申请号为CN201210147642.5，申请日为2012年5月11日的专利申请中，提出了在视差图中采用平行于地面的切片来切割视差图，然后基于这样的切片的U视差图来检测连续型的道路分割物，例如栅栏。在该先前专利申请中，切片的获得从而道路场景物体的检测依赖于路面信息，因此如果路面信息不准确就会大大影响后续的其他检测。鉴于上述情况，提出了本专利技术。根据本专利技术的实施例，提供了一种基于视差图的视差方向上连续型物体检测方法，包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图可以包括：按照与三维世界中的等距离对应的视差间隔来获取视差截面图。在该物体检测方法中，基于各个视差截面图的特征序列识别物体可以包括：确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。根据一个实施例，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括：将各个视差截面图中的竖直线段对应于一个视差图中对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。根据一个实施例，该物体检测方法还可以包括：在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。根据本专利技术另一方面，提供了一种基于视差图的视差方向上连续型物体检测装置，可以包括：视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件，用于基于各个视差截面图的特征序列识别物体。根据本专利技术实施例的视差方向上连续型物体检测方法和装置提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。附图说明图1示出了具有栅栏部分的灰度图像的示例；图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图像的示例；图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图；图4示意性地示出了图3中各部分在U视差图和V视差图中对栅栏部分的遮挡情况；图5示出了根据本专利技术一个实施例的基于视差图的视差方向上连续型物体检测方法的总体流程图；图6中的(a)、(b)、(c)示出了根据本专利技术一个实施例的原始视差图和视差截面图的示意图；图7示出了根据本专利技术一个实施例的按距离从近到远（即，视差值从大到小）的顺序截取的6个视差截面图（按纸面方向，从左到右、从上到下）以及在上面提取的竖直边；图8中的(a)、(b)、(c)、(d)示出了根据本专利技术一个实施例的原始视差图（a）以及物体检测处理中的检测的特征序列（b）、通过追踪的特征预测和过滤的结果（c）、将特征序列对应特征点拟合并获得检测结果(d)在原灰度图中的示意性显示；图9示出了根据本专利技术一个实施例的基于视差图的视差方向上连续型物体检测装置的总体配置的总体框图；本文档来自技高网...

【技术保护点】
一种基于视差图的视差方向上连续型物体检测方法，包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体，其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括：将各个视差截面图中的竖直线段对应于一个视差图中，对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。

【技术特征摘要】
1.一种基于视差图的视差方向上连续型物体检测方法，包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体，其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括：将各个视差截面图中的竖直线段对应于一个视差图中，对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。2.如权利要求1所述的物体检测方法，所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图包括：按照与三维世界中的等距离对应的视差间隔来获取视差截面图。3.如权利要求1所述的物体检测方法，其中，从视差截面图中提取的特征包括：基于物体实际的高度或者宽度与视差值成正比例关系的特性，确定在对应的视差截面图中物体的高度或者宽度，从而选择对应尺寸的特征。4.如权利要求1所述的物体检测方法，基于各个视差截面图的特征序列识别物体包括：确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。5.如权利要求1所述的物体检测方法，在根据...

【专利技术属性】
技术研发人员：刘殿超，刘媛，胡平，师忠超，鲁耀杰，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP