基于双目相机视差图的道路障碍物检测系统及检测方法技术方案

本发明专利技术提供了一种基于双目相机视差图的道路障碍物检测系统及方法。主要包括以下几个模块：双目立体校正模块，根据两台相机之间的位置关系(R,T)对其中一幅图像进行变换，使左右相机图像的对应极线平行。双目立体匹配模块，采用图分割算法进行双目立体匹配，计算左右相机对应图像点之间的视差，得到场景的视差图。高斯滤波模块，对原始的视差图进行高斯滤波，得到模糊后的视差图。图像裁剪模块，引入先验信息，对视差图进行一定程度的裁剪。视差图扫描模块，通过对视差图进行逐列扫描，确定障碍物在视差图上的位置，然后对提取到的区域进行三维重建，确定障碍物的位置，从而为车载视觉系统提供决策依据。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种基于双目相机视差图的道路障碍物检测系统及方法。主要包括以下几个模块：双目立体校正模块，根据两台相机之间的位置关系(R,T)对其中一幅图像进行变换，使左右相机图像的对应极线平行。双目立体匹配模块，采用图分割算法进行双目立体匹配，计算左右相机对应图像点之间的视差，得到场景的视差图。高斯滤波模块，对原始的视差图进行高斯滤波，得到模糊后的视差图。图像裁剪模块，引入先验信息，对视差图进行一定程度的裁剪。视差图扫描模块，通过对视差图进行逐列扫描，确定障碍物在视差图上的位置，然后对提取到的区域进行三维重建，确定障碍物的位置，从而为车载视觉系统提供决策依据。【专利说明】
该专利技术属于计算机视觉领域，主要是数字图像处理和双目立体重建。具体涉及一种。
技术介绍
城市道路环境中，智能车系统如何准确地检测前面出现的障碍物，确定障碍物与智能车之间的位置(主要是距离信息)，从而为规避行人、车辆等提供决策依据，是一个十分迫切并且非常重要的问题。由于基于雷达或者激光的障碍物检测测量方法，易受实际环境干扰，且数据量大，近年来，基于立体视觉的道路障碍物检测方法开始受到人们的广泛关注，应用越来越多。双目立体视觉能够对目标进行三维重建，但需要首先获得左右相机图像中有关目标的匹配关系，视差图是这种关系的一种直观表示。在复杂场景中，如何准确获得目标的匹配关系，即视差图，一直是计算机视觉领域关注的重要问题。在实际的工程应用中，在获得视差图后，还应该考虑如何提取出行人、车辆等障碍物，并对其进行三维重建，计算这些障碍物与相机之间的距离。
技术实现思路
为解决上述问题，本专利技术提供了一种，该系统及方法可以准确的检测到前面出现的障碍物，从而确定障碍物与智能车之间的位置，从而为规避行人、车辆提供决策依据。为实现上述目的，本专利技术采用以下技术方案:一种基于双目相机视差图的道路障碍物检测系统，包括双目立体校正模块、双目立体匹配模块、高斯滤波模块、图像裁剪模块，以及视差图扫描模块；所述双目立体校正模块根据两台相机之间的位置关系对其中一幅图像进行变换，使左右两台相机图像的对应极线平行；所述双目立体匹配模块计算出左右相机对应图像点之间的视差，得到场景的视差图；所述高斯滤波模块对视差图进行高斯滤波后，图像裁剪模块对滤波后的图像进行裁剪，最后视差图扫描模块对裁剪后的图像逐列扫描，根据视差图灰度的变化确定障碍物的位置。所述图像裁剪模块中存储有先验信息，根据该先验信息对滤波后的视差图进行裁剪。—种基于双目相机视差图的道路障碍物检测方法，利用双目相机分别采集一幅图像，根据两台相机之间的位置关系对其中一幅图像进行变换，使两台相机所采集的图像的对应极线平行；接着，采用图像分割算法对双目相机进行匹配，获得场景的视差图，对该视差图进行高斯滤波，得到模糊后的视差图，然后，对模糊后的视差图进行裁剪后，对视差图进行逐列扫描，获得障碍物在视差图上的位置。在检测之前，首先对双目相机进行调整，保证两台相机的光轴平行。采用基于相似区域的局部匹配算法对双目相机进行匹配，获得场景的视差图。在检测之前，首先在离线状态下，通过使用棋盘格标定板，采用张正友的平面标定算法，获得双目相机各自的内参以及两相机之间的外参，从而实现双目视觉系统的构建。双目相机图像的匹配是沿着极线搜索得到对应的匹配点而实现的。所述双目相机的视差图是根据以下方法获得的:以极线约束为基础，构造反映像素间匹配关系的能量函数，然后通过求解能量函数的极值，得到双目相机图像上每个像素点之间的匹配关系，从而实现双目视觉系统的立体匹配，其输出是双目图像的视差图。与现有技术相比，本专利技术至少具有以下有益效果:本专利技术首先通过立体匹配得到双目相机的视差图，然后基于视差图扫描的方式，确定显著性目标，并对主要目标进行三维重建，从而实现对城市道路环境中的障碍物的识别与检测。【专利附图】【附图说明】图1是本专利技术的总体框架:基于视差图的道路障碍物检测流程图图2是本专利技术中视差图分析模块的大致结构图3是本专利技术的一个检测结果:行人目标，其中，Ca)和(b)分别为左右相机采集的图像，(C)为得到的视差图，Cd)为用伪彩色显示的视差图，Ce)为障碍物检测的结果。图4是本专利技术的另一个检测结果:车辆目标，其中，(a)和(b)分别为左右相机采集的图像，(C)为得到的视差图，Cd)为用伪彩色显示的视差图，Ce)为障碍物检测的结果。下面结合附图和专利技术人给出的实施例对本专利技术进一步详细说明。【具体实施方式】本专利技术首先通过立体匹配得到双目相机的视差图(即两个双目相机所得到的图像的视差图)，然后基于视差图扫描的方式，确定显著性目标，并对主要目标进行三维重建，从而实现对城市道路环境中的障碍物的识别与检测。为了实现上述功能，本专利技术采用的技术解决方案分为两个部分，分别是:一是基于立体匹配算法获取双目相机的视差图。具体包括:双目立体校正模块，由于双目相机的光轴在相机内部，无法直接确定，因此两台相机光轴之间无法保证严格平行，而是受摆放位置、角度等因素的影响，存在一定的偏差，两台相机之间的位置关系可用旋转矩阵R和平移向量T表示。通过引入对极几何约束，两台相机采集的上的匹配点对之间存在极线约束，即左相机图像上的一点的匹配点，一定在右相机图像上的某个直线上，该直线称为极线。为了简化计算，降低匹配的时间复杂度，通常要对左右相机采集的图像进行立体校正，即根据两台相机之间的位置关系(R，T)对其中一幅图像进行变换，使左右相机图像的对应极线平行。双目立体匹配模块，由于已经对双目相机进行了立体校正，从而可以直接在对应的平行线上搜索得到点与点之间的匹配关系。本专利技术中采用图分割算法进行双目立体匹配，该算法是一种基于相似区域的局部匹配算法，能够准确的计算出左右相机对应图像点之间的视差，从而得到双目相机的视差图。二是基于视差图扫描的方法确定障碍物及其位置。具体包括:高斯滤波模块，由于双目立体匹配算法存在匹配误差，所以原始的视差图上便有一定程度的噪声，且某些部分之间可能存在无法匹配的情况。这些因素都会对视差图扫描造成一定的影响，为此首先对原始的视差图进行高斯滤波，得到模糊后的视差图，从而实现降低噪声、平滑图像的目的。图像裁剪模块，由于城市道路环境中的障碍物位于前方的道路上，对应到视差图上则是:障碍物出现在视差图的中下部分，而天空、树叶等背景则出现在视差图的偏上的部分。因此，实际处理时，可以引入这一先验信息，对视差图偏上部分进行一定程度的裁剪，从而减少干扰，提高检测的准确度。视差图扫描模块，由于视差图反映了场景中的深度信息，具有相同深度的目标在视差图上对应相同的灰度值，因此，对于前方平坦道路，视差图水平方向上呈现的应该是近似波纹的形状，且随着深度的增加，图像亮度逐渐降低，而当某个距离上存在障碍物时，该位置的波纹形状便会发生显著的变化。通过对视差图进行逐列扫描，便可以确定视差图发生变化的位置，即障碍物在视差图上的位置，从而实现障碍物的检测，然后对提取到的区域进行三维重建，便可以确定障碍物的位置，从而为车载视觉系统提供决策依据。本专利技术提出了一种有效的基于视差图的障碍物检测方法。首先使用双目相机，计算得到视差图，然后从视差图上提取特定目标(障碍物)，并进行重建。具体技术包括:I)通过双目相机内外本文档来自技高网...

【技术保护点】
一种基于双目相机视差图的道路障碍物检测系统，其特征在于：包括双目立体校正模块、双目立体匹配模块、高斯滤波模块、图像裁剪模块，以及视差图扫描模块；所述双目立体校正模块根据两台相机之间的位置关系对其中一幅图像进行变换，使左右两台相机图像的对应极线平行；所述双目立体匹配模块计算出左右相机对应图像点之间的视差，得到双目相机的视差图；所述高斯滤波模块对视差图进行高斯滤波后，图像裁剪模块对滤波后的图像进行裁剪，最后视差图扫描模块对裁剪后的图像逐列扫描，根据视差图灰度的变化确定障碍物的位置。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨海伟，王飞，何一聪，徐林海，杨梓，何永健，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：