一种基于目标一致性的车载相机快速行人车辆检测方法技术

本发明专利技术公开了一种基于车载双目相机道路场景的行人车辆快速检测方法。方法通过构建道路场景柱状模型，在柱状模型限定范围内对行人车辆目标搜索检测。同时，对前后帧左右帧的检测结果进行匹配，利用前后匹配对、左右匹配对对当前帧左幅图像的检测结果进行优化。本发明专利技术针对基于单目方法的行人车辆检测不够准确的问题，利用前后帧与左右帧的匹配结果，优化检测结果。针对基于双目图像的行人车辆检测不能够实时的问题，利用道路场景的柱状模型，减少检测区域，加快检测速度。本发明专利技术融合了双目图像的丰富信息，能够增加行人车辆检测的准确性和检测速度，同时也提出了一种基于双目图像的道路场景的行人车辆快速检测框架。

【技术实现步骤摘要】
一种基于目标一致性的车载相机快速行人车辆检测方法
本专利技术属于计算机视觉
，具体涉及一种基于目标一致性的车载相机快速行人车辆检测方法，该方法涉及到计算机视觉、图像处理等领域，可用于道路场景下视频监控中的行人车辆检测或者自动驾驶辅助系统中的行人车辆检测等。
技术介绍
行人车辆检测被广泛应用到智能驾驶辅助等应用领域。基于视觉的智能车辆是在汽车上安装摄像镜头，利用计算机视觉技术，通过处理摄像镜头捕捉的图像，获得引导信息。与其他引导技术相比，视觉引导不必在道路上增加设施，适合来往车辆、行人、临时设施等不可预先建模确定的随机目标。随着我国车辆拥有数量的增加和道路交通状况的日益复杂以及对视频监控等的更高要求，基于检测的智能监控和智能驾驶也被广泛的重视。在道路场景下行人和车辆检测的传统方法主要有：1)背景差法；2)帧差法；3)光流法。这三种方法不适用于静止的目标检测，只能区分前景和背景，不能够区分目标的类别，如行人车辆等。同时不能解决行人车辆形状和外貌变化以及不同运动方式的难点。目前较为盛行的行人车辆检测的方法都是基于学习的目标检测方法。这些方法集中学习行人车辆的不同变化，从而有很好的推广型和泛化性。目前的基于学习的行人车辆检测系统主要可以分为两类：单目行人车辆检测和双目行人车辆检测。基于单目的行人车辆检测，是通过一个相机在水平或者垂直等不同的方向，对场景中的行人车辆进行拍摄。然后通过提取不同行人车辆的特征，分别训练得到行人车辆的分类器模型。然后利用滑动窗的方法，通过分类器模型对拍摄到的图像进行行人车辆和背景的分类，对可能存在目标的位置用矩形框标注出来。对于得到的大量的矩形框，利用非极大抑制，将多余的矩形框合并，得到最终的行人车辆检测结果。基于单目视觉的行人车辆检测一般得到的信息量小，运算效率比较高。但是单目视觉无法获得更多的如图像深度等信息，从而无法更加精确的对行人车辆进行检测。基于双目视觉的行人车辆检测是通过安装在两个不同角度的摄像机对同一个场景从不同的视角拍摄，然后通过两幅图像以及两幅图像之间的基本几何关系恢复场景的三维信息，从而获得更加丰富的场景信息，辅助行人车辆检测。基于双目视觉的行人车辆检测可以有效的解决行人车辆的遮挡问题，同时能够对场景中的行人车辆进行定位和深度的分析。就目前来看，与双目结合的行人车辆检测，大部分是利用双目图像的几何特性计算视差图，通过视差图构建双目的深度图，然后通过基于图像处理的行人车辆方法，对深度图中的目标进行检测。在这种前提下，首先，构建深度图时需要的匹配算法往往花费很大时间，并且匹配效果不一定准确；其次，对于行人车辆的检测，基于图像处理的目标检测方法虽然在检测速度上能够达到道路场景下的需求，但是往往检测精度不够，而基于学习的行人检测方法往往计算量较大，不能满足道路场景下实时检测的需求。
技术实现思路
本专利技术所要解决的技术问题是克服道路场景下传统行人车辆检测精度的不足，提高行人车辆的检测速度，提供一种基于目标一致性的双目道路场景下行人车辆的检测方法，从而实现道路场景下行人车辆的快速和准确检测，该方法可用于道路场景下视频监控中的行人车辆检测或者自动驾驶辅助系统中的行人车辆检测等。为了解决上述技术问题，本专利技术提供了一种基于目标一致性的车载相机快速行人车辆检测方法，包括如下步骤：(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像，所述双目图像为经过校正后的图像；(2)对当前帧双目图像，建立左右图像的道路场景柱状模型，其中所述柱状模型是将行人车辆障碍物在图像中看做由一条条垂直的条状平面组成，柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线；(3)对当前帧双目图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人车辆模型，对左右两幅图像中的行人和车辆进行检测；(4)判断当前帧的帧序是否大于2并且小于N-2，如果否，则跳转到步骤(8)；如果是，则继续执行；其中N为双目连续帧图像数据库中的图像数目。(5)将前一帧作为当前帧；(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果；通过前后帧结果的匹配，找到与当前帧中检测结果最相似的检测结果；(7)根据前后帧匹配结果对当前帧的检测结果进行更新；当前帧结果帧匹配结果的可信度，并归一化；(8)匹配更新后当前帧的左右两幅图像的检测结果；(9)根据左右帧匹配结果对当前帧左图像中结果进行更新，当前帧左信度，并归一化；(10)对于更新后的结果，采用一个高预设阈值进行过滤，得到最终检测结果，并输出；(11)判断帧序是否小于等于N，如果是，跳转到步骤(1)，继续循环；如果不是，则结束。在本专利技术的一个实施例中，所述步骤(2)具体为：(2.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配；(2.2)对最佳匹配的两点的水平坐标相减，得到左右两幅图像的视差图，并归一化到0-255的灰度值，得到归一化后的视差图；(2.3)对于归一化后的视差图，在垂直方向上计算投影，得到大小为256*V的垂直投影图像，其中V表示图像高度；对于垂直投影图像中的点(u,v)，0<u<256,0<v<V，其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果；利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线；(2.4)对于现实场景中的道路平面，根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系，得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系：其中，h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角；v0为相机光心在图像上的坐标；a、b为道路平面的先验参数；根据反向映射关系在当前帧双目图像中得到道路位置；(2.5)根据得到的道路位置，在水平方向上计算得到大小为U*256的水平投影图像；利用霍夫变换计算水平投影图像中的水平直线；水平投影图像中的水平直线表示行人车辆障碍物位于当前帧双目图像中道路平面的位置；(2.6)根据步骤(2.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人车辆与地面相交的纵坐标，根据步骤(2.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标；从而得到行人车辆与地面相交的位置，作为柱状模型的下边缘；(2.7)根据柱状模型的下边缘，计算视差图中下边缘以上部分的视差相似度；其中视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的；若视差相差范围在设定范围内，则置为1，否则置为-1；从下边缘开始，沿垂直方向对视差相似度值进行累加，得到累积相似度图；(2.8)根据累积相似度图，利用动态规划算法，计算累计相似度图中累计值最大的位置，得到柱状模型的最优上边缘，从而得到当前帧道路场景下柱状模型。在本专利技术的一个实施例中，所述步骤(6)中检测结果匹配过程具体包括：(6.1)输入当前帧左右图像的检测结果，并归一化到统一大小；(6.2)提取检测结果的尺度不变特征和颜色特征；将归一化后的检测结果细分结果为更小的块；然后在LAB颜色空间提取每个块的颜色直方图，并对颜色直方图特征归一化；对于每个小块，进一步细分为本文档来自技高网...

【技术保护点】
一种基于目标一致性的车载相机快速行人车辆检测方法，其特征在于，所述方法包括如下步骤：(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像，所述双目图像为经过校正后的图像；(2)对当前帧双目图像，建立左右图像的道路场景柱状模型，其中所述柱状模型是将行人车辆障碍物在图像中看做由一条条垂直的条状平面组成，柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线；(3)对当前帧双目图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人车辆模型，对左右两幅图像中的行人和车辆进行检测；(4)判断当前帧的帧序是否大于2并且小于N‑2，如果否，则跳转到步骤(8)；如果是，则继续执行；其中N为双目连续帧图像数据库中的图像数目。(5)将前一帧作为当前帧；(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果；通过前后帧结果的匹配，找到与当前帧中检测结果最相似的检测结果；(7)根据前后帧匹配结果对当前帧的检测结果进行更新；当前帧结果帧匹配结果的可信度并归一化；(8)匹配更新后当前帧的左右两幅图像的检测结果；(9)根据左右帧匹配结果对当前帧左图像中结果进行更新，当前帧左信度并归一化；(10)对于更新后的结果，采用一个高预设阈值进行过滤，得到最终检测结果，并输出；(11)判断帧序是否小于等于N，如果是，跳转到步骤(1)，继续循环；如果不是，则结束。...

【技术特征摘要】
1.一种基于目标一致性的车载相机快速行人车辆检测方法，其特征在于，所述方法包括如下步骤：(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像，所述双目图像为经过校正后的图像；(2)对当前帧双目图像，建立左右图像的道路场景柱状模型，其中所述柱状模型是将行人车辆障碍物在图像中看做由一条条垂直的条状平面组成，柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线；(3)对当前帧双目图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人车辆模型，对左右两幅图像中的行人和车辆进行检测；(4)判断当前帧的帧序是否大于2并且小于N-2，如果否，则跳转到步骤(8)；如果是，则继续执行；其中N为双目连续帧图像数据库中的图像数目；(5)将前一帧作为当前帧；(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果；通过前后帧结果的匹配，找到与当前帧中检测结果最相似的检测结果；(7)根据前后帧匹配结果对当前帧的检测结果进行更新；并归一化，分别表示当前帧第i个检测结果在前后帧中的匹配相似度，表示当前左图像第i个检测结果在右图像中的匹配相似度；(8)匹配更新后当前帧的左右两幅图像的检测结果；(9)根据左右帧匹配结果对当前帧左图像中结果进行更新，并归一化；(10)对于更新后的结果，采用一个高预设阈值进行过滤，得到最终检测结果，并输出；(11)判断帧序是否小于等于N，如果是，跳转到步骤(1)，继续循环；如果不是，则结束。2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体为：(2.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配；(2.2)对最佳匹配的两点的水平坐标相减，得到左右两幅图像的视差图，并归一化到0-255的灰度值，得到归一化后的视差图；(2.3)对于归一化后的视差图，在垂直方向上计算投影，得到大小为256*V的垂直投影图像，其中V表示图像高度；对于垂直投影图像中的点(u,v)，0<u<256,0<v<V，其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果；利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线；(2.4)对于现实场景中的道路平面，根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系，得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系：其中，h、d、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角；v0为相机光心在图像上的纵坐标；a、b为道路平面的先验参数；根据反向映射关系在当前帧双目图像中得到道路位置；(2.5)根据得到的道路位置，在水平方向上计算得到大小为U*256的水平投影图像，其中U表示图像宽度；利用霍夫变换计算水平投影图像中的水平直线；水平投影图像中的水平直线表示行人车辆障碍物位于当前帧双目图像中道路平面的位置；(2.6)根据步骤(2.4)中得到的垂直投影图像中垂直直线与倾斜直线的交点确定行人车辆与地面相交的纵坐标，根据步骤(2.5)得到的水平投影图...

【专利技术属性】
技术研发人员：陶文兵，张治国，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42