一种基于单目前视相机的前车检测与跟踪方法技术

本发明专利技术公开了一种基于单目前视相机的前车检测与跟踪方法。该方法包括以下步骤：S1：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，去除车辆检测ROI区域中未含显著纹理特征的区域，利用级联分类器，搜索特定尺度范围内的车辆位置；S2：对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；S3：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。本发明专利技术能够最大程度减少搜索范围，提升搜索效率，有效实现全距离范围车辆快速有效跟踪。

A front vehicle detection and tracking method based on single current camera

The invention discloses a method of detecting and tracking a front car based on a single current view camera. The method comprises the following steps: S1, according to the prior knowledge to determine the vehicle detection and vehicle detection ROI region ROI region sliding window search scale, remove significant texture features without the vehicle detection ROI region, using the cascade classifier, search the vehicle position specific scale; S2: for the front of their vehicles and in vehicle candidateregion image, feature point extraction and tracking algorithm using optical flow tracking of this series of corner points, before the car position; for their own vehicles in front of the non vehicle, using the Calman filter based on kinematics model of front vehicle location tracking; S3: tracking results and the position of the vehicle according to vehicle position detection the results of calculation, the current position of the vehicle in front of confidence. The invention can minimize the search range, improve the search efficiency, and effectively realize the fast and effective tracking of vehicles with full range range.

【技术实现步骤摘要】
一种基于单目前视相机的前车检测与跟踪方法
本专利技术涉及车辆检测
，尤其涉及一种基于单目前视相机的前车检测与跟踪方法。
技术介绍
高级辅助驾驶系统(ADAS)是车辆主动安全发展的重要技术之一，已经逐步成为各国NCAP评价车辆安全等级的重要参考依据。前防撞预警(FCW)、车道偏离预警(LDW)等ADAS功能已经成为现有的中高端车型的标准配置。对于针对前方车辆的ADAS系统如FCW以及自动紧急制动系统(AEB)，不仅要求感知系统能够及时准确的检测出前方车辆，还要求系统能够准确的测量与预测前车相对于自身车辆的运动状态，以保证预警与辅助驾驶系统效果。此外，自动驾驶系统的实现要求车辆具备对周围环境的高度感知能力，包括对其他交通参与者的相对运动信息的判断。因此，感知系统不仅需要基于单帧图像准确的检测与计算前方车辆的相对位置，还需要基于时序图像准确计算该车辆的相对于自身车辆的运动状态。此外，ADAS系统对于感知算法的准确性以及实时性要求均较高，因此算法的设计与优化需要综合考虑空间与时间两个域度的因素。现有FCW以及AEB系统大多基于视觉或毫米波雷达以及激光雷达传感器对前方车辆进行检测、跟踪并采取相应预警与辅助操作。毫米波雷达多目标区分度较差，激光雷达成本较高，刷新率低且对恶劣天气鲁棒性差。视觉系统相对成本较低，且系统适用工况较广。现有基于视觉传感的ADAS系统大多利用车辆边缘纹理、车辆对称性或底部阴影等特征定位车辆检测感兴趣区域(ROI)，之后利用基于梯度、直方图等图像特征训练的车辆检测分类器对此ROI区域内进行滑窗搜索车辆位置，并利用Kalman滤波对搜索结果进行跟踪。此类方法搜索耗时较久，并且无法检测与跟踪近距离轮廓不完整车辆。
技术实现思路
本专利技术为了解决上述技术问题，提供了一种基于单目前视相机的前车检测与跟踪方法，其利用先验信息，最大程度减少搜索范围提升搜索效率，此外还利用车道模型对正前方车辆采用基于图像特征点光流信息的跟踪方法，对于非正前方车辆采用基于运动学模型的卡尔曼滤波进行跟踪，可以有效实现全距离范围车辆快速有效跟踪。为了解决上述问题，本专利技术采用以下技术方案予以实现：本专利技术的一种基于单目前视相机的前车检测与跟踪方法，包括以下步骤：S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。利用道路模型、车辆宽度范围、车辆高宽比范围这些先验信息以及图像显著性特征，减少搜索范围，提升搜索效率。对于自身车辆正前方的车辆，采用基于图像特征点光流信息的跟踪方法进行前车位置跟踪，对于非正前方车辆采用基于运动学模型的卡尔曼滤波进行跟踪，实现全距离范围车辆快速有效跟踪。若车辆检测结果与车辆跟踪结果吻合，则该车辆位置置信度增加，反之置信度减小。作为优选，所述步骤S1包括以下步骤：S11：基于平面纵向道路模型假设，利用相机内外部参数，确定车辆检测ROI区域；S12：利用边缘滤波，对车辆检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROImask，从ROI区域中去除边缘特征显著性较差区域，得到车辆图像候选区域；S13：对ROI区域，根据道路模型与车辆宽度范围、车辆高宽比范围的先验知识，生成ROI区域滑窗搜索列表，利用预先生成的级联分类器，对滑窗搜索列表的图像内容进行二分类，确定滑窗搜索列表中车辆的相应图像位置；S14：基于平面纵向道路模型假设，利用相机内外部参数，将车辆图像候选区域底部图像坐标逆透视变换至路面坐标系。作为优选，所述步骤S13还包括以下步骤：利用车辆底部阴影信息对车辆图像候选区域下边缘进行优化。作为优选，所述相机内外部参数包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ。作为优选，所述ROI区域滑窗搜索列表的内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比。作为优选，所述级联分类器的生成方法包括以下步骤：利用adaboost分类器，每一级弱分类器的训练过程为：初始化训练数据的权值分布，每个样本赋予同样的权重系数，训练过程中，若该样本被准确的分类，则降低该样本的权重系数，反之，则提高相应权重系数；反复迭代上述过程，产生若干弱分类器，最后级联各弱分类器生成最终强分类器。级联各弱分类器可增大误差率小的弱分类器权重系数，减小误差率大的弱分类器权重系数。作为优选，所述步骤S2包括以下步骤：S21：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，如果位于自身车辆正前方，则执行步骤S22，否则执行步骤S23；S22：对正前方车辆图像候选区域提取角点特征，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置；根据相邻两帧角点特征跟踪结果，基于区域相似性假设，利用RANSAC方法计算被检测车辆投影变换矩阵，更新车辆滑窗位置；S23：基于匀速运动学模型，利用卡尔曼滤波对非正前方车辆进行跟踪，所使用的状态空间方程如下：xt+1＝Axt+But+ωtyt+1＝Cxt+ρt其中，x为系统状态量，包括车辆的位置与位置变化信息，即[X，Y，dX，dY]T；y为系统观测量，包括车辆的位置信息，即[X，Y]T；ω，ρ分别为过程噪声和测量噪声；A、B、C是系统状态空间矩阵；t是离散时间步长序号。作为优选，所述步骤S3包括以下步骤：先计算车辆位置检测结果与车辆位置跟踪结果的重合度o，重合度o计算公式如下：其中，Sd为检测所得车辆图像区域面积，St为跟踪所得车辆图像区域面积，Sall为两者并集的图像区域面积；如果重合度o大于50％，则视为检测到该车辆，如果重合度o小于或等于50％，则视为未检测到该车辆；接着计算置信度Ct，置信度Ct计算公式如下：其中，Cmax为置信度上限阈值；bool(dt)为是否检测到该车辆的二进制数值，1为检测到，0为未检测到；G1与G2为可配置增益参数。作为优选，所述一种基于单目前视相机的前车检测与跟踪方法还包括步骤S4：车辆报文信息生成：根据车辆位置检测结果与车辆位置跟踪结果，生成相应车辆报文信息。作为优选，所述车辆报文信息包括车辆身份编号ID、车辆位置信息(X，Y)、车辆相对运动信息(dX，dY)、车辆生命周期E、车辆置信度C。本专利技术的有益效果是：利用图像显著性特征、道路以及车道模型等先验信息，最大程度减少搜索范围提升搜索效率，此外利用车道模型对当前车道近距离车辆(正前方车辆)采用基于图像特征点光流信息的跟踪方法，对于远距离以及其他车道车辆(非正前方车辆)采用基于运动学模型的卡尔曼滤波进行跟踪，可以有效实现全本文档来自技高网...

【技术保护点】
一种基于单目前视相机的前车检测与跟踪方法，其特征在于，包括：S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。

【技术特征摘要】
1.一种基于单目前视相机的前车检测与跟踪方法，其特征在于，包括：S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。2.根据权利要求1所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S1包括以下步骤：S11：基于平面纵向道路模型假设，利用相机内外部参数，确定车辆检测ROI区域；S12：利用边缘滤波，对车辆检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROImask，从ROI区域中去除边缘特征显著性较差区域，得到车辆图像候选区域；S13：对ROI区域，根据道路模型与车辆宽度范围、车辆高宽比范围的先验知识，生成ROI区域滑窗搜索列表，利用预先生成的级联分类器，对滑窗搜索列表的图像内容进行二分类，确定滑窗搜索列表中车辆的相应图像位置；S14：基于平面纵向道路模型假设，利用相机内外部参数，将车辆图像候选区域底部图像坐标逆透视变换至路面坐标系。3.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S13还包括以下步骤：利用车辆底部阴影信息对车辆图像候选区域下边缘进行优化。4.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述相机内外部参数包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ。5.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述ROI区域滑窗搜索列表的内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比。6.根据权利要求2或3或4或5所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述级联分类器的生成方法包括以下步骤：利用adaboost分类器，每一级弱分类器的训练过程为：初始化训练数据的权值分布，每个...

【专利技术属性】
技术研发人员：缪其恒，孙焱标，王江明，许炜，
申请(专利权)人：浙江零跑科技有限公司，
类型：发明
国别省市：浙江,33