一种复杂光照条件下基于视觉的实时车道线检测的方法技术

一种复杂光照条件下基于视觉的实时车道线检测的方法属于计算机视觉和无人智能驾驶领域。在图像预处理时对不同光照图像进行光照估计和光照颜色校正，使其恢复到标准白光下。采用高斯滤波去除图像采集过程中引入的噪声，再对图像二值化处理和边缘提取，在提取过程中对原图像进行区域划分，利用改进的Hough变换得到车道候选线，建立动态感兴趣区域(ROI)，通过基于动态感兴趣区域(ROI)的Hough变换，及kalman滤波对车道线实时跟踪，实现对车道线模型的约束和更新，算法加入了车道线检测失效判别模块，以提高检测的可靠性。该发明专利技术速度快且鲁棒性好，在复杂光照条件下获得良好的车道线检测效果,提高了车辆在动态识别车道线的能力，提升了无人车自动驾驶的安全性。

Vision based real-time lane detection method under complex illumination condition

The invention relates to a vision based real-time lane detection method under complex illumination conditions, belonging to the field of computer vision and unmanned intelligent driving. In the process of image preprocessing, illumination estimation and illumination correction of different illumination images are carried out to restore to the standard white light. The noise introduced by Gauss filter to remove the image acquisition process, and then the image binarization processing and edge extraction, to partition the original image in the process of extraction, obatain candidate lines using the modified Hough transform, establish a dynamic region of interest (ROI), based on the dynamic region of interest (ROI) Hough transform, Kalman filter and real-time tracking of the implementation model of lane, Lane restriction and update algorithm adds lane detection failure criteria to improve the reliability of the detection module. The invention has the advantages of high speed and good robustness, and obtains good lane detection effect under complicated light conditions, and improves the ability of the vehicle to dynamically identify lane lines, and improves the safety of the automatic driving of the unmanned vehicle.

【技术实现步骤摘要】
一种复杂光照条件下基于视觉的实时车道线检测的方法
本专利技术涉及一种复杂光照条件下基于视觉的实时车道线检测的方法，属于车辆自主驾驶和计算机辅助驾驶

技术介绍
近年来,随着公路里程的不断增加和汽车产业的不断发展,交通安全问题也日益严重道，路上的车辆越来越多，发生的事故也在逐年增长，交通事故所带来的伤亡及财产损失是触目惊心，为减少交通事故的发生,运用计算机辅助驾驶系统等科技手段保障行车的安全成为了一种趋势，实现这类系统面临的首要关键问题就是实现快速准确地从车载视频图像中检测车道线，这可以让车辆按照实时路况准确规范行驶,以保证车辆和行人的安全。现阶段车道识别的方法主要分两种：图像特征法和模型匹配法。1、基于图像特征法的基本思想是利用车道边界或标志线与周围环境在图像特征上的不同进行检测。特征差异包括形状、纹理、连续性、灰度和对比度等。Donald等人利用车道线的几何信息对Hough变换参数限制的方法进行高速情况下车道线检测；Lee提出了一个通过边缘公布函数和车辆运动方向的变化估计预测车道线方向的偏移预警系统；Mastorakis利用车道线的直线特征筛选出最有可能的标识线；Wang和Hu分别提出利用车道线上梯度相反方向的性质、车道线区域颜色特征来进行车道线的识别。这类方法借用图像分割和阈值化等技术，算法较为简单，但阴影遮挡、光线变化、噪声、车道边界或标志线不连续性等因素都可能造成车道的无法识别。2、基于模型匹配的方法主要是针对结构化道路的较强几何特征，利用二维或三维曲线进行车道线建模，常用的二维车道模型有直线模型和抛物线模型。B-Snake车道模型提供初始定位后，将车道线检测问题通过道路模型转换为确定样条曲线所需的控制点问题；采用了将Hough变换与抛物线模型结合在一起来检测车道线，并先用直线模型得到道路标识线的初步参数后，再在此基础上利用双曲线模型检测车道线，取得了较好的检测结果；Mechat采用基于SVM的方法对车道线进行建模，并采用标准的卡尔曼滤波器进行估计跟踪。这类方法在建立道路参数模型的基础上，分析图像中的目标信息以确定模型参数，具有不受路面状况干扰的特点，但由于计算复杂度较高，算法的时间开销较大。因此，在实际研究中要将图像特征法和道路模型匹配法结合起来，从而正规化车道识别问题。
技术实现思路
本专利技术针对现有车道线检测技术在复杂光线下检测车道线的识别率低，对图像没有进行很好预处理，使失真图像矫正到标准白光下。而且原有的算法比较复杂，效率低，实时性差的缺点，提出了——一种复杂光照条件下基于视觉的实时车道线检测的方法，对图像进行光照处理矫正到标准白光下，利用车道线像素的信息进行车道线检测和趋势的判断，算法具有良好的实时性，高效率得检测车道线。为实现上述目的，专利技术人提供了一种光照预处理的方法和车道线检测的方法，所述方法如下步骤：在图像预处理时对不同光照图像进行光照估计和光照颜色矫正，使其恢复到标准白光下。采用高斯滤波除去图像采集过程中引入的噪声，再对图像进行二值化处理和边缘提取，在提取过程中对原图像进行区域划分，利用改进的Hough变换得到车道候选线，建立动态的感兴趣区域(ROI)，通过基于动态的感兴趣区域(ROI)的Hough变换实现对车道线模型的约束和更新，及Kalman滤波对车道线实时跟踪，算法加入了车道线检测失效判别模块，以提高检测的可靠性。在结构化的公路上，车道线信息主要是集中在图像的中下部,由于考虑到在不同情况下的摄像机安装，或将车头显示在图像中。本方法采用的步骤如下：对图像进行降采样，并设定感兴趣区域(ROI)，由于视频图像中相邻的图像之间有较大的相关性，大部分图像信息对于车道线检测是无用的，通过寻找对车道线检测有用的感兴趣区域，不但可以降低算法的运算量，而且还能简化车道线的识别。在结构化的公路上，车道线有用信息主要是集中在图像的中下部是感兴趣区域，由于考虑到在不同情况下的摄像机安装，或将车头显示在图像中(0～0.1H)。Wimage表示图像的宽度，Himage定义为图像的高度。这样我们可以缩小图像有效检测区域的范围。车道检测的方法，对感兴趣区域图像预处理--进行颜色矫正，本方法采用的步骤如下：首先从监控相机等图像采集装置中获得感兴趣区域图像ψ，对感兴趣区域图像ψ进行颜色校正，得到校正后图像ψ1；具体步骤如下：图像的光照估计的目的是将未知光照条件下的图像校正到标准白光下的图像，这个过程简要概括为首先估计出图像成像时的光照颜色，然后利用VonKries模型将图像映射到标准白光下。也就可以获得更好的图像的白平衡效果。一般可分为以下步骤：(1)、样本块提取首先从图像中提取样本块。对每个图像样本块，估计照射在该块上的有效光照。(2)、利用现有的单光照条件下的光照估计算法进行光照估计。基于Grey-Edge颜色恒常性算法框架通过变换参数，系统地产生多个不同的颜色恒常性特征值提取方法。(3)、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇。因此，所有的光照估计值被聚类到M类(M为场景中的光照个数)。(4)、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后(M为场景中的光照数)，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就可以得到每种光照的照射位置。由此得到一个光照映射图，即每个像素属于M个光照中的某一个。通过后向映射，可得到每个像素的光照估计值，及像素所在光照类的聚类中心值。(5)、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器(6)、颜色校正，利用每个像素的光照估计值可以把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。目前最常用的对角模型来校正图像。利用图像颜色校正的方法，其特征在于：所述(1)假设每个图像样本块5×5像素并且满足光照在该样本上的光照值是均匀分布的条件(只有一种颜色的光照射到该样本上)。图像光照估计来校正图像颜色的方法，选择的样本块的大小一样，满足以下条件：样本块5×5像素且包含光照颜色信息来准确地估计照射在该样本块上的光照的性质。基于Grey-Edge颜色恒常性算法框架通过变换参数，如下所示，通过变换参数n，q和σ(n是阶乘，q是明科夫斯范式，σ是高斯滤波器的核函数大小)，ε是一个取值范围[0,1]的常数，f(x)表示空间中x点处的光照值；0表示无反射，1表示全反射；e是指数e，系统地产生多个不同的颜色恒常性特征值提取方法。在该框架下，分割图像得到许多图像的样本块。假设每个样本块是5×5像素并且满足在该样本块中光照是均匀分布的假设。在每个样本块上，使用常用的单光照的颜色恒常性算法估计该样本块上的光照值。利用图像光照估计来校正图像颜色的方法，考虑以下五种有代表性的方法：利用图像光照估计来校正图像颜色的方法，五种候选颜色恒常性计算集合Γ＝{e0,1,0,e0,∞,0,e0,∞,1,e1,1,1,e2,1,1}。每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。利用图像光照估计来校正图像颜色的方法，样本块的特征向量可以描述为F‘＝[R,G,B]，R,G,B为图像本文档来自技高网...

【技术保护点】
一种复杂光照条件下基于视觉的实时车道线检测的方法，其特征在于，所述方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果即图像降采样设置感兴趣区域，图像预处理，建立车道线模型，Hough变换候选车道线，kalman滤波，判别模块；(1)对感兴趣区域图像预处理‑‑进行颜色校正；步骤一、样本块提取首先从图像中提取ψ个样本块；对每个图像样本块，估计照射在该块上的有效光照；步骤二、利用现有的单光照条件下的光照估计算法进行光照估计；基于Grey‑Edge颜色恒常性算法框架通过变换参数，产生多个不同的颜色恒常性特征值提取方法；步骤三、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇；所有的光照估计值被聚类到M类；其中M为场景中的光照个数；步骤四、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就得到每种光照的照射位置；由此得到一个光照映射图，即每个像素属于M个光照中的某一个；通过后向映射，得到每个像素的光照估计值，及像素所在光照类的聚类中心值；步骤五、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器；步骤六、颜色校正，利用每个像素的光照估计值把输入图像校正到标准光照下，得到在标准光照下的输出图像(2)颜色校正后图像灰度化，如下式所示；其中，式中：R、G、B分别表示红、蓝、绿通道分量值；G...

【技术特征摘要】
1.一种复杂光照条件下基于视觉的实时车道线检测的方法，其特征在于，所述方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果即图像降采样设置感兴趣区域，图像预处理，建立车道线模型，Hough变换候选车道线，kalman滤波，判别模块；(1)对感兴趣区域图像预处理--进行颜色校正；步骤一、样本块提取首先从图像中提取ψ个样本块；对每个图像样本块，估计照射在该块上的有效光照；步骤二、利用现有的单光照条件下的光照估计算法进行光照估计；基于Grey-Edge颜色恒常性算法框架通过变换参数，产生多个不同的颜色恒常性特征值提取方法；步骤三、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇；所有的光照估计值被聚类到M类；其中M为场景中的光照个数；步骤四、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就得到每种光照的照射位置；由此得到一个光照映射图，即每个像素属于M个光照中的某一个；通过后向映射，得到每个像素的光照估计值，及像素所在光照类的聚类中心值；步骤五、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器；步骤六、颜色校正，利用每个像素的光照估计值把输入图像校正到标准光照下，得到在标准光照下的输出图像(2)颜色校正后图像灰度化，如下式所示；其中，式中：R、G、B分别表示红、蓝、绿通道分量值；Gray表示转换后像素的灰度值；Gray＝R*0.5+G*0.5(3)对灰度化图像车道线边缘提取后进行改进的Hough变换，具体步骤如下：Step1.在给定参数下，对车道线特征进行基于概率的Hough变换操作，获取直线；Step2.对每一个通过Hough变换检测得到的直线，在所有的特征点集S中寻找距离直线不大于dh的特征点，构成集合Eh；Step3.利用最小二乘法确定集合E的回归直线参数kh和bh,其中kh是直线的斜率，bh是直线的截距，以及均方误差eh；Step4.对集合Eh中的任一特征点(xi,yi)，所有满足的khxi+bh>yi的特征点构成子集Epos，所有满足的khxi+bh<yi的特征点构成子集Eneg；Step5.在集合Epos和Eneg中，找出误差最大的点Pp和Pn，Step6.移除点Pp和Pn，更新集合Epos、Eneg和Eh，重复步骤3，直至误差eh小于εh；(4)检测出车道线，基于Kalman滤波车道线线跟踪，(5)车道线帧间关联关系(6)如果检测出车道线参数满足以下情况中的一种，就判定为算法失效；程序中断，程序从头开始执行，1)在动态感兴趣区域内，Hough变换检测到的直线个数为零；2)不满足车道线约束条件的帧数大于Tβ,Tβ＝5；3)从当前一帧检测出的车道线参数相对于上一帧发生了突变，即直线的斜率变化率不应超过10度，截距不超过15个像素。2.根据权利要求1所述利用图像光照估计来校正图像颜色的方法，选择的样本块的大小一样，满足以下条件：样本块5×5像素并且包含光照颜色信息来准确地估计照射在该样本块上的光照的性质。3.根据权利要求1所述，其特征在于：五种候选颜色恒常性计算集合Γ＝{e0,1,0,e0,∞,0,e0,∞,1,e1,1,1,e2,1,1}；每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。4.根据权利要求1所述的方法，其特征在于：样本块的特征向量描述为F‘＝[R,G,B]，R,G,B为图像的颜色通道，使用归一化...

【专利技术属性】
技术研发人员：刘宏哲，袁家政，唐正，李超，赵小艳，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京,11