一种多车道线检测方法技术

本发明专利技术公开一种多车道线检测方法，首先获取连续帧的彩色图像，对当前帧图像进行灰度化处理，并根据相机参数及设定的栅格地图大小，将灰度图做逆透视变换获得道路部分的栅格地图；然后根据控制点先验信息，使用泰森多边形对栅格地图进行区域划分，并对划分区域进行图像二值化处理；再根据车道线先验信息对区域分组，并且分别记录非零像素值的像素点坐标。接着使用改进的RANSAC算法对分组点集做曲线拟合获得车道线方程，最后结合车道线方程和粒子滤波算法对当前图像控制点的预测，计算出最终的车道线方程并对车道线方程做透视变换，获得原始图像中的车道线方程。本发明专利技术提出的方法对车道线检测精度高、鲁棒性好，可同时完成多车道线检测。

A method of multi lane detection

The invention discloses a multi lane detection method of color image, first get the successive frames of the current frame, gray image processing, and according to the camera parameters and setting the raster map size, gray map inverse perspective transform to obtain the grid map part of the road; then according to the control point information, using the Tyson polygon the regional division of the grid map, and the division of the regional image binarization processing; then according to Lane prior information on the regional grouping, and recorded non pixel coordinates zero pixel value. Then the curve fitting equation of the obtained Lane grouping point set using improved RANSAC algorithm, combining the lane line equation and particle filter algorithm to predict the control points of the current image, calculate the final equations and Lane perspective transformation of the Lane Lane equation, get the original image in the equation. The method proposed in the invention has high detection accuracy and robustness to lane detection, and can simultaneously detect multi Lane lines.

【技术实现步骤摘要】
一种多车道线检测方法
本专利技术属于计算机视觉与自动驾驶领域，具体地，涉及一种多车道线检测方法。
技术介绍
在自动驾驶领域，车道线的检测是一个重要环节，也是当前自动驾驶领域研究的热点问题。然而，目前大部分基于计算机视觉的车道线检测方法都不能鲁棒的对车道线进行检测，主要原因如下：道路上的光照、阴影，道路上的其它障碍物(车辆，行人等)，道路上的其它交通标线等信息，对检测道路上的车道线产生干扰。目前，基于计算机视觉的多车道线检测算法有很多。国内外很多和自动驾驶相关的期刊、会议都将车道线检测算法列为重点研究领域，国内外学者也在这方面做出了大量的有益成果，近年来论文中的方法主要有：M.Aly在2008年将图像转换为逆透视图像，然后基于RANSAC算法和BezierSplines曲线对车道线拟合，可同时检测多车道线；M.Nieto等人在2008年将待处理的道路区域转换到逆透视空间中，然后使用具有层次化结构图对道路建模来检测车道线；M.Nieto等人在2011年对待处理的感兴趣区域做逆透视变换，然后使用递归贝叶斯模型对逆透视变换图像做逐像素分类，最后使用圆弧对道路建模检测车道线；L.Xin等人在2011年使用直线和抛物线直接在透视图像上对道路建模，实现远距离多车道线检测；F.M.Sebdani等人在2011年使用固定的交通摄像头采集图像，然后直接对原图实施基本图像处理，最后使用Hough变换对车道线检测；Z.Xu等人在2012年使用改进的Canny算子对道路边缘检测，然后使用概率Hough变换对车道线检测；X.Liu等人在2012年将相机采集的彩色图像转换到HSV空间，接着做基本图像处理，然后使用Canny算子检测道路边缘，最后使用概率Hough变换对车道线检测；J.Y.Deng等人在2013年将图像的感兴趣区域做逆透视变换，接着做基本的图像处理，最后使用优化的RANSAC算法结合B-Spline对车道线检测；D.Seo等人在2014年将图像的感兴趣区域做逆透视变换，接着使用颜色特征对车道线分割，最后使用RANSAC算法结合Hough变换对车道线检测。专利方面，公开号为CN102722705A的中国专利技术专利申请通过基于RANSAC算法对多车道线检测；公开号为CN103617412A的中国专利技术专利结合消失点确定感兴趣区域，然后检测当前两车道的车道线；公开号为CN103632140A的中国专利技术专利利用对图像区域划分对车道线检测；公开号为CN103940434A的中国专利技术专利基于单目视觉和惯性导航单元对车道线实时检测；公开号为CN103971081A的中国专利技术专利基于双边约束方法对多车道线检测；公开号为CN104751151A的中国专利技术专利基于车道线左右两侧颜色明暗变化检测车道线；公开号为CN104951790A的中国专利技术专利基于多源逆透视图像无缝拼接对车道线检测；公开号为CN105160309A的中国专利技术专利基于图像形态学分割及区域生长方法对三车道的车道线检测；公开号为CN105354553A的中国专利技术专利利用结构张量及向量场散度区分边缘、边角等边缘特征，从而实现对车道线检测；公开号为CN105426864A的中国专利技术专利基于等距边缘点匹配方法对多车道线检测；公开号为CN105678285A的中国专利技术专利利用自适应的道路鸟瞰图变换方法对车道线检测。然而，上述所述的文献都不能鲁棒的对多车道线检测，主要问题如下：第一，在图像预处理阶段对整张图像做统一处理，使得光照、阴影等干扰信息影响极大；第二，若是采用RANSAC算法直接对点集做车道线方程拟合，则不能充分利用车道线检测任务中车道线所具有的条状特征，使得RANSAC算法在有限的计算下不能获得更好的结果。
技术实现思路
本专利技术的目的是提供一种多车道线检测方法，能同时执行多车道线检测，并且在光照、阴影等条件下具有高鲁棒性。实现本专利技术目的的技术解决方案为：一种多车道线检测新方法，包括如下步骤：步骤1、初始化控制点先验信息和车道线先验信息；步骤2、获取连续帧的彩色图像，对当前帧图像进行灰度化处理，具体为：使用安装在自主车上的相机，实时的采集RGB三通道彩色图像，然后只提取彩图图像中的R通道图像，作为待处理的灰度图像。步骤3、设定栅格地图的大小，结合相机内参数及相机架设的高度求取当前帧灰度图中感兴趣区域的逆透视图像，此逆透视图像即为当前帧的栅格地图，具体为：根据实际需求，首先设定当前车辆的前方感知范围和左右感知范围，接着设置栅格地图的分辨率，即栅格地图中一个像素对应物理世界中一块区域的大小；然后计算栅格地图的大小；最后结合相机参数和栅格地图的尺寸计算灰度图像的逆透视图，即最终的栅格地图。具体计算步骤为：先计算世界坐标系到栅格地图的映射关系，接着计算世界坐标系到相机坐标系的映射关系，然后计算相机坐标系到图像坐标系的映射关系，最后根据计算出的映射关系，直接从原始灰度图中获得对应位置的像素值填放到栅格地图中，此过程参看图1、图2。步骤4、根据控制点先验信息，在栅格地图上应用德洛内三角剖分算法和泰森多边形，获得对栅格地图的区域划分，划分好的区域互不重叠；步骤5、对划分好的区域分别使用Sobel算子对车道线边缘检测，再使用自适应阈值化操作获得二值图，使用腐蚀操作消除部分噪声点，获得最终的二值图；边缘检测的具体方法为：使用水平方向2阶导数、垂直方向0阶导数、核的大小为5×5的Sobel算子检测车道线边缘；自适应阈值化操作的具体方法为：分别求取每一个区域的最大像素值，如果区域中像素的值大于最大值的95％，则被重新赋值为255，小于最大值的95％的像素，其像素值被赋值为0；腐蚀操作采用3×3大小的核。结合步骤4，最终输出的可视化结果可参看图3。步骤6、根据车道线先验信息，对划分好区域分组，将包含上一帧同一条车道线的区域归为同一组，并记录当前帧在每一组中所包含非零像素值所在位置的横坐标和纵坐标；步骤7、使用改进的RANSAC算法对每一组非零像素点做曲线拟合获得车道线方程，具体为：首先从上到下分别在每一个区域中随机选择一个点，如果该区域中没有点，则直接跳过；然后对随机点做曲线拟合；接着统计其余点到该曲线的距离，对距离大于阈值的非零值像素计数；重复上述步骤直到最大迭代次数，最后选择计数最多的曲线即为最终所拟合出的车道线。步骤8、采用粒子滤波算法结合控制点先验信息预测当前帧的控制点坐标，结合步骤步骤7拟合的车道线方程，求得最终的车道线方程；具体为：采用粒子滤波算法预测当前帧控制点坐标；接着在栅格地图中从上到下每隔一段距离划一条横线，选择步骤步骤7拟合的车道线方程与横线的交点作为当前帧的控制点；然后将计算和预测的横坐标做差值，若差值大于设定的阈值，则将预测的控制点的坐标作为粒子滤波算法的预测值，将计算出的控制点的坐标作为粒子滤波算法的测量值，分别计算预测值的横坐标与测量值的横坐标的距离，并做归一化，将归一化后的值作为预测的控制点的坐标的概率；若差值小于设定的阈值，则不更新粒子滤波算法的粒子概率；最后选取最大概率所对应的粒子作为新的控制点，获得新的控制点后，对每一组新的控制点采用最小二乘拟合，求得最终的车道线方程。步骤9、对栅格地图中求得的最终车道线方程做透视变换，求得当前帧在原图上的车道线方程，即得检测本文档来自技高网...

【技术保护点】
一种多车道线检测方法，其特征在于，包括如下步骤：步骤1、初始化控制点先验信息和车道线先验信息；步骤2、获取连续帧的彩色图像，对当前帧图像进行灰度化处理；步骤3、设定栅格地图的大小，结合相机内参数及相机架设的高度求取当前帧灰度图中感兴趣区域的逆透视图像，此逆透视图像即为当前帧的栅格地图；步骤4、根据控制点先验信息，在栅格地图上应用德洛内三角剖分算法和泰森多边形，获得对栅格地图的区域划分，划分好的区域互不重叠；步骤5、对划分好的区域分别使用Sobel算子对当前帧车道线进行边缘检测，再使用自适应阈值化操作获得二值图，使用腐蚀操作消除部分噪声点，获得最终的二值图；步骤6、根据车道线先验信息，对划分好区域分组，将包含上一帧同一条车道线的区域归为同一组，并记录当前帧在每一组中所包含非零像素值所在位置的横坐标和纵坐标；步骤7、使用改进的RANSAC算法对每一组非零像素点做曲线拟合获得车道线方程；步骤8、采用粒子滤波算法结合控制点先验信息预测当前帧的控制点坐标，结合步骤步骤7拟合的车道线方程，求得最终的车道线方程；步骤9、对栅格地图中求得的最终车道线方程做透视变换，求得当前帧在原图上的车道线方程，即得检测的车道线；若存在未处理的图像帧，则将步骤步骤8得到的最终车道线方程作为下一帧的车道线先验信息，并根据最终车道线方程确定下一帧图像的控制点先验信息，并跳转步骤步骤2处理下一帧。...

【技术特征摘要】
1.一种多车道线检测方法，其特征在于，包括如下步骤：步骤1、初始化控制点先验信息和车道线先验信息；步骤2、获取连续帧的彩色图像，对当前帧图像进行灰度化处理；步骤3、设定栅格地图的大小，结合相机内参数及相机架设的高度求取当前帧灰度图中感兴趣区域的逆透视图像，此逆透视图像即为当前帧的栅格地图；步骤4、根据控制点先验信息，在栅格地图上应用德洛内三角剖分算法和泰森多边形，获得对栅格地图的区域划分，划分好的区域互不重叠；步骤5、对划分好的区域分别使用Sobel算子对当前帧车道线进行边缘检测，再使用自适应阈值化操作获得二值图，使用腐蚀操作消除部分噪声点，获得最终的二值图；步骤6、根据车道线先验信息，对划分好区域分组，将包含上一帧同一条车道线的区域归为同一组，并记录当前帧在每一组中所包含非零像素值所在位置的横坐标和纵坐标；步骤7、使用改进的RANSAC算法对每一组非零像素点做曲线拟合获得车道线方程；步骤8、采用粒子滤波算法结合控制点先验信息预测当前帧的控制点坐标，结合步骤步骤7拟合的车道线方程，求得最终的车道线方程；步骤9、对栅格地图中求得的最终车道线方程做透视变换，求得当前帧在原图上的车道线方程，即得检测的车道线；若存在未处理的图像帧，则将步骤步骤8得到的最终车道线方程作为下一帧的车道线先验信息，并根据最终车道线方程确定下一帧图像的控制点先验信息，并跳转步骤步骤2处理下一帧。2.根据权利要求1所述的一种多车道线检测方法，其特征在于，所述步骤步骤2只提取彩图像中的红色通道进行灰度化处理。3.根据权利要求1所述的一种多车道线检测方法，其特征在于，所述步骤步骤3获取栅格地图的具体方法为：步骤3-1、设定当前车辆的前方感知范围和左右感知范围，以及栅格地图的分辨率，即栅格地图中一个像素对应物理世界中一块区域的大小；步骤3-2、接着计算栅格地图的大小；步骤3-3、结合相机参数和栅格地图的尺寸计算灰度图像的逆透视图，即最终的栅格地图。4.根据权利要求1所述的一种多车道线检测方法，其特征在于，所述步骤步骤5边缘检测的具体方...

【专利技术属性】
技术研发人员：陈必科，杨健，宫辰，钱建军，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32