计算机视觉车道线检测系统及其检测方法技术方案

本发明专利技术公开了一种计算机视觉车道线检测系统，包括：所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。本发明专利技术还公开了一种计算机视觉车道线检测方法。本发明专利技术既能适用于结构化道路(例如高速路)又能适用于非结构化道路(城市街道)，能通过代码化应用于自动驾驶车辆上，车道检测准确、检测速度快。

Computer Vision Lane Line Detection System and Its Detection Method

The invention discloses a computer vision Lane Detection system, which includes: the lane line extraction module, extracting lane line edge features in images, generating lane line over-standard, and extracting lane line marker blocks by preset parameters; the over-standard is a cluster of adjacent lane edge features detected in lane edge feature detection; the lane line fitting module, which is relative to each other. The lane line extraction module extracts the lane line marker blocks to fit and generate the fitted Lane line; the lane line filtering module filters the fitted lane line unless the lane line interferes with the fitted Lane line; the filtering module filters the fitted lane line according to the front and back frames of the image, unless the lane line forms the lane line equation. The invention also discloses a computer vision Lane Detection method. The invention can be applied to both structured roads (such as expressways) and unstructured roads (urban streets), and can be applied to automatic driving vehicles through coding, with accurate lane detection and fast detection speed.

【技术实现步骤摘要】
计算机视觉车道线检测系统及其检测方法
本专利技术涉及汽车领域，特别是涉及一种用于自动驾驶技术基于计算机视觉的车道线检测系统。本专利技术还涉及一种用于自动驾驶技术基于计算机视觉的车道线检测方法。
技术介绍
智能车辆是智能交通系统的一个重要组成部分，其环境感知系统主要由视觉传感器、激光雷达、惯性元件等一系列高精度的传感器组成，通过送些传感器来采集路况环境信息，进而为智能车辆的控制决策系统提供依据，控制车辆的油口、制动、转向等执行机构，实现车辆的自动驾驶。车道线作为路面最主要的指示信息之一，它可以有效地引导车辆在约束的道路区域内行驶，准确地检测出路面的车道线是实现智能车自动驾驶的基础。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机)和大脑(算法)，让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"Onepictureisworthtenthousandwords"表达了视觉对人类的重要性。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。车道检测算法主要基于其检测范围和驾驶情况以两种方式开发。检测范围可能略有不同，算法可检测行车道或多车道。在单车道检测中，检测目标仅限于车辆周围的两个行车道标记。这反映了狭窄的车道检测概念，仅适用于LDWS或LKAS。在多车道检测中，算法不仅检测车辆行驶的行驶车道，还检测行驶车道附近的车道。驾驶情况方面，算法最初设计用于公路驾驶，但是后来愈来愈逐渐针对更复杂和更具挑战性的环境(例如城市环境)而开发。在高速公路情况下，由于并行性的假设，算法可以简化，这意味着车道标记是平行的并且具有相同的车道宽度。但是，在城市环境中，算法变得更加复杂，因为必须考虑城市街道产生的各种因素，例如频繁分裂和合并车道标记，高曲率，十字路口标志和路缘石等。
技术实现思路
本专利技术要解决的技术问题是提供一种基于计算机视觉能适用于结构化道路(例如高速路)和非结构化道路(城市街道)的计算机视觉车道线检测系统。本专利技术还提供了一种基于计算机视觉能适用于结构化道路(例如高速路)和非结构化道路(城市街道)的计算机视觉车道线检测方法。为解决上述技术问题，本专利技术提供一种计算机视觉车道线检测系统，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；车道线边缘特征就是描述车道线区域边缘的特征点、特征线段等。所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块通过图像相邻像素之间的强梯度值提取车道线边缘特征。进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块提取车道线边缘特征采用以下方式；利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；随着输入强度变低，该函数给出较低的阈值。此功能用于确保无论光照情况如何变化，都可以自适应地提取车道边缘特征要素。通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。进一步改进所述的计算机视觉车道线检测系统，所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。进一步改进所述的计算机视觉车道线检测系统，超像素的概念通常应用于图像分割问题。通过将具有相似属性的一组相邻像素形成为超像素,可以更有效地解决分割问题。超像素通过仅需要处理少量超像素而不是数十万像素来有效地降低问题的复杂性。类似假设属于相同车道标记的车道特征可以聚类成一个小组，从而形成超标。要成为超标，车道要素应满足以下条件：要素应相互连接，要素应具有相同的方向。即，所述车道线提取模块根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。进一步改进所述的计算机视觉车道线检测系统，对产生的超标进行二次筛选后再形成车道线标记块。进一步改进所述的计算机视觉车道线检测系统，所述二次筛选是对HSV三通道分割进行阈值滤波。H通道的数值是归一化后的数值；S通道为饱和度,取值范围就是0-1；V通道为色彩的明亮程度,取值范围就是0-1。车道线的常见颜色有黄色与白色两种，可通过这一特征对超标进行筛选。颜色空间在车道线组合片段的筛选中，通过HSV空间中，色相H、饱和度S的不同进行阈值处理，可以将常见的黄色、白色车道线进行初步提取，从而筛选出符合颜色特征的超标。进一步改进所述的计算机视觉车道线检测系统，所述预设参数包括车道线标记块的颜色、大小和位置。进一步改进所述的计算机视觉车道线检测系统，所述车道线提取模块根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。进一步改进所述的计算机视觉车道线检测系统，通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。进一步改进所述的计算机视觉车道线检测系统，所述车道线拟合模块通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线。所述条件随机场(CRF)拟合采用以下方式；构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；在CRF图中，图的能量被描述为一元项和成对项的组合。顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，对应于一般CRF模型中的成对电位,C是图G中集团集合cl(G)中的集团。基于获得图的能量，标签集L*通过最小化图的能量来确定；问题的复杂性在于O(n4)的搜索空间很大。但是它并没有严重影响运行时性能，因为通过与超标的低级别关联显著降低了计算成本。平均而言，在一帧中可以发现并检查少于10个可能的关联案例。通过本文档来自技高网...

【技术保护点】
1.一种计算机视觉车道线检测系统，其特征在于，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。

【技术特征摘要】
1.一种计算机视觉车道线检测系统，其特征在于，包括：车道线提取模块、车道线拟合模块、车道线滤除模块和滤波模块；所述车道线提取模块，提取图像中车道线边缘特征，生成车道线超标，通过预设参数利用超标提取车道线标记块；所述超标是在车道边缘特征检测中检测到的相邻车道边缘特征的集群；所述车道线拟合模块，对车道线提取模块提取的车道线标记块进行拟合生成拟合车道线；所述车道线滤除模块，滤除非车道线对拟合车道线的干扰；所述滤波模块，根据图像前后帧对拟合车道线进行滤波，滤除非车道线形成车道线方程。2.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块通过图像相邻像素之间的强梯度值提取车道线边缘特征。3.如权利要求2所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块提取车道线边缘特征采用以下方式；利用两个滤波器fl和fr通过在输入图像I(x，y)中逐行扫描检测凸显左右边缘，获得滤波后的图像Il(x；y)和Ir(x；y)，进行图像函数公式阈值化，函数根据输入强度给出可变阈值；通过上述两个阈值化图像，在每个图像中找到局部最大值来提取车道线边缘特征Xi＝(xi，yi)，其是表示特征的位置的矢量。4.如权利要求3所述的计算机视觉车道线检测系统，其特征在于：所述车道线边缘特征满足两个局部最大值的间隔在最小估计车道特征宽度wm和最大估计车道特征宽度wM之间。5.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块根据车道线边缘特征是否相互连接和是否具有相同的方向性生成超标。6.如权利要求5所述的计算机视觉车道线检测系统，其特征在于：对产生的超标进行二次筛选后再形成车道线标记块。7.如权利要求6所述的计算机视觉车道线检测系统，其特征在于：所述二次筛选是对HSV三通道分割进行阈值滤波。8.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述预设参数包括车道线标记块的颜色、大小和位置。9.如权利要求8所述的计算机视觉车道线检测系统，其特征在于：所述车道线提取模块根据颜色对超标进行筛选，将符合颜色超标的车道线标记块提取形成车道线。10.如权利要求9所述的计算机视觉车道线检测系统，其特征在于：通过HSV空间中，色相H、饱和度S的不同进行阈值对超标进行颜色筛选。11.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线拟合模块通过条件随机场(CRF)对车道线标记块进行拟合生成拟合车道线。12.如权利要求11所述的计算机视觉车道线检测系统，其特征在于：所述条件随机场(CRF)拟合采用以下方式；构造CRF图G＝(V，E)，其中每个顶点指示两个超标的可能关联，并连接顶点的边表示它们之间的相关性的存在。通过两个测量函数distgeo和distdir确定顶点，用于计算两个超标的几何距离和方向性；其中hi是超标记si的头部，tj是超标记sj的尾部，而表示由hi和tj构成的线的倾斜角度，如果distgeo和distdir都处于设置为包含来自实际数据集的所有正样本的阈值之下，则称这两个超标是可关联的并且变为顶点vk＝(si→sj)；CRF图中的边在通过图中任何跳跃共享顶点中至少一个相同超标的所有顶点之间进行，使得顶点的子集形成集团；顶点的一元项表示其自身的概率，而成对项表示由边连接的顶点之间的关系的概率；P(L|S)表示标签集的整体概率，而是图的能量，由一元电位U(lk|sk)和集团电位组成，C是图G中集团集合cl(G)中的集团；基于获得图的能量，标签集L*通过最小化图的能量来确定；通过能量最小化，产生超标之间的最终关联结果形成拟合车道线。13.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述车道线滤除模块滤除非车道线对拟合车道线干扰采用以下方式；提取图像中候选拟合车道线，通过拟合车道线的交点投票确定道路消失点的位置信息，判别所有的检出直线特征是否通过消失点区域，并以此作为滤除条件滤除非车道线的干扰。14.如权利要求1所述的计算机视觉车道线检测系统，其特征在于：所述滤波模块利用卡尔曼(kalman)滤波前后帧关联的滤波方法对拟合车道线进行滤波，滤除非车道线形成车道线方程。15.如权利要求14所述的计算机视觉车道线检测系统，其特征在于：所述卡尔曼(kalman)滤波前后帧关联的滤波方法包括：在图像第一帧检测结束后，对卡尔曼滤波器的参数进行初始化，后帧车道线参数方程系数与前帧车道线参数方程系数对比，若满足设定阈值，则认为两条车道线参数方程为同一车道线，用后帧的车道线参数方程系数作为观测量对状态量进行更新；若不满足设定阈值，则保持预设数量的帧等待新帧关联，如仍未被关联则进入参数方程删除步骤；对于保持预设数量帧仍不满足匹配要求的车道线参数方程，追溯该帧之前三帧的车道线参数方程，如果与前面三帧均可获得可靠匹配，则进入车道线参数方程增加步骤。16.如权利要求15所述的计算机视觉车...

【专利技术属性】
技术研发人员：解博，陈琦，栗工，
申请(专利权)人：联创汽车电子有限公司，
类型：发明
国别省市：上海,31