基于多线索视觉特征融合的车道偏离预警方法技术

技术编号:15378306 阅读:172 留言:0更新日期:2017-05-18 21:51
本发明专利技术公开了一种基于多线索视觉特征融合的车道偏离预警方法,包括:将采集的图像转换成灰度图,至少提取第一视觉特征和第二视觉特征;对提取到的多个特征进行融合得到检查结果;通过跟踪系统提取稳定的角点,并对角点特征点进行匹配跟踪,得到跟踪结果;将跟踪结果与检测结果进行融合,得到最终检查结果,识别车道线;计算车在车道中的位置P,判断车是否发生偏移,当P‑L< 0时,车辆发生左偏转,当P‑R>0时,车发生右偏转,其中L为左边车道线位置,R为右边车道线位置;当判断车辆发生偏转时进行报警。通过多线索特征的融合,可以增强检测目标的鲁棒性,能够更加准确的描述车辆偏离车道线的过程,在车辆偏离时的报警更加准确。

Lane departure warning method based on multi cue visual feature fusion

The invention discloses a visual feature fusion of multiple cues of lane departure warning method, which is based on the collected image is converted to grayscale, at least the first second extraction of visual features and visual features; multiple features of the extract obtained by fusing the inspection results; through the tracking system to extract corner matching tracking stability. And the corner feature point tracking results; the results of the tracking and detection results are fused to get the final examination results, the recognition of lane position calculation; P cars in the driveway in the judgment whether the car shift, when the P L< 0, the vehicle left deflection, when P R> 0 that car has the right deflection, where L is the left lane position, R is on the right lane position; when judging vehicle deflection for alarm. Through the fusion of multi cue features, the robustness of the detection target can be enhanced, and the vehicle lane departure process can be described more accurately.

【技术实现步骤摘要】
基于多线索视觉特征融合的车道偏离预警方法
本专利技术涉及一种车道偏离预警方法,具体地涉及一种基于多线索视觉特征融合的车道偏离预警方法。
技术介绍
视觉特征是在计算机视觉领域常用的识别物体目标的特征,它是人工智能与模式识别的一个基本模块。视觉特征有度值特征、边缘梯度特征、LBP特征、角点特征点特征等等。车道偏离预警系统是辅助驾驶系统的一种,该系统通过安装于车辆前方的摄像头传感器对车辆行驶状况以及道路状况进行实时监控。当车辆在换道偏离时,对错误的违规换道行为进行预警提示,并及时提醒驾驶员修正驾驶行为。通常,车道偏离系统中的车道线检测多采用检测器检测,用到的主要技术方法有:霍夫变换、直线检测、边缘提取等。由于检测过程中,使用的视觉特征单一、用到的算法复杂度高以及算法的精度问题,目前,存在的问题有:1、系统无法达到实时检测的要求。2、只能对简单路况进行识别和判定。3、系统精度难以达到国标的要求。例如,公告号为CN103738243的中国专利文献公开了一种车道偏离预警方法,包括视频采集装置安装和参数标定步骤、图像预处理步骤、边缘检测步骤、车道线识别步骤和车道偏离预警时间确定步骤;其中,边缘检测步骤,包括采用局部最大差值法提取图像边缘梯度、采用最大类间方差法对边缘图像进行二值化处理、对二值化后的边缘图像进行细化、噪点去除处理;车道线识别步骤,通过Hough变换检测出多条直线,选定符合要求的车道线。该专利的车道线的识别是通过边缘检测,提取图像边缘梯度,通过Hough变换检测出多条直线。其使用的视觉特征单一,车道线识别的准确率不高。
技术实现思路
针对上述存在的技术问题,本专利技术提供了一种基于多线索视觉特征融合的车道偏离预警方法,通过多线索特征的融合,来增强检测目标的鲁棒性,能够更加准确的描述车辆偏离车道线的过程,在车辆偏离时的报警更加准确。本专利技术的技术方案是:一种基于多线索视觉特征融合的车道偏离预警方法,包括以下步骤:S01:将采集的图像转换成灰度图,至少提取第一视觉特征p1(x)和第二视觉特征p2(x);S02:对提取到的多个特征进行融合得到检查结果,即:p(x)=w1·p1(x)+w2·p2(x)其中,w1,w2为特征融合的权重;S03:通过跟踪系统提取稳定的角点,并对角点特征点进行匹配跟踪,得到跟踪结果Rt(x);S04:将跟踪结果Rt(x)与检测结果p(x)进行融合,得到最终的检查结果R(x),识别出车道线,即:R(x)=wt·Rt(x)+wd·p(x)其中,wt,wd为融合的权重;S05:计算车辆在车道中的位置P,判断车辆是否发生偏移,当P-L<0时,车辆发生左偏转,当P-R>0时,车辆发生右偏转,其中L为左边车道线位置,R为右边车道线位置;当判断车辆发生偏转时进行报警。优选的,在检测过程的视觉特征为三个,第一视觉特征为LBP特征p1(x)、第二视觉特征为灰度值特征p2(x)、第三视觉特征为边缘梯度值特征p3(x),对应的特征融合权重为w1,w2,w3,初始权重为0.3、0.5、0.2,三个权重值根据特征的可靠性进行动态调整分配。优选的,所述跟踪模块权重wt,检测模块权重wd的初始权重为0.5、0.5,在检测过程中,两个权重值根据特征的可靠性进行动态调整分配。优选的,所述步骤S05中车辆在车道中的位置由下述步骤得到,通过投影变换矩阵,将车道线结果投影到鸟瞰图,通过下述公式计算车辆在车道中的位置P(x)为:P(x)=Left(x)+Right(x)-Lcar其中,Left(x)为投影图计算得到的左边车道线位置,Right(x)为投影图计算得到的右边车道线位置,Lcar为车的宽度。优选的,通过车辆在车道中的位置P(x),得到横向偏离速度v(x):v(x)=(p(x1)-p(x0))*cosα其中,p(x1)、p(x0)为相邻两帧图片中车辆的位置,车辆角度α为:其中,α1为左侧车道线的角度,α2为右侧车道线的角度;通过车辆在车道中的位置以及横向偏离速度v判断是否发生偏移状态,当0.0<v<0.5且P-L<0.7或者v>0.5且0.7<P–L时,车辆发生左偏转,当0.0<v<0.5且P-R<0.7或者v>0.5且0.7<P–R时,车辆发生左偏转。与现有技术相比,本专利技术的优点是:1、本专利技术的系统采用了视觉多线索特征进行融合,检测效果更加鲁棒有效。本专利技术的系统集成了检测和跟踪算法,在车道线检测的性能上更加准确。2、种通过车道线判定车辆自身位置的算法,能够更加准确的描述车辆偏离车道线的过程,在车辆偏离时的报警更加准确。附图说明下面结合附图及实施例对本专利技术作进一步描述:图1为本专利技术车道线检测的流程图;图2为本专利技术车辆偏离车道的报警流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本专利技术进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本专利技术的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本专利技术的概念。实施例:下面结合附图,对本专利技术的较佳实施例作进一步说明。如图1所示,具体包括如下步骤:1、采集摄像头是分辨率1280*720的RGB摄像头。提取到图片之后,RGB2GRAY转换成灰度图。2、检测LBP特征。3、使用Sobel算子提取图像边缘梯度特征,具体如下:通过Gx,Gy进行卷积得到梯度图。对Gx和Gy通过以下公式可以得到该点的梯度幅值:并且可以通过梯度公式计算得到梯度方向θ:4、通过最大类间方差法(OSTU)对图像进行阈值二值化,得到二值图,即可提取到车道线的灰度特征。记t为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0。背景点数占图像比例为w1,平均灰度为u1。则图像的总平均灰度为:u=w0*u0+w1*u1。前景和背景图象的方差:g=w1·(u0-u)·(u0-u)+w2·(u1-u)·(u1-u)=w1·w2·(u0-u)·(u1-u)因此通过得到的阈值g,可以对图像进行阈值二值化,从而得到灰度特征。5、多线索融合算法通过对提取到的多线索特征,如灰度值特征p1、边缘梯度值特征p2、LBP特征p3,进行融合:p(x)=w1·p1(x)+w2·p2(x)+w3·p3(x)其中,w1,w2,w3为三种特征融合的权重。初始权重为0.5、0.2、03,在检测过程中,这三个权重值会根据特征的可靠性来动态调整分配。6、跟踪与检测结果相融合通过级联检测器检测到的结果,主要检测多线索特征,包括灰度值特征、边缘梯度特征、LBP特征等进行检测车道线。通过跟踪系统在上一帧图结果的邻域中提取稳定的角点,并对角点特征点进行匹配跟踪,从而得到跟踪的结果。跟踪的方法为常用的特征点角点跟踪算法。最终的检测结果为跟踪结果与检测结果相融合:R(x)=wt·Rt(t)+wd·Rd(x)其中,wt,wd为跟踪与检测结果相融合的权重。初始权重为0.5、0.5,在检测过程中,这两个权重值会根据特征的可靠性来动态调整分配。7、根据最终的检测结果识别出车道线后,通过投影变换矩阵,将车道线结果投影到鸟瞰图。通过公式得出车在车道中的位置P(x)为:P(x)=Left(x)+Right(x)-本文档来自技高网...
基于多线索视觉特征融合的车道偏离预警方法

【技术保护点】
一种基于多线索视觉特征融合的车道偏离预警方法,其特征在于,包括以下步骤:S01:将采集的图像转换成灰度图,至少提取第一视觉特征p

【技术特征摘要】
1.一种基于多线索视觉特征融合的车道偏离预警方法,其特征在于,包括以下步骤:S01:将采集的图像转换成灰度图,至少提取第一视觉特征p1(x)和第二视觉特征p2(x);S02:对提取到的多个特征进行融合得到检查结果,即:p(x)=w1·p1(x)+w2·p2(x)其中,w1,w2为特征融合的权重;S03:通过跟踪系统提取稳定的角点,并对角点特征点进行匹配跟踪,得到跟踪结果Rt(x);S04:将跟踪结果Rt(x)与检测结果p(x)进行融合,得到最终的检查结果R(x),识别出车道线,即:R(x)=wt·Rt(x)+wd·p(x)其中,wt,wd为融合的权重;S05:计算车辆在车道中的位置P,判断车辆是否发生偏移,当P-L<0时,车辆发生左偏转,当P-R>0时,车辆发生右偏转,其中L为左边车道线位置,R为右边车道线位置;当判断车辆发生偏转时进行报警。2.根据权利要求1所述的基于多线索视觉特征融合的车道偏离预警方法,其特征在于,在检测过程的视觉特征为三个,第一视觉特征为LBP特征p1(x)、第二视觉特征为灰度值特征p2(x)、第三视觉特征为边缘梯度值特征p3(x),对应的特征融合权重为w1,w2,w3,初始权重为0.3、0.5、0.2,三个权重值根据特征的可靠性进行动态调整分配。3.根据权利要求1所述的基于多线索视觉特征融合的车道偏离预警方法,其特征在于,所述跟踪模块权...

【专利技术属性】
技术研发人员:刘星张伟陈睐
申请(专利权)人:清华大学苏州汽车研究院吴江
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1