基于视觉多特征的复杂道路线提取方法技术

本发明专利技术公开了一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：(1)摄像头标定；(2)透视变换矫正；(3)图像滤波及兴趣点提取；(4)快速LSD线检测；(5)伪道路线剔除及合并；(6)左右边界查找；(7)道路线信息提取。本发明专利技术的有益效果为：本发明专利技术解决了复杂场景下道路线提取的实时性差与鲁棒性低的问题；在两个挑战性数据集Caltech和SLD都获得较高的性能，道路线提取完整性平均精度达到92％，单帧平均运行时间35ms，充分验证了本发明专利技术的有效性。

Complex path extraction method based on visual multi feature

【技术实现步骤摘要】
基于视觉多特征的复杂道路线提取方法
本专利技术涉及道路安全
，尤其是一种基于视觉多特征的复杂道路线提取方法。
技术介绍
道路线提取是车道偏离预警系统和辅助/自动驾驶的重要环节。由于实际场景中道路线复杂多变、油漆量不足及光照环境影响等，给成像设备带来诸多挑战，同时也影响道路线信息提取，因此，针对复杂道路线提取方法研究是亟需攻破的难题。针对传统道路线提取，当前主要方法是通过提取道路线边缘图或二值图，利用直线检测技术Hough或Radon生成道路线，结合图像信息去除干扰噪声。目前，国内外学者在复杂道路线提取方面的研究很少。樊超等在论文“基于改进RANSAC算法的车道线识别方法”中提出在特征提取基础上提出一种改进的随机抽样一致算法，能有效解决光照变化和车道线破损等路况，但不适用于车道曲线转弯场景，且算法的时间复杂度较高。AjaykumarR等在论文“AutomatedLaneDetectionbyK-meansClustering:AMachineLearningApproach”中提出应用k-means聚类对得到道路线轮廓进行修正，该算法优点是能提取到全部车道线，对车道线形状并不敏感，然而对于光照的变化却不够鲁棒。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于视觉多特征的复杂道路线提取方法，能够解决复杂场景下道路线提取的实时性差与鲁棒性性低的问题。为解决上述技术问题，本专利技术提供一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：(1)摄像头标定；将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵；(2)透视变换矫正；利用标定参数点矩阵将道路图转化为自上而下的俯视图，俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序，坐标数据排列顺序采用逆时针且数据进行归一化处理；(3)图像滤波及兴趣点提取；对透视变换得到的俯视图进行快速高斯滤波；对滤波后图像进行竖直方向上的边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像；(4)快速LSD线检测；利用快速LSD线检测对上步骤(3)得到二值图像进行直线提取，获得直线集合S；检测方式采用增强改进方法LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出虚警数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线；(5)伪道路线剔除及合并；根据道路线与摄像头成像关系对直线集合S进行修正和处理；通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并，评估两个直线合并条件应满足距离阈值和倾角阈值；(6)左右边界查找；对线检测结果计算其列投影，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由多个子窗口构成，多个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，子窗口中心坐标排列方向表示道路线延伸方向；(7)道路线信息提取；计算左右边界曲线的曲率半径和相对于车道中线的偏移位置；可以通过左右边界的回归系数来计算曲率；将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置。优选的，步骤(1)中，摄像头标定具体包括如下步骤：(11)根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(cx,cy)和焦距像素点分量fx,fy；标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数；(12)摄像头外部参数主要是指标定摄像头坐标系与车辆坐标系的相对空间关系，主要参数为摄像头与前方道路的俯仰角和相对高度h；标定外部参数时，车辆坐标系不与摄像头坐标系重合，为精确计算坐标转换关系，选取多幅棋盘图像进行内角点检测，计算摄像头标定外部参数。优选的，步骤(3)中，S通道典型阈值范围[170,255]，R通道的典型阈值范围[200,255]。优选的，步骤(4)中，通过LSD检测得到直线集合为S＝{s1,s2,......sk}，每个定位直线si(i＝1,2,......k}表示为：si＝{x1i,y1i,x2i,y2i,θi},(i＝1,2,......k)其中(x1i,y1i)，(x2i,y2i)为直线si上起点和终点坐标，θi为直线si的倾斜角，可由下式得到：优选的，步骤(5)中，经过LSD线检测后，可能会存在某些错误的定位直线，需要进行修正和处理；车辆和摄像头在道路的左右边界移动，对于检测直线si依据中线区域分为sL和sR，其中θL定义直线ag与直线ae的夹角，反映age左边界曲线变化情况，θR定义直线cg与直线ce的夹角，反映ceg右边界曲线变化情况；根据摄像头标定关系，sL和sR可由下式表示：sL＝{siL|x1i≤w/2-1,θL∈[θLS,θLE]},(i＝1,2,......k)sR＝{siR|x1i>w/2,θR∈[θRS,θRE]},(i＝1,2,......k)其中w表示当前摄像头视场范围宽度，[θLS,θLE]，[θRS,θRE]分别为左边界和右边界仰角限定范围，θLS,θLE,θRS,θRE的值可根据y1i的值进行调整。优选的，θLS、θLE、θRS、θRE的典型取值为20°、80°、100°和160°。优选的，步骤(7)中，左右边界曲线y＝f(x)在某一点(x0,y0)上的曲率半径被定义为近似圆的半径，曲率半径的计算公式为：通过左右边界的回归系数来计算曲率。本专利技术的有益效果为：本专利技术解决了复杂场景下道路线提取的实时性差与鲁棒性低的问题；在两个挑战性数据集Caltech和SLD都获得较高的性能，道路线提取完整性平均精度达到92％，单帧平均运行时间35ms，充分验证了本专利技术的有效性。附图说明图1为本专利技术的方法流程示意图。图2为本专利技术的中线角度特征关系示意图。具体实施方式如图1所示，一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：S1：摄像头标定将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；其次，利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵。所述标定参数点矩阵刻画摄像头内外部参数标定对应关系。根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(cx,cy)，和焦距像素点分量fx,fy。标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数。摄像头外部参数主要是指标定摄像头坐标系与车辆坐标系的相对空间关系，主要参数为摄像头与前方道路的俯仰角和相对高度h。标定外部参数时，车辆坐标系不与摄像头坐标系重合，为精确计算坐标转换关系，选取多幅本文档来自技高网...

【技术保护点】
一种基于视觉多特征的复杂道路线提取方法，其特征在于，包括如下步骤：(1)摄像头标定；将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵；(2)透视变换矫正；利用标定参数点矩阵将道路图转化为自上而下的俯视图，俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序，坐标数据排列顺序采用逆时针且数据进行归一化处理；(3)图像滤波及兴趣点提取；对透视变换得到的俯视图进行快速高斯滤波；对滤波后图像进行竖直方向上的边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像；(4)快速LSD线检测；利用快速LSD线检测对上步骤(3)得到二值图像进行直线提取，获得直线集合S；检测方式采用增强改进方法LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出虚警数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线；(5)伪道路线剔除及合并；根据道路线与摄像头成像关系对直线集合S进行修正和处理；通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并，评估两个直线合并条件应满足距离阈值和倾角阈值；(6)左右边界查找；对线检测结果计算其列投影，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由多个子窗口构成，多个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，子窗口中心坐标排列方向表示道路线延伸方向；(7)道路线信息提取；计算左右边界曲线的曲率半径和相对于车道中线的偏移位置；可以通过左右边界的回归系数来计算曲率；将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置。...

【技术特征摘要】
1.一种基于视觉多特征的复杂道路线提取方法，其特征在于，包括如下步骤：(1)摄像头标定；将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵；(2)透视变换矫正；利用标定参数点矩阵将道路图转化为自上而下的俯视图，俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序，坐标数据排列顺序采用逆时针且数据进行归一化处理；(3)图像滤波及兴趣点提取；对透视变换得到的俯视图进行快速高斯滤波；对滤波后图像进行竖直方向上的边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像；(4)快速LSD线检测；利用快速LSD线检测对上步骤(3)得到二值图像进行直线提取，获得直线集合S；检测方式采用增强改进方法LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出虚警数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线；(5)伪道路线剔除及合并；根据道路线与摄像头成像关系对直线集合S进行修正和处理；通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并，评估两个直线合并条件应满足距离阈值和倾角阈值；(6)左右边界查找；对线检测结果计算其列投影，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由多个子窗口构成，多个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，子窗口中心坐标排列方向表示道路线延伸方向；(7)道路线信息提取；计算左右边界曲线的曲率半径和相对于车道中线的偏移位置；可以通过左右边界的回归系数来计算曲率；将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置。2.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(1)中，摄像头标定具体包括如下步骤：(11)根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(cx,cy)和焦距像素点分量fx,fy；标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数；(...

【专利技术属性】
技术研发人员：朱伟，苗锋，司晓云，刘文，白俊奇，马浩，郝金双，曹新星，贺超，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏,32