一种基于双摄像机检测道路交通信息的融合方法技术

本发明专利技术属于道路交通信息检测技术领域，涉及一种基于双摄像机检测道路交通信息的融合方法，通过双摄像机获取智能车辆前方车道线、斑马线、车辆以及红绿灯等关键道路交通信息，采用改进的检测算法对车道线、斑马线进行检测，并采用5帧循环检测提升单摄像机功能，根据设定的逻辑规则判定系统在不同状态下需要获取的特征，逻辑检测识别相应的特征，提高系统的响应速度，为智能车辆横向和纵向控制提供关键信息，给智能车辆在城市道路中正常行驶奠定基础，当遇到紧急情况时，获取更多的信息进行分析决策，弥补单一摄像机获取数据的不足。

【技术实现步骤摘要】

：本专利技术属于道路交通信息检测
，涉及一种基于双摄像机检测道路交通信息的融合方法，采用双摄像机对车辆前方车道线和斑马线进行检测，对前方车辆以及红绿灯进行识别。
技术介绍
：智能车辆是一个综合系统，包括环境感知、规划决策和多种辅助驾驶功能。它综合运用了传感器、通信、人工智能和自动控制等技术，成为现代先进技术的演练场。随着计算机视觉技术在智能车辆中得到广泛应用，基于视觉的智能车辆周围环境感知技术也在不断发展，并成为智能车辆研究的热点。智能车辆周围环境感知技术主要包括道路线的检测、斑马线检测、前方车辆识别、行人识别以及红绿灯识别等。基于视觉传感器的单一特征检测算法目前已经有了丰富的研究基础，鲁棒性和实时性都很强，在汽车辅助驾驶系统中得到广泛应用。基于梯度增强和逆透视验证的车道线检测，基于最大稳定区域和随机采样的斑马线检测方法，基于Harr-like训练的车辆和红绿灯识别方法，存在准确性不高，鲁棒性不强等缺点。
技术实现思路
：本专利技术的目的在于克服现有技术存在的缺点，寻求设计提供一种基于双摄像机检测道路交通信息的融合方法，采用双摄像机对车辆前方车道线和斑马线进行检测，对前方车辆以及红绿灯进行识别，并应用逻辑判别方法进行信息融合，获取车前环境主要特征。为了实现上述目的，本专利技术采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：(1)确定第一摄像机和第二摄像机的安装高度均为1.05m，将视角范围为30°的第一摄像机和第二摄像机分别安装在车辆前方支架横向距离的1/3和2/3处，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度；(2)第一摄像机检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机进行车辆和红绿灯循环识别，当第二摄像机识别出红绿灯时，第一摄像机下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；(3)当第二摄像机识别出前方车辆时，第一摄像机只进行车道线的检测，第二摄像机不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；(4)当第一摄像机检测出斑马线时，第二摄像机只进行红绿灯的识别判定，若第二摄像机没有检测到红绿灯，则第一摄像机进行下一帧斑马线的判定，第二摄像机进行红绿灯的判定，如果第一摄像机检测出斑马线，第二摄像机没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机检测出斑马线，第二摄像机识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测。本专利技术所述智能车辆环境感知技术，运用传感器融合技术来获得车辆周围环境的有用信息，传感器将外界的各种信号转化成计算机能够识别的电信号，包括环境感知模块、分析模块和控制模块，环境感知模块需要双摄像机输入相应信息，分析模块获取环境特征，控制模块模拟驾驶员的行为，紧急情况弥补驾驶员行为的不足。本专利技术所述车辆前方支架由一个横向支架放置在两个竖向支架上构成，横向支架和竖向支架的长度根据实际需要确定。本专利技术第一摄像机检测车道线时，采用改进的Hough变换检测车道线，检测速度为10帧/秒，一帧图像检测出的车道线长度至少为2.5米，完全满足城市道路实时检测车道线的需求，具体检测过程为：(1)第一摄像机获取图像的像素矩阵为m行n列矩阵，定义图像的左上角为(0,0)，并对图像进行预处理；(2)从图像的m/2行向下逐行扫描，当检测到白点时(像素值为255)进行计数，将白点坐标存储在寄存器中，直至扫描到m行；(3)将直角坐标下检测出的白点转换到极坐标下，在极坐标系下这些白点都是一条条直线，计算直线在极坐标下通过各个点的数量，并将它们存放在存储器中，判断存储器中数据的最大值和次大值，最大值和次大值就是直角坐标系中经过两条特定直线的白点数目。如果直线在直角坐标系40°-60°范围内，并且白点数目大于30，在40°-60°内拟合出一条左车道线；如果直线在直角坐标系130°-150°范围内，并且白点数目大于30，在130°-150°内拟合出一条右车道线；(4)通过左右车道线角度的判定，得到左右车道线最下方起始点(a,b)和(c,d)，并获得相应的角度值分别为α1和α2，(x，y)为道路消失点；(5)当左右车道线检测不完整时：①α1＝0|α2＝0时，即没有检测出左车道线或右车道线或者左右车道线都没有检测出时，若只检测出一条车道线，控制车辆中心线与左右车道线距离相等，相互平行；当左右车道线都没有检测出来时，令车辆停止前进；②40°<α1<60°或130°<α2<150°时，根据(3)中检测出的直线，确定(a,b)和(c,d)的坐标以及左右车道线的角度α1和α2；(6)分别求出(a,b)和(c,d)的坐标、偏离角度α1和α2，列出左右车道线的直线方程，求出交点坐标(x，y)，由此能延伸车道线长度，继而通过检测判定车道线的弯曲方向。本专利技术检测斑马线时通过第一摄像机实时采集道路周围视频图像，然后对采集的视频图像进行分析处理，从而做出预警和提示，包括角点检测、角度判定、灰度直方图判定和斑马线区域面积判定四个过程：首先对图像进行预处理，将图像转换为灰度图像，基于灰度图像的角点检测是将角点定义在图像的像素点内，将周围邻域内的像素点灰度值与该点灰度值进行比较，如果灰度值大于或者小于30，则证明此处存在角点，并获取角点坐标；角度判定是计算两条直线夹角的余弦值进行矩形的判定，根据斑马线在图像中的特征，计算检测到矩形的数量，当矩形数量大于4个时，证明存在斑马线；对图像进行灰度处理，根据图像的灰度直方图判定可能存在斑马线的区域，根据所确定的区域进行矩形面积的判定，设定图像中矩形大于1000像素并且小于4000像素为斑马线矩形区域，通过以上步骤，最终确定图像中是否存在斑马线。本专利技术采用第二摄像机识别前方车辆和红绿灯，判断前方是否有车辆和红绿灯，为智能车辆的纵向控制提供依据，前方车辆识别时，采用现有的Haar特征训练分类器进行车辆识别，先车辆图像训练需要经过正负样本的选取、生成样本文件和训练样本三步，最后进行车辆目标识别，其中正样本指只包含待识别的物体的图片，负样本指不包含待识别物体的任何图片；红绿灯识别时，先获取红绿灯图像，对图像进行区域划分、灰度化和平滑滤波等预处理后，统计像素颜色特性判断红绿灯所在区域，在红绿灯区域内具体判断出红绿灯的颜色，通过定位红绿灯位置，将第二摄像机获取的图像由RGB空间转换到HSV空间，通过对图像的色调H、图像的饱和度S、图像的亮度V分量分别进行判断，得出当前红绿灯颜色。本专利技术与现有技术相比，通过双摄像机获取智能车辆前方车道线、斑马线、车辆以及红绿灯等关键道路交通信息，采用改进的检测算法对车道线、斑马线进行检测，并采用5帧循环检测提升单摄像机功能，根据设定的逻辑规则判定系统在不同状态下需要获取的特征，逻辑检测识别相应的特征，提高系统的响应速度，为智能车辆横向和纵向控制提供关键信息，给智能车辆在城市道路中正常行驶奠定基础，当遇到紧急情况时，获取更多的信息进行分析决策，弥补单一摄像机获取数据的不足。附图说明：图1为本专利技术实施例的车辆前方支架和摄像机安装示意图。图2为本专利技术的工作原理示意框图。图3为本专利技术实施例车道线对应的坐本文档来自技高网...

【技术保护点】
一种基于双摄像机检测道路交通信息的融合方法，其特征在于采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：(1)确定第一摄像机和第二摄像机的安装高度均为1.05m，将视角范围为30°的第一摄像机和第二摄像机分别安装在车辆前方支架横向距离的1/3和2/3处，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度；(2)第一摄像机检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机进行车辆和红绿灯循环识别，当第二摄像机识别出红绿灯时，第一摄像机下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；(3)当第二摄像机识别出前方车辆时，第一摄像机只进行车道线的检测，第二摄像机不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；(4)当第一摄像机检测出斑马线时，第二摄像机只进行红绿灯的识别判定，若第二摄像机没有检测到红绿灯，则第一摄像机进行下一帧斑马线的判定，第二摄像机进行红绿灯的判定，如果第一摄像机检测出斑马线，第二摄像机没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机检测出斑马线，第二摄像机识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测。...

【技术特征摘要】
1.一种基于双摄像机检测道路交通信息的融合方法，其特征在于采用智能车辆环境感知技术，利用双摄像机检测道路交通信息，其具体过程为：(1)确定第一摄像机和第二摄像机的安装高度均为1.05m，将视角范围为30°的第一摄像机和第二摄像机分别安装在车辆前方支架横向距离的1/3和2/3处，根据车道线、斑马线、红绿灯和前方车辆的位置确定两台摄像机的纵横向安装位置及角度；(2)第一摄像机检测4帧车道线再检测1帧斑马线，进行5帧循环检测；第二摄像机进行车辆和红绿灯循环识别，当第二摄像机识别出红绿灯时，第一摄像机下一帧图像进行斑马线的检测，如果没有检测到斑马线，第二摄像机再次进行红绿灯识别，如果两次都识别出红绿灯，说明车辆前方处于交叉口；(3)当第二摄像机识别出前方车辆时，第一摄像机只进行车道线的检测，第二摄像机不识别红绿灯，判断前方车辆的行为，并跟随车辆运行；(4)当第一摄像机检测出斑马线时，第二摄像机只进行红绿灯的识别判定，若第二摄像机没有检测到红绿灯，则第一摄像机进行下一帧斑马线的判定，第二摄像机进行红绿灯的判定，如果第一摄像机检测出斑马线，第二摄像机没有检测出红绿灯表明此时前方是人行横道；如果第一摄像机检测出斑马线，第二摄像机识别出红绿灯，表明前方是交叉口，实现道路交通信息的检测。2.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于所述智能车辆环境感知技术，运用传感器融合技术来获得车辆周围环境的有用信息，传感器将外界的各种信号转化成计算机能够识别的电信号，包括环境感知模块、分析模块和控制模块，环境感知模块需要双摄像机输入相应信息，分析模块获取环境特征，控制模块模拟驾驶员的行为，紧急情况弥补驾驶员行为的不足。3.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于所述车辆前方支架由一个横向支架放置在两个竖向支架上构成，横向支架和竖向支架的长度根据实际需要确定。4.根据权利要求1所述基于双摄像机检测道路交通信息的融合方法，其特征在于第一摄像机检测车道线时，采用改进的Hough变换检测车道线，检测速度为10帧/秒，一帧图像检测出的车道线长度至少为2.5米，完全满足城市道路实时检测车道线的需求，具体检测过程为：(1)第一摄像机获取图像的像素矩阵为m行n列矩阵，定义图像的左上角为(0,0)，并对图像进行预处理；(2)从图像的m/2行向下逐行扫描，当检测到白点时进行计数，将白点坐标存储在寄存器中，直至扫描到m行；(3)将直角坐标下检测出的白点转换到极坐标下，在极坐标系下这些白点都是一条条直线，计算直线在极坐标下通过各个点的数量，并将它们存放在存储器中，判断存储器中数据的最大值和次大值，最大值和次大值就是直角坐标系中经过两条特定直线的白点数目。如果直线在直角坐标系40°-60°范围内，并且白点数目大于3...

【专利技术属性】
技术研发人员：王丰元，何施，钟健，孙刚，徐巧妮，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：山东;37