一种路口监控环境下的车道导向箭头识别方法技术

本发明专利技术公开了一种路口监控环境下的车道导向箭头识别方法，属于计算机视觉领域，涉及到图像处理相关知识。基于路口监控摄像头获取的交通视频图像序列，利用背景建模技术建立车道背景模型，在建立的车道背景模型的基础上利用霍夫变换检测车道线，将检测到的车道线的端点作为图像透视变换的原坐标点，并结合最小二乘法完成透视变换，获取车道俯视图，从而矫正因摄像头拍摄产生的透视变形；然后，对车道俯视图分别在垂直方向和水平方向上进行投影，并根据标准导向箭头的长度与车道宽度之比进行筛选分割，得到全部只含单个导向箭头的目标区域图像；最后将分割得到的导向箭头逐个与标准导向箭头模板进行相似度匹配，识别出各车道的导向箭头类别。

【技术实现步骤摘要】
一种路口监控环境下的车道导向箭头识别方法
本专利技术属于计算机视觉领域，特别涉及一种路口监控环境下的车道导向箭头识别方法。
技术介绍
导向箭头等交通标志包含重要的道路信息，其智能化识别对于智能交通系统建设具有重要意义。随着智能交通系统不断发展的需求，关于路面信息的识别也引起了广大学者的广泛研究兴趣，尤其在辅助驾驶领域，已有众多研究人员取得了广泛的研究成果；另一方面，道路监控环境下的路面标志信息识别将对实现更智能化的交通控制系统产生重要价值，是实现智能化道路信息采集、车流量统计分析、违章判别等智能交通控制功能的重要基础。但是，目前关于监控环境下的路面信息识别的研究仍相对较少，另外，由于道路环境较为复杂，车辆遮挡、路面杂质、光照变化、阴影以及监控摄像头拍摄产生的透视变形等问题对导向箭头等路面标志信息的识别产生较多干扰，严重影响识别的准确度和鲁棒性，并且普遍存在效率较低的问题。
技术实现思路
为了解决上述存在问题。本专利技术提供一种路口监控环境下的车道导向箭头识别方法，可有效避免遮挡、光照变化、路面杂质等对识别结果的影响，能够有效的提高路面导向箭头检测识别的准确性和鲁棒性。为达此目的：本专利技术提供一种路口监控环境下的车道导向箭头识别方法，其特征在于，具体步骤如下：步骤1：读取交通监控视频图像序列，采用背景建模技术建立车道背景模型；步骤2：利用霍夫变换在车道背景模型上进行车道线检测，获取车道线各个端点二维坐标作为透视变换的原二维坐标点(xi，yi)，i＝1，2，...，n；，并设定变换后原坐标点对应的目标坐标点(X′i，Y′i)，i＝1，2，...，n；；步骤3：采用最小二乘法求解步骤2得到的多个二维点对确定的透视变换矩阵方程，并将求得的透视变换矩阵作用到全局图像，结合图像插值运算，获取车道俯视图；步骤4：以距离交叉口停止线最近的一组导向箭头为识别目标，截取透视变换后车道俯视图下部二分之一区域为感兴趣区域；步骤5：分别对各车道所在区域在垂直方向上进行投影，确定各车道导向箭头所在区域的起止列坐标；步骤6：在步骤5垂直投影的基础上，对分割得到的各车道图像进行水平投影，确定各车道导向箭头的起止行坐标，并分割得到包含所有导向箭头的候选目标区域；步骤7：对步骤5、步骤6分割得到的导向箭头候选目标，依据标准导向箭头的宽高比进行筛选，剔除不符合实际的无效分割结果，得到包含所有导向箭头的目标区域；步骤8：将最终只含单个导向箭头的分割结果逐个与所有标准导向箭头模板进行相似度匹配，与分割结果相似度最高的标准导向箭头模板的类别即确定为该分割结果所含导向箭头的类别。优选地，所述步骤1的具体步骤如下：步骤1.1：采用多帧平均法建立车道背景模型，多帧平均法计算公式为：其中，Bn为采集到第n帧图像时建立的背景模型，N为进行平均的帧数，(fn，fn-1，...fn-N+1)是包含当前帧在内，参与累加计算的连续N帧图像；步骤1.2：选取交通监控视频中车辆动态变化的一定数量的连续视频帧，进行灰度化处理并将灰度图像转为双精度类型；步骤1.3：将连续视频帧进行累加求和并计算均值，得到车道背景模型。优选地，所述步骤2的具体步骤如下：步骤2.1：对步骤1创建的车道背景模型进行二值化处理；步骤2.2：对二值化处理后的车道背景模型图像进行边缘检测，提取出只含边缘信息的车道背景图像；步骤2.3：对上述边缘检测结果图中的边缘点进行霍夫变换，查找霍夫变换参数空间中的峰值点并根据需求设置需要的峰值点数，并需要检测的车道线数量；步骤2.4：将霍夫变换后参数空间中的峰值点转换到原图像空间；步骤2.5：根据上述步骤确定原图像空间中的直线参数，获取车道线的端点坐标作为图像透视变换的原二维坐标点(xi，yi)，i＝1，2，...，n；步骤2.6：假设上述原二维坐标点经透视变换过程后对应的目的二维坐标点为(Xi，Yi)，i＝1，2，...，n；，从而获得求解透视变换矩阵的多个二维点对。优选地，所述步骤3的具体步骤如下：步骤3.1：图像透视变换是通过变换将图像映射到另一个新的视平面，透视变换原理如公式(1)所示：其中为透视变换矩阵，(x，y，1)为透视变换前原图像坐标点，(X，Y，Z)为透视变换后原坐标点对应的目标坐标点，此过程是从二维空间到三维空间的转换，由于图像在二维平面，故除以Z，即有：(X′，Y′，Z′)为变换后车道区域俯视图像上的坐标点；步骤3.2：为提高图像透视变换鲁棒性，基于上述步骤3.1获取的多组二维坐标点对，构造公式(2)所示超定线性方程组；步骤3.3：利用最小二乘法求解上述方程组，获得透视变换矩阵T即全局变换系数；步骤3.4：利用步骤3.3求解得到的透视变换矩阵，根据公式(1)将透视变换过程作用到整幅图像，在此过程中通过双线性插值等插值运算填充变换后与原图像中的像素点不存在对应关系的变换后图像的像素点；步骤3.5：将变换及填充后的图像进行二值化处理，从而得到透视变换后的车道俯视图。优选地，所述步骤5的具体步骤如下：步骤5.1：根据原图像经过霍夫变换检测出的车道线的端点坐标，利用透视变换矩阵确定透视变换后对应的车道线端点坐标，并以列坐标递增为顺序进行排序，确定各车道所在区域的列坐标范围；步骤5.2：分别在相邻两车道线确定的各车道区域内进行垂直投影，确定各个车道内导向箭头所在区域的起止列坐标，并对车道俯视图像进行分割。优选地，所述步骤7的具体步骤如下：步骤7.1：由于导向箭头宽高比和面积会因其种类不同而有差异，但根据相应城市道路交通标志和标线设置规范，导向箭头长度按不同道路等级及设计速度可分为3.0m、4.5m、6.0m、9.0m四种类型，同种类型车道的导向箭头长度一致，另外，根据相应城市道路工程设计规范，一条机动车道的车道宽度一般为3.25-3.75米，因此，选取箭头长度与车道宽度之比作为目标导向箭头的筛选指标，考虑到导向箭头存在磨损、油污情况，选取导向箭头长度为车道宽度的0.8至2.8倍这一阈值范围作为筛选条件；步骤7.2：根据投影分割后候选目标区域的长度及前述步骤确定的透视变换后车道宽度，计算二者之比，并按照步骤7.1所设阈值范围进行筛选，以排除因路面杂质或其它路面图像标记等产生的干扰，最终得到仅包含所有导向箭头的目标分割结果。优选地，所述步骤8的具体步骤如下：步骤8.1：构建标准导向箭头模板库，包含直行、左转、右转、掉头、左转或掉头、直行或左转、直行或右转、直行或掉头以及左右转等常见路面导向箭头标志；步骤8.2：为导向箭头模板添加标签，标记其类别；步骤8.3：将模板图像缩放到与当前分割结果相同的尺寸；步骤8.4：使用归一化互相关系数作为度量分割结果与导向箭头模板相似性的标准，归一化互相关系数的计算公式如下：其中M×N为分割结果图像的尺寸，本文档来自技高网...

【技术保护点】
1.一种路口监控环境下的车道导向箭头识别方法，其特征在于，具体步骤如下：/n步骤1：读取交通监控视频图像序列，采用背景建模技术建立车道背景模型；/n步骤2：利用霍夫变换在车道背景模型上进行车道线检测，获取车道线各个端点二维坐标作为透视变换的原二维坐标点(x

【技术特征摘要】
1.一种路口监控环境下的车道导向箭头识别方法，其特征在于，具体步骤如下：
步骤1：读取交通监控视频图像序列，采用背景建模技术建立车道背景模型；
步骤2：利用霍夫变换在车道背景模型上进行车道线检测，获取车道线各个端点二维坐标作为透视变换的原二维坐标点(xi，yi)，i＝1，2，...，n；，并设定变换后原坐标点对应的目标坐标点(X′i，Y′i)，i＝1，2，...，n；；
步骤3：采用最小二乘法求解步骤2得到的多个二维点对确定的透视变换矩阵方程，并将求得的透视变换矩阵作用到全局图像，结合图像插值运算，获取车道俯视图；
步骤4：以距离交叉口停止线最近的一组导向箭头为识别目标，截取透视变换后车道俯视图下部二分之一区域为感兴趣区域；
步骤5：分别对各车道所在区域在垂直方向上进行投影，确定各车道导向箭头所在区域的起止列坐标；
步骤6：在步骤5垂直投影的基础上，对分割得到的各车道图像进行水平投影，确定各车道导向箭头的起止行坐标，并分割得到包含所有导向箭头的候选目标区域；
步骤7：对步骤5、步骤6分割得到的导向箭头候选目标，依据标准导向箭头的宽高比进行筛选，剔除不符合实际的无效分割结果，得到包含所有导向箭头的目标区域；
步骤8：将最终只含单个导向箭头的分割结果逐个与所有标准导向箭头模板进行相似度匹配，与分割结果相似度最高的标准导向箭头模板的类别即确定为该分割结果所含导向箭头的类别。


2.根据权利要求1所述的一种路口监控环境下的车道导向箭头识别方法，其特征在于：
所述步骤1的具体步骤如下：
步骤1.1：采用多帧平均法建立车道背景模型，多帧平均法计算公式为：



其中，Bn为采集到第n帧图像时建立的背景模型，N为进行平均的帧数，(fn，fn-1，...fn-N+1)是包含当前帧在内，参与累加计算的连续N帧图像；
步骤1.2：选取交通监控视频中车辆动态变化的一定数量的连续视频帧，进行灰度化处理并将灰度图像转为双精度类型；
步骤1.3：将连续视频帧进行累加求和并计算均值，得到车道背景模型。


3.根据权利要求1所述的一种路口监控环境下的车道导向箭头识别方法，其特征在于：
所述步骤2的具体步骤如下：
步骤2.1：对步骤1创建的车道背景模型进行二值化处理；
步骤2.2：对二值化处理后的车道背景模型图像进行边缘检测，提取出只含边缘信息的车道背景图像；
步骤2.3：对上述边缘检测结果图中的边缘点进行霍夫变换，查找霍夫变换参数空间中的峰值点并根据需求设置需要的峰值点数，并需要检测的车道线数量；
步骤2.4：将霍夫变换后参数空间中的峰值点转换到原图像空间；
步骤2.5：根据上述步骤确定原图像空间中的直线参数，获取车道线的端点坐标作为图像透视变换的原二维坐标点(xi，yi)，i＝1，2，...，n；；
步骤2.6：假设上述原二维坐标点经透视变换过程后对应的目的二维坐标点为(X′i，Y′i)，i＝1，2，...，n；，从而获得求解透视变换矩阵的多个二维点对。


4.根据权利要求1所述的一种路口监控环境下的车道导向箭头识别方法，其特征在于：所述步骤3的具体步骤如下：
步骤3.1：图像透视变换是通过变换将图像映射到另一个新的视平面，透视变换原理如公式(1)所示：



其中为透视变换矩阵，(x，y，1)为透视变换前原图像坐标点，(X，Y，Z)为透视变换后原坐...

【专利技术属性】
技术研发人员：安方权，王连涛，闵凡蕾，
申请(专利权)人：南京慧视领航信息技术有限公司，
类型：发明
国别省市：江苏;32