一种基于机器学习的路面交通标志识别方法技术

本发明专利技术提出了一种基于机器学习的路面交通标志识别方法。将相机拍摄的图像进行预处理，并转化为灰度图像；将灰度图像的中心点设置为灭点，通过逆透视变换法将灰度图像转化为俯视图；将俯视图进行去背景处理，进行二值化得到二值图像，计算二值图像的最小外包围框，根据待检测标志的几何尺寸特征，筛选得到感兴趣区域；通过样本图像构建训练集以及测试集，通过人工标注将样本图像进行分类，提取每个样本图像的HOG特征作为特征向量，用来训练最终SVM分类器；将待检测图像处理得到感兴趣区域的图像作为待检测样本图像，提取待检测样本图像HOG特征，通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类。本发明专利技术可以实现快速高效的检测。

【技术实现步骤摘要】
一种基于机器学习的路面交通标志识别方法
本专利技术涉及机器学习方法和路面交通标志检测领域，特别涉及一种基于机器学习的路面交通标志识别方法。
技术介绍
随着汽车产业的升级和车载设备的智能化，路面交通标志检测系统作为汽车智能化系统中的一个分支，近些年也得到了长足的发展。目前，路面交通标志的识别主要有激光雷达、车载摄像机两种解决方案。众所周知，激光雷达在三维运动物体的检测，而相机在光学识别上效率更高。另一方面，相机在成本上更有优势，在传统的机械结构上也有更少的依赖。所以，用车载摄像机采集图像的方式来实现的路面交通标志的检测成本更低，在产品推广上更具有现实意义。查阅相关文献，可以发现目前路面交通标志识别算法根据原理可以分为四类：基于模版的方法、基于车道线的方法、基于传统机器学习的方法和基于深度学习的方法。基于车道线的方法利用路面交通标志出现在车道线之间的特点的先验知识来检测目标，其运算速度虽然快，但过于依赖车道线的检测结果，且抗干扰能力较差。基于模版的方法通过预先设置的标志模版在待检测图像中进行匹配，从而寻找目标，其无需训练易于扩展，但对于复杂交通环境下的各种干扰缺乏鲁棒性。基于传统机器学习和基于深度学习的方法主要通过采集样本训练模型，来检测目标标志，其中基于深度学习的方法检测效果最佳，但此类方法计算量大，在目标平台上难以快速运行。基于传统机器学习的方法在目标平台上虽然计算量大，但通过算法改进和优化后可以满足系统要求，并且保证识别效果。故本文基于传统机器学习的方法进行设计和优化。
技术实现思路
针对现有技术的缺点，本专利技术提出一种基于机器学习的路面交通标志识别方法，本方法可以有效应对实际交通环境下的光照不均、车辆干扰、标志旋转问题，实现快速高效的检测和识别。为实现上述目的，本专利技术采用以下技术方案：步骤1：将相机拍摄的图像进行去噪、平滑预处理，并将预处理后图像转化为灰度图像；步骤2：将灰度图像的中心点设置为灭点，根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图；步骤3：将俯视图进行去背景处理，再将去背景处理后图像进行二值化得到二值图像，计算二值图像的最小外包围框，根据待检测标志的几何尺寸特征，筛选得到感兴趣区域；步骤4：通过样本图像构建训练集以及测试集，通过人工标注将样本图像进行分类，提取每个样本图像的HOG特征作为特征向量，用来训练最终SVM分类器；步骤5：将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像，根据步骤4提取待检测样本图像HOG特征，通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类；作为优选，步骤1中所述相机拍摄的图像宽度为U，相机拍摄的图像高度为V；步骤1中所述相机拍摄的图像进行去噪、平滑预处理为对相机拍摄的图像进行中值滤波；步骤1中所述灰度图像转化过程为：将预处理后图像的RGB三个通道中的最低值作为当前像素点的像素值：f(i,j)＝min(R(i,j),G(i,j),B(i,j))其中，f(i,j)表示灰度图像中第i行第j列像素点的像素值，R(i,j)表示预处理后图像中第i行第j列R通道像素点的像素值，G(i,j)表示预处理后图像中第i行第j列G通道像素点的像素值，B(i,j)表示预处理后图像中第i行第j列B通道像素点的像素值，i∈[0,U-1],j∈[0,V-1]；作为优选，步骤2中所述灭点为步骤1中所述灰度图像f的中心点为将中心点设置为灰度图像的灭点，灰度图像宽度为U，灰度图像高度为V；步骤2中所述相机内参为相机分辨率m*n，视场角为2α*2β，相机的视场角度、成像分辨率可以根据摄像头具体型号得到；步骤2中所述相机外参为相机在世界坐标系中的位置为(l,d,h)，l＝0，d为相机与车头之间的距离，h为相机高度，在车辆正前方水平安装摄像头，相机偏航角为γ＝0，相机俯仰角为θ＝0，相机与车头之间的距离d以及相机高度h可以通过实际测量得到；步骤2中所述逆透视变换法为：结合相机内参以及相机外参可以得到透视变换后俯视图F上任意一个点坐标(x,y,0)，与灰度图像坐标系上的点(u,v)的对应关系：其中，m为第一相机分辨率，n为第二相机分辨率，α为第一相机的视场角度参数，β为第二相机的视场角度参数，γ＝0为相机偏航角，θ＝0为相机俯仰角，h为相机高度，d为相机与车头之间的距离；作为优选，步骤3中所述俯视图去背景处理为采用顶帽变换法：俯视图像F的顶帽变换为F减去其开操作：其中，b表示一个结构元素，表示开运算；通过顶帽变换法得到去背景处理后图像I；步骤3中所述去背景处理后图像I进行二值化为局部中值阈值法：对于每个去背景后图像内的像素点I(x,y)，若I(x,y)的灰度值大于(M+T)，则认为I(x,y)为标志元素，否则为道路背景；其中，T为阈值，M为以I(x,y)为中心点,与I(x,y)处在同一行，宽度为a范围内的所有像素，选取的像素坐标范围为的灰度值平均值；步骤3对二值图像进行膨胀处理，进一步对膨胀后二值图像提取最小外包围框：使用Canny算法提取二值图像内所有轮廓区域，轮廓的数量为Nk，并得到每个轮廓区域的面积Sareakk∈[1,Nk]；通过包围盒算法计算各个轮廓的最小外包围框，并记录各个最小外包围框的长度Hkk∈[1,Nk]，各个最小外包围框的宽度Wkk∈[1,Nk]，各个最小外包围框的倾斜角σkk∈[1,Nk]，以及各个最小外包围框的面积Srectkk∈[1,Nk]；步骤3中所述根据待检测标志的几何尺寸特征，筛选得到感兴趣区域为：将最小外包围框进行几何尺寸特征进行筛选，对于轮廓区域k，若其对应的最小外包围框k满足：H1≤Hk≤H2W1≤Wk≤W2σ1≤σk≤σ2S1＜Srectk/Sareak＜S2且最小外包围框与膨胀后二值图像不连通，则轮廓区域k构成感兴趣区域；否则认为轮廓区域k为非地面交通标志区域；作为优选，步骤4中所述样本图像为挑选M张包含各类交通标志的图像作为样本图像，经步骤1、步骤2以及步骤3处理后，在每个样本图像中得到感兴趣区域；根据M张样本图像中得到感兴趣区域，人工对M张样本图像进行标注，标注为(N+1)种类别，其中N类为待识别的N种路面交通标志，1类为包含其他干扰在内的负样本；步骤4中所述M张样本HOG特征提取为：将人工标注后M张样本图像归一化为固定m*m大小的样本图像，计算归一化后样本图像内每个像素的梯度得到归一化后样本图像的梯度直方图；用大小为n*n、滑动步长为d的窗口将其划分为个块；将每个块划分为h个单元，每个单元提取r个区间的梯度特征，一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子；将图像内的所有块的HOG特征描述子串联起来就可以得到该图像的HOG特征描述子，即HOG特征向量；通过PCA降维方法化简HOG特征向量：M个样本图像数据，每一个样本图像由维特征向量组成，将原始数据按列组成M行列矩阵X：将X的每一行进行零均值化，即每一行减去这一行的均值，并得到协方差矩阵计算的特征值：其中λ1≥λ2≥λp＞0其中，det为求特征值运算符，λ代表每个维度上的方差，E为单位矩阵，取协方差矩阵特征值最大的前p个主成份，将特征向量按对应特征值大小组成矩阵P，Y＝PX即为降维到p维后的数据；每张样本图像得到一个p本文档来自技高网...

【技术保护点】
1.一种基于机器学习的路面交通标志识别方法，其特征在于，包括以下步骤：步骤1：将相机拍摄的图像进行去噪、平滑预处理，并将预处理后图像转化为灰度图像；步骤2：将灰度图像的中心点设置为灭点，根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图；步骤3：将俯视图进行去背景处理，再将去背景处理后图像进行二值化得到二值图像，计算二值图像的最小外包围框，根据待检测标志的几何尺寸特征，筛选得到感兴趣区域；步骤4：通过样本图像构建训练集以及测试集，通过人工标注将样本图像进行分类，提取每个样本图像的HOG特征作为特征向量，用来训练最终SVM分类器；步骤5：将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像，根据步骤4提取待检测样本图像HOG特征，通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类。

【技术特征摘要】
1.一种基于机器学习的路面交通标志识别方法，其特征在于，包括以下步骤：步骤1：将相机拍摄的图像进行去噪、平滑预处理，并将预处理后图像转化为灰度图像；步骤2：将灰度图像的中心点设置为灭点，根据相机内参以及相机外参通过逆透视变换法将灰度图像转化为俯视图；步骤3：将俯视图进行去背景处理，再将去背景处理后图像进行二值化得到二值图像，计算二值图像的最小外包围框，根据待检测标志的几何尺寸特征，筛选得到感兴趣区域；步骤4：通过样本图像构建训练集以及测试集，通过人工标注将样本图像进行分类，提取每个样本图像的HOG特征作为特征向量，用来训练最终SVM分类器；步骤5：将待检测图像根据步骤1至步骤3处理得到感兴趣区域的图像作为待检测样本图像，根据步骤4提取待检测样本图像HOG特征，通过最终SVM分类器根据待检测样本图像HOG特征对待检测样本图像进行分类。2.根据权利要求1所述的基于机器学习的路面交通标志识别方法，其特征在于：步骤1中所述相机拍摄的图像宽度为U，相机拍摄的图像高度为V；步骤1中所述相机拍摄的图像进行去噪、平滑预处理为对相机拍摄的图像进行中值滤波；步骤1中所述灰度图像转化过程为：将预处理后图像的RGB三个通道中的最低值作为当前像素点的像素值：f(i,j)＝min(R(i,j),G(i,j),B(i,j))其中，f(i,j)表示灰度图像中第i行第j列像素点的像素值，R(i,j)表示预处理后图像中第i行第j列R通道像素点的像素值，G(i,j)表示预处理后图像中第i行第j列G通道像素点的像素值，B(i,j)表示预处理后图像中第i行第j列B通道像素点的像素值，i∈[0,U-1],j∈[0,V-1]。3.根据权利要求1所述的基于机器学习的路面交通标志识别方法，其特征在于：步骤2中所述灭点为步骤1中所述灰度图像f的中心点为将中心点设置为灰度图像的灭点，灰度图像宽度为U，灰度图像高度为V；步骤2中所述相机内参为相机分辨率m*n，视场角为2α*2β，相机的视场角度、成像分辨率可以根据摄像头具体型号得到；步骤2中所述相机外参为相机在世界坐标系中的位置为(l,d,h)，l＝0，d为相机与车头之间的距离，h为相机高度，在车辆正前方水平安装摄像头，相机偏航角为γ＝0，相机俯仰角为θ＝0，相机与车头之间的距离d以及相机高度h可以通过实际测量得到；步骤2中所述逆透视变换法为：结合相机内参以及相机外参可以得到透视变换后俯视图F上任意一个点坐标(x,y,0)，与灰度图像坐标系上的点(u,v)的对应关系：其中，m为第一相机分辨率，n为第二相机分辨率，α为第一相机的视场角度参数，β为第二相机的视场角度参数，γ＝0为相机偏航角，θ＝0为相机俯仰角，h为相机高度，d为相机与车头之间的距离。4.根据权利要求1所述的基于机器学习的路面交通标志识别方法，其特征在于：步骤3中所述俯视图去背景处理为采用顶帽变换法：俯视图像F的顶帽变换为F减去其开操作：其中，b表示一个结构元素，表示开运算；通过顶帽变换法得到去背景处理后图像I；步骤3中所述去背景处理后图像I进行二值化为局部中值阈值法：对于每个去背景后图像内的像素点I(x,y)，若I(x,y)的灰度值大于(M+T)，则认为I(x,y)为标志元素，否则为道路背景；其中，T为阈值，M为以I(x,y)为中心点,与I(x,y)处在同一行，宽度为a范围内的所有像素，选取的像素坐标范围为的灰度值平均值；步骤3对二值图像进行膨胀处理，进一步对膨胀后二值图像提取最小外包围框：使用Ca...

【专利技术属性】
技术研发人员：肖进胜，戴媛，易本顺，李必军，包振宇，雷俊锋，朱力，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42