基于HOG+CNN的交通标志的实时检测方法技术

本发明专利技术公开一种基于HOG+CNN的交通标志实时检测方法。该方法选择中国交通标志数据集(Chinese Traffic Sign Detection,CTSD)作为检测方法的训练和测试数据库，载入待测的彩色图片，将图片进行预处理；基于最大稳定极值区域(Maximally Stable Extremal Regions,MSER)的交通标志区域提取；基于梯度方向直方图(Histogram of Oriented Gradient,HOG)和支持向量机(Support Vector Machine,SVM)的交通标志检测，得到识别后的分类结果；使用卷积神经网络(Convolutional Neural Network,CNN)进行交通标志内容的检测与识别。本发明专利技术能有效增强交通标志检测的实时性和准确性。

【技术实现步骤摘要】
基于HOG+CNN的交通标志的实时检测方法
本专利技术属于智能交通领域，特别是基于HOG+CNN的交通标志的实时检测方法。
技术介绍
随着科学技术的飞速发展以及国家城市智能化进程的不断加快，道路交通网络也在日趋完善。各种交通工具的普及，给人们节约了时间，提高了工作效率，同时也给人们带来了交通拥堵、交通噪声以及频发的交通事故等问题。智能交通是解决目前这些问题的一个重要途径。道路中的交通标志所传达的信息在交通行为中的规范、道路功效的保障以及道路状况的知识等方面都起着十分重要的作用。因此，如何在复杂道路环境中快速的自动的检测并识别交通标志是智能交通中不可或缺的一部分，具有极高的实用价值。近年来，各个国家的汽车生产制造商、科研机构以及高校都对这一方面进行了深入的研究。在国外，Kim等人针对现实环境中的交通标示提出了一种结合标示颜色和形状特征的实时检测方法；Anh等使用具有车载传感器的探测车辆沿着测试场所的道路检测交通标志；JackGreenhalgh等提出了一种基于HSV阈值理论的自动检测并识别交通标志文本信息的系统。在国内，华中科技大学的ZhuY和ZhangC等人提出了分为两个阶段的深度学习新框架来提高准确率和检测速度；蔡会祥设计了一种融合多个特征的道路交通标志检测方法；王斌等提出了一种基于ROI和SVM分类器的多尺度快速交通标志检测方法来解决实时性不高的问题；2001年美国威斯康星大学的Liu和Ran利用停止标志的特有颜色信息，用HSV模型把停止标志分割出来，然后对分割的部分采用人工神经网络进行分类，对实场景中的图像具有较高的识别率；Jin等人使用HingeLoss训练卷积神经网络，使用该方法在德国交通标志识别数据库上是的训练时间变短，还提高了识别率。在道路交通网快速发展的今天，对交通标志检测算法进行研究具有重要的理论及实际意义。只有正确地检测到道路交通标志，交通标志识别系统才能可能准确地识别交通标志。因此想要构造完善的交通标志系统，必须先要有一个好的交通标志检测算法，但是在检测的过程中保证较好的检测实时性以及准确性。本专利技术是在复杂道路环境中的实时交通标志检测，对交通标志进行预处理，利用MSER的交通标志区域提取，实现基于HOG+SVM的交通标志检测，提高检测交通标志类的实时性和准确性。
技术实现思路
本专利技术给出了一种基于HOG+CNN的交通标志的实时检测方法，主要检测的是中国道路中的交通标志，该方法包括以下步骤：步骤S1：将待测图片做图像预处理；步骤S2：基于MSER的交通标志区域提取；步骤S3：基于HOG和SVM的交通标志类别检测；步骤S4：基于CNN的交通标志内容识别。其中所述步骤S1进一步包括以下步骤：步骤S11：基于常用颜色空间，采用一种处理交通标志颜色信息的颜色概率模型，以增强交通标志的特定颜色(如红色，蓝色和黄色)，抑制交通标志图像背景颜色；利用概率模型事先计算所有可能的概率P(Ci|x)，并将结果离线存储在LUT中；步骤S12：使用直方图均衡化对图像进行处理，将不均匀的原始直方图变换为均匀分布的直方图，有效的增强模糊图像的细节，提高图像的对比度。其中所述步骤S2进一步包括以下步骤：步骤S21：将经过颜色概率模型以及直方图均衡化处理的交通标志图像使用MSER分割算法进行分割，得到交通标志区域粗提取结果，其中包含了大量非交通标志区域；步骤S22：使用MSER改进算法，结合标志的灰度阈值以及长宽比进一步确定候选区域，对交通标志区域细筛选，剔除干扰区域。其中步骤S3进一步包括一下步骤：步骤S31：计算概率图中MSER区域的HOG特征，在与每张概率图上提取到的MSER区域相同的位置上计算直方图均衡化处理后的灰度图的HOG特征，将这两个梯度方向直方图结合在一起，形成颜色梯度方向直方图特征；步骤S32：通过提取的颜色HOG特征，训练多类SVM分类器来检测交通标志得到检测结果；步骤S33：交通标志给极大值抑制处理，剔除冗余的检测框。其中步骤S4进一步包括以下内容：步骤S41：对得到的分类后的图像进行预处理；步骤S42：将预处理后的图片输入网络模型进行检测，得出交通标志的检测结果。本专利技术的有益效果是：通过对交通标志进行预处理减少算法的搜索空间和检测时间，利用MSER的交通标志区域提取以及基于HOG+SVM的交通标志检测，能够正确检测到交通标志部分遮挡、标志轻微褪色脱落以及小尺度变换等情况下的标志；对一些特殊条件下(阴雨天气，雾霾，角度变化，运动模糊等，排除大雨或者大雾等极端天气)的交通标志检测有较好的检测结果，对交通标志进行定位并作简单的识别，利用CNN可以识别出检测到的标志内容，减少CNN训练的时间，提高实时性。附图说明图1是本专利技术交通标志检测识别步骤图；图2是本专利技术的步骤S1的框图；图3是本专利技术步骤S4基于CNN交通标志识别的方框图。具体实施方式下面将结合附图对本专利技术加以详细说明，应指出的是，所描述的实例仅旨在便于本专利技术的理解，而对其不起任何限定作用。本专利技术给出一种基于HOG+CNN的交通标志的实时检测方法。如图1所示，具体的包括以下步骤：步骤S1：将待测图片做图像预处理，如图2所示；步骤S11：将待测的彩色图片基于常用颜色空间，采用一种处理交通标志颜色信息的颜色概率模型，将彩色图像转换成红，黄，蓝3种颜色的概率图(灰度图)，红颜色概率模型处理得到的红色概率图中的红色圆形禁令交通标志突出，其他特征被弱化，黄色以及蓝色概率图同理；由RGB空间向Ohta空间的转换，概率的计算耗时，利用概率模型事先计算所有可能的概率P(Ci|x)，并将结果离线存储在LUT中，以减少算法的搜索空间和检测时间；步骤S12：使用直方图均衡化对图像进行处理得到灰度图，设图像的直方图可用函数h(rk)＝nk表示，其中灰度[0,L-1],rk表示第k级的灰度值，nk表示灰度级为rk的个数，归一化的直方图用P(rk)＝nk/n，其中k＝0,1...,L-1。rk发生的概率为p(rk)，得其中k＝0,1...,L-1，将原图像分布比较集中的某些灰度区间处理为在整个灰度区间内大致均匀分布的图像，直方图均衡化增强了图像的对比度，使得图像在处理后分布更均匀。进一步，在MATLAB中的处理：载入需要进行直方图均衡化处理的图像；因为直方图均衡化处理只能处理灰度图，故在此步骤将待处理图像转换为灰度图；计算图像中所有不同像素的强度分布；将得到的结果进行离散化处理得到新的像素值分布；最后得到处理结果。步骤S2：利用MSER的交通标志区域提取；步骤S21：将经过颜色概率模型以及直方图均衡化处理的图像使用MSER分割算法进行分割，得到交通标志区域粗提取结果，其中MSER区域包含交通标志区域以及非交通标志区域；进一步，MSER数学定义为：其中，Qi表示阈值为i时连通区域的面积，Δ为微小的阈值变化，q(i)为阈值是i时的区域Qi的变化率。当q(i)为局部极小值时，则Qi为MSER。公式只能检测出灰度图像的黑色区域，无法测出具有黑色背景的白色区域，因此对图像进行MSER操作后需要将其反转，将白色区域转化为黑色区域，再对转换后的图片进行MSER区域筛选。步骤S22：使用算法速度较快的MSER改进算法，算法使用的最小变化率q(i)＝|Qi-Qi-Δ|/|Qi-Δ|本文档来自技高网...

【技术保护点】
1.基于HOG+CNN的交通标志的实时检测方法，其特征在于，该方法包括以下步骤：步骤S1：将待测图片做图像预处理；步骤S2：基于MSER的交通标志区域特征提取；步骤S3：基于HOG和SVM的交通标志类别检测；步骤S4：基于CNN的交通标志内容识别。

【技术特征摘要】
1.基于HOG+CNN的交通标志的实时检测方法，其特征在于，该方法包括以下步骤：步骤S1：将待测图片做图像预处理；步骤S2：基于MSER的交通标志区域特征提取；步骤S3：基于HOG和SVM的交通标志类别检测；步骤S4：基于CNN的交通标志内容识别。2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：步骤S11：将待测的彩色图片基于常用颜色空间(RGB(Red,Green,Blue)颜色空间，HSV(Hue,Saturation,Value)颜色空间和Ohta颜色空间)，采用一种处理交通标志颜色信息的颜色概率模型，将彩色图像转换成红，黄，蓝3种颜色的概率图(灰度图)；利用概率模型事先计算所有可能的概率P(Ci|x)，并将结果离线存储在离线存储表(LookupTable,LUT)中，以减少算法的搜索空间和检测时间；步骤S12：使用直方图均衡化对图像进行处理得到灰度图，将原图像分布比较集中的某些灰度区间处理为在整个灰度区间内大致均匀分布的图像，直方图均衡化增强了图像的对比度，使得图像在处理后分布更均匀。3.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤：步骤S21：将经过颜色概率模型以及直方图均衡化处理的图像使用MSER分割算法进行分割，得到交通标志区域粗提取结果，其中MS...

【专利技术属性】
技术研发人员：莫红，曾雅琼，舒维安，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南,43