基于自建神经网络的交通标志检测与识别方法技术

本发明专利技术公开了一种基于自建神经网络的交通标志检测与识别方法，属于机器学习及深度学习技术领域，该方法根据拍摄到的图像运用数字图像理论中的颜色分割获取交通标志在图片中的非真实感兴趣区域，使用SVM分类器得到真实感兴趣区域，再将真实的感兴趣区域放进自建卷积神经网络中进行识别分类。采用本发明专利技术的技术方案能对交通标志使用状态进行快速准确识别和分类，达到快速、可靠和识别准确的实时要求，并且省时省力。

Traffic sign detection and recognition based on self built neural network

The invention discloses a traffic sign detection and recognition method based on self built neural network, which belongs to the field of machine learning and deep learning. This method obtains the non real region of interest of traffic signs in the picture according to the color segmentation in the digital image theory taken by the captured image, and uses the SVM classifier to get the truth. In real interest region, the real region of interest is put into self constructed convolution neural network for recognition and classification. The technical scheme of the invention can quickly and accurately identify and classify the use of traffic signs, and achieve fast, reliable and accurate real-time requirements, and save time and labor.

【技术实现步骤摘要】
基于自建神经网络的交通标志检测与识别方法
本专利技术涉及机器学习及深度学习
，尤其涉及一种基于自建神经网络的交通标志检测与识别方法。
技术介绍
截至2017年5月底，全国机动车的保有量已达到了3亿量，机动车驾驶员总数达3.5亿之多。汽车给人们带来便利并推动着道路交通发展的同时，频发的交通事故也给当今社会带来极大的危害。导致交通事故发生的原因有很多，其中很重要的一项就是驾驶员不规范操作，例如疲劳驾驶，自身疏忽等。为了提高驾驶安全性，帮助驾驶员规范操作乃至代替驾驶员执行正确的操作，高级驾驶员辅助系统(AdvancedDriverAssistanceSystems，ADAS)应运而生，自动交通标志牌检测和识别系统(Automatictrafficsigndetectionandrecognition，TSDR)正是其重要组成部分。ADAS系统的主要目的是通过实时分析道路交通标志来提醒司机当前路况，确保驾驶员安全驾驶。该系统主要利用计算机视觉技术，将车载摄像头拍摄的道路场景画面作为输入源来分析影像，将分析结果反馈给驾驶员，如：驾驶适当的车道，限速，避开障碍物等，以帮助驾驶员做出正确决定，或者根据反馈结果直接做出正确操作。除了可以辅助驾驶之外，标志牌识别系统也可应用于自动化道路标志牌使用状态维护。由于每一条道路都必须定期检查标志牌缺失损毁情况，以往这些工作都是采用沿着道路驾驶一辆汽车，手动记录观察到的信息这种方式来完成的，费时费力，且容易出现人为错误。
技术实现思路
针对现有技术的不足，本专利技术所解决的问题是如何对交通标志使用状态进行快速准确识别和分类以辅助驾驶，并且省时省力。为解决上述技术问题，本专利技术采用的技术方案是一种基于自建神经网络的交通标志检测与识别方法，根据拍摄到的图像运用数字图像理论中的颜色分割获取交通标志在图片中的非真实感兴趣区域，使用SVM分类器得到真实感兴趣区域，再将真实的感兴趣区域放进自建卷积神经网络中进行识别分类，包括如下步骤：(1)车载系统会对道路标志进行拍摄或录像，如果拍摄的是图片，那就直接进行彩色转换，如果是视频格式，那就对视频抽帧，将RGB图像转换为HSI颜色模型，HSI分别表示色调、饱和度及亮度，其过程如下：给定RGB彩色格式图像，对任何三个归一化到[0,1]范围内的R,G,B值，其对应的H,S,I分量由公式(1)至公式(4)表示：色调:饱和分量：亮度分量：(2)设定阈值范围，判断像素是否为目标像素即交通标志区域的像素，提取目标像素颜色信息，进行初步颜色分割获得感兴趣区域，其过程如下：对彩色图像即红、黄、蓝进行分割时，依靠H、S、I三个分量相互独立，同时考虑到自然环境下交通标志图像色彩的波动性，可以对彩色图像的各个分量进行适当地组合进行阈值分割，输出掩摸由公式(5)至公式(7)所示：设定一组颜色经验阈值，即每种颜色分量的色调阈值上下限值和饱和度阈值，然后通过判断阈值范围将各个颜色分割出来，最后得到分割后的图像；优选地，设定颜色经验阈值如下表：颜色红色R黄色Y蓝色B色度H|H|<45or|360-H|<45|H-60|<30|H-240|<50饱和度S0.1-10.3-10.3-1亮度I0.06-0.960.06-0.960.06-0.96如果像素值在阈值范围内即为目标像素,否则为背景像素；(3)区分交通标志与非交通标志的SVM分类器，以此来判断感兴趣区域是否为交通标志，其过程如下：根据SVM的基本原理，最优分类面既要能将两类样本正确分开，又要使得分类间隔最大；SVM的学习可以看作一个最优化问题，可以表示为：其中，xi∈RD,i＝1,…，N为训练数据，训练数据集中样本个数为N；yi∈{-1,1}为样本标签，也即分类结果；<xi,xj>表示两个向量之间的点积运算；C为惩罚因子；K<xi,xj>为核函数；ai为待学习的参数。通过最优化学习，得到最优解：然后，可以得到最优分类面的权向量和偏移量，表示为：于是，最优分类面函数可以表示为：(4)确定真实感兴趣区域后，把此区域归一化处理，其过程如下：使用双三次插值法采用公式(12)至(16)将图像归一化到28*28；f(i+u,j+v)＝ABC(13)A＝[S(1+u)S(u)S(1-u)S(2-u)](14)C＝[S(1+v)S(v)S(1-v)S(2-v)]T(16)其中，A、B、C均为矩阵，u,v均为[0，1]区间的浮点数。u表示最近邻像素点和待插值点水平方向的距离。u与v对应，表示垂直方向的距离。f(i,j)表示源图像(i,j)处的灰度值，f(i+u,j+v)表示待插值点的灰度值。S(w)为双三次插值基函数。(5)归一化处理得到交通标志的位置后,使用自建神经网络结构，提交交通标志牌分类算法,分类算法所需设置的参数包括网络权值初始化方式、卷积核初始化方式、卷积神经网络的层数、特征图数量在内的参数,通过训练样本来学习网络中的参数,进而识别不同位置的交通标志的类别，具体分步骤如下：1)利用变形增量的GTSRB数据集训练网络；2)将检测结果为标志牌区域的感兴趣区域，输入到上一步训练好的网络中，判断其所属的小类。所述网络权值初始化方式设置为xavier，激励函数采用ReLU，并使用一种正则化方法DropOut，避免在全连接层出现过拟合，使得网络在训练收敛速度，分类时间上都优于传统网络，且具有极高的分类准确率，满足标志牌识别系统实时准确的要求，具体过程如下：1)网络权值初始化方式：定义参数所在层的输入维度为n，输出维度为m，那么参数将以均匀分布的方式在的范围内进行初始化；2)激活函数采用ReLU函数，由公式(17)所示：3)防止过拟合方式，由公式(18)处理网络防止过拟合：优选地，所述自建神经网络结构包含8层,第一层为输入层，中间的隐藏层为3个卷积层、2个池化层和1个全连接层,最后一层是输出层，其中卷积层的卷积核为5*5，步长为1，用relu函数激活，池化层为3*3；为了保证本方法对不同光照、不同环境的分类识别准确性，优选地，系统需符合以下条件：1)交通标志牌遮挡部分不得超过60％；2)车辆行驶车速在120km/h；3)车辆车载系统中安装NVIDIA处理模块。采用本专利技术的技术方案能对交通标志使用状态进行快速准确识别和分类，达到快速、可靠和识别准确的实时要求，并且省时省力。附图说明图1为本专利技术流程示意图；图2为检测算法流程示意图；图3为分类算法流程图示意图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步的说明，但不是对本专利技术的限定。图1、图2示出了一种基于自建神经网络的交通标志检测与识别方法，根据拍摄到的图像运用数字图像理论中的颜色分割获取交通标志在图片中的非真实感兴趣区域，使用SVM分类器得到真实感兴趣区域，再将真实的感兴趣区域放进自建卷积神经网络中进行识别分类，包括如下步骤：(1)车载系统会对道路标志进行拍摄或录像，如果拍摄的是图片，那就直接进行彩色转换，如果是视频格式，那就对视频抽帧，将RGB图像转换为HSI颜色模型，HSI分别表示色调、饱和度及亮度，其过程如下：给定RGB彩色格式图像，对任何三个归一化到[0,1]范本文档来自技高网...

【技术保护点】
1.一种基于自建神经网络的交通标志检测与识别方法，其特征在于：根据拍摄到的图像运用数字图像理论中的颜色分割获取交通标志在图片中的非真实感兴趣区域，使用SVM分类器得到真实感兴趣区域，再将真实的感兴趣区域放进自建卷积神经网络中进行识别分类，包括如下步骤：(1)车载系统会对道路标志进行拍摄或录像，如果拍摄的是图片，那就直接进行彩色转换，如果是视频格式，那就对视频抽帧，将RGB图像转换为HSI颜色模型,HSI分别表示色调、饱和度及亮度，其过程如下：给定RGB彩色格式图像，对任何三个归一化到[0,1]范围内的R,G,B值，其对应的H,S,I分量由公式(1)至公式(4)表示：色调：

【技术特征摘要】
1.一种基于自建神经网络的交通标志检测与识别方法，其特征在于：根据拍摄到的图像运用数字图像理论中的颜色分割获取交通标志在图片中的非真实感兴趣区域，使用SVM分类器得到真实感兴趣区域，再将真实的感兴趣区域放进自建卷积神经网络中进行识别分类，包括如下步骤：(1)车载系统会对道路标志进行拍摄或录像，如果拍摄的是图片，那就直接进行彩色转换，如果是视频格式，那就对视频抽帧，将RGB图像转换为HSI颜色模型,HSI分别表示色调、饱和度及亮度，其过程如下：给定RGB彩色格式图像，对任何三个归一化到[0,1]范围内的R,G,B值，其对应的H,S,I分量由公式(1)至公式(4)表示：色调：饱和分量：亮度分量：(2)设定阈值范围，判断像素是否为目标像素即交通标志区域的像素,提取目标像素颜色信息,进行初步颜色分割获得感兴趣区域,其过程如下：对彩色图像即红、黄、蓝进行分割时，依靠H、S、I三个分量相互独立，同时考虑到自然环境下交通标志图像色彩的波动性，可以对彩色图像的各个分量进行适当地组合进行阈值分割，输出掩摸由公式(5)至公式(7)所示：设定一组颜色经验阈值，即每种颜色分量的色调阈值上下限值和饱和度阈值，然后通过判断阈值范围将各个颜色分割出来，最后得到分割后的图像；(3)区分交通标志与非交通标志的SVM分类器,以此来判断感兴趣区域是否为交通标志，其过程如下：根据SVM的基本原理，最优分类面既要能将两类样本正确分开，又要使得分类间隔最大；SVM的学习可以看作一个最优化问题，可以表示为：其中，xi∈RD,i＝1,…，N为训练数据，训练数据集中样本个数为N；yi∈{-1,1}为样本标签，也即分类结果；<xi,xj>表示两个向量之间的点积运算；C为惩罚因子；K<xi,xj>为核函数；ai为待学习的参数，通过最优化学习，得到最优解：然后，可以得到最优分类面的权向量和偏移量，表示为:于是，最优分类面函数可以表示为:(4)确定真实感兴趣区域后，把此区域归一化处理，其过程如下：使用双三次插值法采用公式(12)至(16)将图像归一化到28*28；f(i+u,j+v)＝ABC(13)A＝[S(1+u)S(u)S(1-u)S(2-u)](14)C＝[S(1+v)S(v)S(1-v)S(2-v)]T(16)其中，A、B、C均为矩阵，u,v均为[0，1]区间的浮点数，u表示最近邻像素点和待插值点水平方向...

【专利技术属性】
技术研发人员：黄知超，李栋，王斌，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45