基于卷积神经网络的交通信号灯识别方法及装置制造方法及图纸

本发明专利技术提供了基于卷积神经网络的交通信号灯识别方法，该方法包括：选取标签信号灯形状的样本图像，对卷积神经网络进行训练，输出训练好的信号灯形状识别模型；通过车载相机采集场景的彩色图像；选取彩色图像的待分割区域，进行黑色分割处理，提取黑色区域；提取原始图像中对应黑色区域的图像作为灯板图像；从灯板图像中分割出红色、绿色、黄色和蓝色区域，并分别提取原始图像中对应红色、绿色、黄色和蓝色区域的图像作为红灯、绿灯、黄灯和蓝灯图像；采用训练好的信号灯形状识别模型对红灯、绿灯、黄灯和蓝灯图像进行信号灯形状识别；输出信号灯的颜色和形状识别结果。与现有技术相比，本发明专利技术能快速地识别4种颜色、10种形状的交通信号灯。

Traffic signal lamp recognition method and device based on convolution neural network

The present invention provides a traffic signal recognition method based on convolutional neural network, the method includes: selecting sample image label signal shape, training of a convolutional neural network, signal shape recognition model trained by the output; color image acquisition vehicle camera scene; select the color image to be segmented regions, were black segmentation, extraction of the black area; extracting the corresponding black area image in the original image as light board image segmentation; red, green, yellow and blue areas from the lamp board image, and extract image corresponding to red, green, yellow and blue region in the original image as the red light, green light, yellow light and blue light the signal lamp image; shape recognition model is trained to signal shape recognition of red light, green light, yellow light and blue light image transmission; The results of the color and shape recognition of the signal lamp. Compared with the prior art, the invention can quickly identify 4 kinds of color and 10 kinds of traffic signal lights.

【技术实现步骤摘要】

本专利技术涉及图像处理、视频监控以及安防，特别涉及交通信号灯识别方法及装置。
技术介绍
作为辅助驾驶系统和无人驾驶系统的重要组成部分，交通信号灯识别技术的研究不仅可以帮助驾驶员获取有关交通信号灯的相关信息，也可以加快智能交通的发展步伐。此外，对交通信号灯状态的识别，将使世界上7％～8％的色盲、色弱患者驾驶汽车成为可能，也使得无人驾驶汽车在技术上前进一步。现有的信号灯识别算法主要利用了信号灯的色彩及形状特征。基于色彩特征的识别算法是选取某个色彩空间对信号灯颜色进行描述并选取合适的阈值进行分割、提前；基于形状特征的识别算法是利用信号灯圆形、箭头形等形状特征及其附属物的形状信息对候选区域进行提取。然而，在背景环境复杂的情况下，上述识别方法准确率不高。公开号为CN104050447A的中国专利技术专利申请公开了一种交通信号灯识别方法，该方法包括：在RGB空间的三个通道值进行阈值分割，得到黑色区域二值图像；根据灯板的特征，在黑色区域二值图像中定位出灯板区域；将灯板区域从RGB空间转换到YCbCr空间，分割出红色、黄色和绿色区域；根据信号灯的特征，在红色、黄色和绿色区域内确定候选区域；将原始图像的候选区域的图像进行灰度化、归一化和Gabor小波变换，提取特征向量；最后通过比较特征向量和训练样本的相似度，确定信号灯的类别。然而上述方法通过提取的Gabor特征向量进行识别，识别准确率较低。综上所述，目前迫切需要提出一种快速且识别准确率高的交通信号灯识别方法及装置。
技术实现思路
有鉴于此，本专利技术的主要目的在于实现交通信号灯的快速识别，且识别准确率高。为达到上述目的，按照本专利技术的第一个方面，提供了基于卷积神经网络的交通信号灯识别方法，该方法包括：第一步骤，选取标签信号灯形状的样本图像，对卷积神经网络进行训练，输出训练好的信号灯形状识别模型；第二步骤，通过车载相机采集场景的彩色图像；第三步骤，选取彩色图像的待分割区域，进行黑色分割处理，提取黑色区域；第四步骤，提取原始图像中对应黑色区域的图像作为灯板图像；第五步骤，从灯板图像中分割出红色、绿色、黄色和蓝色区域，并分别提取原始图像中对应红色、绿色、黄色和蓝色区域的图像作为红灯、绿灯、黄灯和蓝灯图像；第六步骤，采用训练好的信号灯形状识别模型对红灯、绿灯、黄灯和蓝灯图像进行信号灯形状识别；以及第七步骤，输出信号灯的颜色和形状识别结果。进一步地，所述第一步骤包括：样本选取步骤，选取LINum个标签信号灯形状的彩色图像作为样本图像；初步训练步骤，利用卷积神经网络对样本图像进行训练，获得初步训练模型；二次训练步骤，选取TINum个测试图像，根据初步训练模型对测试图像进行反复训练，直至模型收敛；模型输出步骤，将收敛的模型作为信号灯形状识别模型并输出。所述样本选取步骤中按照一定的比例选取不同信号灯形状的标签图像，对于LINum个标签信号灯形状的彩色图像，其中圆形的信号灯图像数量为RC1*LINum、横条的信号灯图像数量为RC2*LINum、竖条的信号灯图像数量为RC3*LINum、向上箭头的信号灯图像数量为RC4*LINum、向左箭头的信号灯图像数量为RC5*LINum、向右箭头的信号灯图像数量为RC6*LINum、叉形的信号灯图像数量为RC7*LINum、行人的信号灯图像数量为RC8*LINum、自行车的信号灯图像数量为RC9*LINum、其他形状的信号灯图像数量为RC10*LINum，并且T1≤RCi＜0.1、0.1≤RCj≤T2、i∈{1,2,3本文档来自技高网...

【技术保护点】
基于卷积神经网络的交通信号识别方法，其特征在于，该方法包括：第一步骤，选取标签信号灯形状的样本图像，对卷积神经网络进行训练，输出训练好的信号灯形状识别模型；第二步骤，通过车载相机采集场景的彩色图像；第三步骤，选取彩色图像的待分割区域，进行黑色分割处理，提取黑色区域；第四步骤，提取原始图像中对应黑色区域的图像作为灯板图像；第五步骤，从灯板图像中分割出红色、绿色、黄色和蓝色区域，并分别提取原始图像中对应红色、绿色、黄色和蓝色区域的图像作为红灯、绿灯、黄灯和蓝灯图像；第六步骤，采用训练好的信号灯形状识别模型对红灯、绿灯、黄灯和蓝灯图像进行信号灯形状识别；以及第七步骤，输出信号灯的颜色和形状识别结果；其中，所述车载相机安装在车上能够采集到行驶前方的道路图像的位置处。

【技术特征摘要】
1.基于卷积神经网络的交通信号识别方法，其特征在于，该方法包括：第一步骤，选取标签信号灯形状的样本图像，对卷积神经网络进行训练，输出训练好的信号灯形状识别模型；第二步骤，通过车载相机采集场景的彩色图像；第三步骤，选取彩色图像的待分割区域，进行黑色分割处理，提取黑色区域；第四步骤，提取原始图像中对应黑色区域的图像作为灯板图像；第五步骤，从灯板图像中分割出红色、绿色、黄色和蓝色区域，并分别提取原始图像中对应红色、绿色、黄色和蓝色区域的图像作为红灯、绿灯、黄灯和蓝灯图像；第六步骤，采用训练好的信号灯形状识别模型对红灯、绿灯、黄灯和蓝灯图像进行信号灯形状识别；以及第七步骤，输出信号灯的颜色和形状识别结果；其中，所述车载相机安装在车上能够采集到行驶前方的道路图像的位置处。2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：样本选取步骤，选取LINum个标签信号灯形状的彩色图像作为样本图像；初步训练步骤，利用卷积神经网络对样本...

【专利技术属性】
技术研发人员：谢静，崔凯，李党，班华忠，李志国，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京;11