一种基于卷积神经网络的快速交通标识牌识别方法技术

本发明专利技术针对已有的交通标识牌识别方法中识别目标种类单一，速度较慢的问题，提出了一种基于卷积神经网络的快速交通标识牌识别方法Fast Traffic Sign Recognition‑Convolution Neural Network，简称FTSR‑CNN。该方法利用卷积核滑动滤波提取特征，在前向学习过程中求得网络的损失，保证了网络模型对交通标示牌多累识别的准确性；调整网络结构中的参数和激活函数类型和降维操作来优化网络性能，最终具有更好的准确性和实时性。同时，为了提升样本的多样性，对数据集的样本进行基于仿射变换的数据增广。FTSR‑CNN在德国交通标识牌数据集GTSRB和Tsinghua‑Tencent 100K两个数据集测试的识别率分别为95.74％和96.67％。结果表明FTSR‑CNN通过改进以往的模型网络和启用不同的训练策略，使得本方法在相同的识别准确水平下加快了方法的识别速度。

A recognition method of fast traffic signs based on convolutional neural network

The invention relates to a traffic sign recognition method for target identification of single type, the problem of low speed, a fast traffic sign recognition method of convolutional neural network Fast Traffic Sign Recognition Convolution Neural Network based on FTSR CNN. The method uses convolution filtering sliding feature extraction, in the learning process to obtain network losses and ensure the accuracy of the network model for traffic sign recognition more tired; to adjust the parameters of network structure and the activation function of the type and dimension reduction operation to optimize the network performance, the final accuracy has better real-time and. At the same time, in order to improve the diversity of the samples, the data of the data set is augmented by affine transformation. FTSR CNN in German traffic sign recognition data sets GTSRB and Tsinghua Tencent 100K two data set test rates were 95.74% and 96.67%. The results show that the FTSR CNN by improving the previous model of the network and enable the training of different strategies, the method is in the same level of recognition accuracy to speed up the recognition speed.

【技术实现步骤摘要】
一种基于卷积神经网络的快速交通标识牌识别方法
本专利技术涉及一种基于卷积神经网络的快速交通标识牌识别方法，属于图像处理
，可应用于交通标识牌的快速识别。
技术介绍
交通标识牌作为道路交通中的重要组成部分，用文字或符号为驾驶员提供引导、指示、警告及限制作用，自动识别交通标识牌是高级驾驶辅助系统设计中不可或缺的一部分。由于交通标识牌种类繁多，应用于各种场景，并且随天气变化和光照影响使得标识牌图像对比度降低；物理损坏及遮挡影响其固有形状；高速行驶带来的运动模糊使得交通标识牌的自动识别非常困难。如何快速和准确地识别交通标识牌对设计者来说是一个很大的挑战。几种受影响的标识牌如图2中所示。此专利技术基于此应用背景，提出了一种基于卷积神经网络的快速交通标识牌识别的方法，该方法是一种深度学习方法。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。过去几年，深度学习在计算机视觉领域取得了巨大成功。其中，在物体识别和检测、场景分类、图像分类任务中取得突破性进展，使其适用于图像处理。交通标志有其规范性，形状可分为圆形，三角形和菱形；颜色可分为蓝色，黄色，白色和红色。它的识别主要由基于形状(模板匹配)、基于颜色等方法。图像中的交通标识牌检测流程一般包括创建适用于训练分类器的样本集，图像特征提取，训练分类器，利用训练好的分类器进行目标检测识别。在图像特征提取方面，传统方法通常使用方向梯度直方图(HOG)、局部二值模式(LBP)及Haar等特征提取方法。然而，不同的特征提取方法都有其适用范围，若脱离其适用范围，则会导致分类结果欠佳，具有局限性。而一般卷积神经网络替代了以上特征提取方法，其深层结构使其能够自动提取图像的深度鲁棒信息，利于分类器的训练和最终的目标检测。但多纵神经网络算法的实现依赖于快速实现的图像处理器GPU，算法采用彩色图作为输入，每层有上百个特征图输出，网络结构复杂，使得识别过程非常耗时。
技术实现思路
有鉴于此，针对分类单一问题，采用卷积神经网络算法实现多类目标分类，卷积神经网络算法以原始样本直接作为网络的输入，通过大量的样本自动获取最有利于分类的特征；对多类交通标识牌在其数据集的基础上通过仿射变换提高样本多样性，在一定程度上提高了识别率；针对识别过程中对复杂的网络巨大运算量带来的耗时问题，选取多种尺度的小的卷积核，并在保证底层特征多样性的前提下减少网络输出个数，通过调整网络结构中激活函数等因子，提出了一种改进的卷积神经网络FTSR-CNN的快速交通标识牌识别的方法FastTrafficSignRecognition-ConvolutionNeuralNetwork，简称FTSR-CNN。为此，本专利技术采用如下的技术方案：第一步骤，将交通标识牌的训练集数据增广并得到灰度化和归一化的数据集；第二步骤，进行FTSR-CNN网络结构的整体设计，根据已有数据的规模与特点设计FTSR-CNN模型网络结构，选择在MS-3convs-16-32-48基础上进行相应改进，本方法所构建的FTSR-CNN包含3个卷积层convolutionlayer，2个最大值降采样层maxpoolinglayer和2个全连接层fully-connectedlayer；第三步骤，构造卷积核大小分比为52、32、32个像素的FTSR-CNN卷积层；第四步骤，构造FTSR-CNN降采样层；第五步骤，构造FTSR-CNN全连接层；第六步骤，设计选取FTSR-CNN激活函数和学习率参数；第七步骤，加载网络模型并初始化网络参数；第八步骤，输入待测试的图像数据，识别交通标示牌。与现有技术相比，本专利技术的有益效果是：1.满足多目标分类；采用基于卷积神经网络FTSR-CNN的实现多类目标分类，自动获取最有利于分类的特征。2.识别率高；对多类交通标识牌在其数据集的基础上通过仿射变换提高样本多样性。3.识别效率高、速度快；与其他深度学习方法相比，本文方法的网络结构新颖，计算速度快，通过并联多个网络模型达到提高标识牌识别率的效果；在多数数据集测试的识别率能够保持在95.5％的以上同时对交通标识快速准确地分类，平均识别耗时低于识别率相近的其他方法的1/30。附图说明图1为本专利技术的流程图。图2为几种难以识别的标识牌示意图。图3为数据增广样例。图4为基本算法框图。图5为FTSR-CNN网络结构示意图。图6为inv学习率下降方式统计图。具体实施方式为使贵审查员能进一步了解本专利技术的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本专利技术的技术方案，并非限定本专利技术。本专利技术的流程如图1所示，首先，根据实际识别过程中的情况，通过图像变换得到增广优化后的训练样本数据集；然后，设计FTSR-CNN网络结构并训练出FTSR-CNN网络模型；最后，应用该网络模型完成交通标示牌快速或实时识别；下面结合附图，对本专利技术技术方案的具体实施过程加以说明。1.准备训练样本数据1.1数据增广数据集虽然包含了很多标识牌的样本，但实际场景中遇到的标识牌会发生很多种可能的变化：一定角度的旋转，由于碰撞带来的形变等等。想要算法在实际应用中更加具有鲁棒性，就需要训练集中尽可能包含所有类型的样本以帮助FTSR-CNN网络完成学习。由于数据集很难涵盖所有类型的样本，这里通过仿射变换来增加样本的多样性。仿射变换是空间直角坐标变换的一种，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形间的相对位置关系不变。结合实际场景，交通标识的旋转角度和扭曲程度等控制因子限制在一定范围内，以保证这些变换能够有效地实现数据增广，使得用该训练集训练得到的网络模型具有识别率高、识别速度快的特点。具体情况如下图3所示。1.2获得算法速度优化的训练集将交通标识牌的训练集贴上标签，得到不同数量的训练集，并将样本集中的彩色图片进行灰度化，然后将灰度化的图片归一化为30*30。2.构造FTSR-CNN识别网络2.1FTSR-CNN网络结构的整体设计卷积神经网络(ConvolutionalNeuralNets，CNN)，简称ConvNets，这是为识别二维形状而特殊设计的一个多层感知器，能够实现多层次抽象的数据表示。卷积神经网络作为分类器与传统分类器的最大区别为：是否需要手动设计特征。在传统的模式识别中，需要通过人为设计特征从输入样本中收集信息再进行分类，而CNN是原始图像作为输入，从大量的数据中去学习特征，但人为设计特征存在很难适应多种类识别的局限，自主学习特征避免了由于特征复杂带来的提取特征困难。Gailei方法可分为两部分，训练过程和预测过程，前者用来计算网络的损失，并反馈调节参数降低网络损失，输出网络模型；后者则用生成好的模型测试图像预测分类结果。其具体过程如图4所示。网络的结构主要有稀疏连接和权值共享两个特点，稀疏连接代替传统神经网络中的全连接，可以很大程度上减少计算量；权值共享是在稀疏连接的同时，图像上所有的输入神经元将共享一个卷积核特征提取作用域的权值。ConvNets的基本结构包括两部分，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的快速交通标识牌识别方法，所述方法包括下列步骤：(1)依据实际场景交通标示牌发生的变化，通过数据增广交通标识牌的训练集数据并得到灰度化和归一化的数据集；(2)进行FTSR‑CNN网络结构的整体设计，根据已有数据的规模与特点设计FTSR‑CNN模型网络结构，选择在MS‑3convs‑16‑32‑48基础上进行相应改进，本方法所构建的FTSR‑CNN推荐包含3个卷积层convolution layer，2个最大值降采样层max pooling layer和2个全连接层fully‑connected layer；(3)构造卷积核大小分比为5*5、3*3、3*3个像素的FTSR‑CNN卷积层；(4)构造FTSR‑CNN降采样层；(5)构造FTSR‑CNN全连接层；(6)设计选取FTSR‑CNN激活函数和学习率参数；(7)加载网络模型并初始化网络参数；(8)输入待测试的图像数据，识别交通标示牌。

【技术特征摘要】
1.一种基于卷积神经网络的快速交通标识牌识别方法，所述方法包括下列步骤：(1)依据实际场景交通标示牌发生的变化，通过数据增广交通标识牌的训练集数据并得到灰度化和归一化的数据集；(2)进行FTSR-CNN网络结构的整体设计，根据已有数据的规模与特点设计FTSR-CNN模型网络结构，选择在MS-3convs-16-32-48基础上进行相应改进，本方法所构建的FTSR-CNN推荐包含3个卷积层convolutionlayer，2个最大值降采样层maxpoolinglayer和2个全连接层fully-connectedlayer；(3)构造卷积核大小分比为5*5、3*3、3*3个像素的FTSR-CNN卷积层；(4)构造FTSR-CNN降采样层；(5)构造FTSR-CNN全连接层；(6)设计选取FTSR-CNN激活函数和学习率参数；(7)加载网络模型并初始化网络参数；(8)输入待测试的图像数据，识别交通标示牌。2.如权利要求1所述的方法，其特征在于，步骤(1)中，数据增广需通过仿射变换来增加样本的多样性，提高训练后模型的识别率和识别速度，交通标识牌的训练集需贴上标签，并将训练集中的彩色图片进行灰度化和归一化。3.如权利要求1所述的方法，其特征在于，步骤(2)中，FTSR-CNN继承卷积神经网络的基本特性，可自主学习特征进而避免了由于特征复杂带来的提取特征困难；并为了提高识别效率，在MS-3c...

【专利技术属性】
技术研发人员：耿磊，梁晓昱，肖志涛，张芳，吴骏，杨振杰，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12