一种多尺度反卷积神经网络的交通标志实时检测识别方法技术

本发明专利技术涉及计算机应用技术领域机器学习理论及应用子领域，特别是一种多尺度反卷积神经网络的交通标志实时检测识别方法。包括以下步骤：S1：采集交通标志照片或视频；S2：输入CRN模型，经过卷积和池化，提取图片特征信息；S3：将CRN模型的最后一层特征图作为MFPN模型的输入，经过卷积形成多个特征图，再经过反卷积对不同特征图进行融合；S4：将MFPN模型的最后一层特征图，经过卷积，形成多个特征图；S5：对多个特征图进行拼接；S6：经过多尺度检测，得到交通标志的位置信息和类别信息。本发明专利技术的技术方案通过上采样和底层特征做横向连接融合，充分利用了底层和顶层特征信息，在检测和识别小目标的交通标志上取得了长足进步，提高检测精度。

【技术实现步骤摘要】
一种多尺度反卷积神经网络的交通标志实时检测识别方法
本专利技术涉及计算机应用
机器学习理论及应用子领域，特别是一种多尺度反卷积神经网络的交通标志实时检测识别方法。
技术介绍
交通标志是道路交通系统的一个重要组成部分，其作用主要包括显示当前路段的交通状况，提示驾驶环境中的危险和困难、警告驾驶员、为驾驶员指路等，为安全舒适的驾驶提供有用信息。如果完全靠驾驶员自己注意和发现交通标识并做出正确的反应，难免会增加驾驶负担，加速疲劳，严重地可能会导致交通事故。因此，安全可靠快速的交通标识识别系统显得越来越重要，大量研究人员也都致力于这一领域的研究。近几年来，随着人工智能的发展，各大厂商也在大力发展各自的自动驾驶汽车。然而，没有复杂的人工智能模型和高分辨率的地图来分析以及在复杂的环境中学习的能力，自动驾驶将难以安全的运行。全面而复杂的自动驾驶系统涉及传感、感知、定位、决策、实时操作系统、异构计算、图形视频处理以及云计算技术等。目标检测是智能对象收集器感知中的关键步骤，而目标检测和跟踪可以通过深度学习来实现。深度学习在近几年来也一直处于快速发展阶段，特别是使用卷积神经网络来处理图像，在图像识别和检测领域都达到了前所未有的高度。从最开始的LeCunY等人提出最早的神经网络模型LeNet[参考文献1]，虽然简单，但是已经具备了卷积层、池化层、全连接层等理念，而这些都是现代卷积神经网络最基本的组成部分。在2012年，深度学习的历史转折点出现了,Krizhevsky等人提出了AlexNet[参考文献2]在网络中使用非线性激活函数ReLU，防止过拟合的方法Dropout以归一化层的使用，在ImageNet图像分类竞赛中以绝对性的优势取得了冠军，深度学习开始重回历史舞台。2014年来自牛津大学的Simonyan等人提出了VGG[参考文献3]网络，在网络中使用了更小的3×3卷积核来作为一个序列模仿出更大的感受视野，网络层数也从AlexNet的几层达到了十几层，识别精度进一步提高。同年来自谷歌的ChristianSzegedy等人开始追求减少深度神经网络的计算开销提出了GoogLeNet[参考文献4]以及Inception结构，在图像分类中也达到了最高的精度，网络深度也进一步加深。虽然在2014年使用卷积神经网络图像分类的结果令人欣喜，但是在现实生活中，场景都是非常复杂，一张图片中往往包含多个目标，不仅仅要对图片进行分类，还需要对同一张图片的不同对象进行检测，得到物体在图像中的位置。因此RossGirshick等人提出了R-CNN[参考文献5]，先预先提取一系列可能是物体的候选区域，然后使用卷积神经网络进行提取特征，最后把特征送入SVM分类器分类，再使用回归器精细修正候选框位置,该网络也是第一个使用卷积神经网络来进行目标检测。为了提高网络速度，RossGirshick又提出FastR-CNN[参考文献6]，将整张图片直接送人深度网络中，然后在特征图上生成候选区域，减少了候选区域的重复计算，然而对于候选区域生成还是存在速度慢等问题。因此，在2015年任少卿，何恺明，RossGirshick和孙剑等人提出了FasterR-CNN[参考文献7]网络结构，在网络结构中提出了区域建议网络RPN，能够快读生成候选区域，并且通过交替训练，使RPN和Fast-RCNN网络共享网络参数，但这些方法都存在检测速度慢的问题。为了解决能够实时检测目标，Redmon等人使用了一种新的物体检测方法YOLO[参考文献8]，在此之前，物体检测方法主要是通过regionproposal产生大量的可能包含待检测物体的候选区域，再用分类器去判断每个候选区域里是否包含有物体，以及物体所属类别，而YOLO不同于这些物体检测方法，它将物体检测转化为回归问题解决，直接从一整张图像来预测出边界以及所含物体的置信度概率，速度能够达到之前检测物体算法的两倍，但在定位的时候更容易出错，并且对物体尺度比较敏感，对较大物体泛化能力比较插。针对这个问题，来自北卡罗来纳大学的刘威在ECCV2016提出了SSD[参考文献9]网络结构，该网络将fasterR-CNN和YOLO两个网络框架完美的结合，即保持了速度，又保证了精度，SSD采用了多层featuremap同时进行预测，能够检测出不同尺度的物体。但是仍存在对小目标检测不足的情况。为了改善YOLOv1的泛化不足以及改进对小目标检测问题，Redmon等人又提出了YOLOv2[参考文献10]版本，同样借鉴了FasterR-CNN中的anchor思想，在每一个中心可以预测9种不同大小的建议框，并且去除全连接层，在保持原有速度的优势之下，精度上得以提升。但对于小目标检测还存在问题，因此TsungYiLin等人提出了FPN[参考文献11]网络结构，都是只采用顶层特征做预测，但底层特征图所包含的特征信息比较少，特征图比较大，目标的位置信息更准确，因此更容易检测出小目标；而对于高层的特征图所包含的特征信息更多，但特征图比较小，目标位置信息更粗略，因此对于小目标检测性能不好。参考文献：[1]LeCunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278-2324.[2]KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystems.CurranAssociatesInc.2012:1097-1105.[3]SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[J].ComputerScience,2014.[4]SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions[C].Cvpr,2015.[5]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:580-587.[6]GirshickR.FastR-CNN[J].ComputerScience,2015.[7]RenS,HeK,GirshickR,etal.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystem本文档来自技高网...

【技术保护点】
1.一种多尺度反卷积神经网络的交通标志实时检测识别方法，其特征在于，包括以下步骤：S1：采集交通标志照片或视频；S2：输入CRN模型，经过卷积和池化，提取图片特征信息；S3：将CRN模型的最后一层特征图作为MFPN模型的输入，经过卷积形成多个特征图，再经过反卷积对不同特征图进行融合；S4：将MFPN模型的最后一层特征图，经过卷积，形成多个特征图；S5：对多个特征图进行拼接；S6：经过多尺度检测，得到交通标志的位置信息和类别信息。

【技术特征摘要】
1.一种多尺度反卷积神经网络的交通标志实时检测识别方法，其特征在于，包括以下步骤：S1：采集交通标志照片或视频；S2：输入CRN模型，经过卷积和池化，提取图片特征信息；S3：将CRN模型的最后一层特征图作为MFPN模型的输入，经过卷积形成多个特征图，再经过反卷积对不同特征图进行融合；S4：将MFPN模型的最后一层特征图，经过卷积，形成多个特征图；S5：对多个特征图进行拼接；S6：经过多尺度检测，得到交通标志的位置信息和类别信息。2.根据权利要求1所述的多尺度反卷积神经网络的交通标志实时检测识别方法，其特征在于，所述步骤S2具体包括：S21：对照片或视频进行预处理，输出像素大小一致的图片；S22：经过池化，使图片像素缩小一半；S23：做步长为1的两次卷积，提取特征图；S24：经过池化，使图片像素缩小一半；S25：做步长为1的两次卷积，提取特征图；S26：经过池化，使图片像素缩小一半；S27：做步长为1的两次卷积，再做步长为2的一次卷积，提取特征图。3.根据权利要求1所述的多尺度反卷积神经网络的交通标志实时检测识别方法，其特征在于，所述步骤S3具体包...

【专利技术属性】
技术研发人员：裴颂文，汤福武，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31