基于多尺度信息和残差网络的小目标交通标志检测方法技术

本发明专利技术涉及一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：准备包含不同种类交通标志的数据集；网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层；训练所搭建的网络，得到网络模型：使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。

Small target traffic sign detection method based on multi-scale information and residual network

【技术实现步骤摘要】
基于多尺度信息和残差网络的小目标交通标志检测方法
本方法涉及目标检测领域，特别涉及自动驾驶汽车中的辅助驾驶系统。
技术介绍
伴随着汽车的大范围普及，我国交通安全事故发生率也随之逐年上升。使车辆能够自动检测并识别交通标志、获取路面情况可以在很大程度上减轻驾驶员的精神负担、缓解疲劳，保障安全驾驶。交通标志检测是指根据实时图片中交通标志的颜色、形状等特征，定位交通标志的位置，并且对图片中的交通标志进行分类识别，获取交通标志的含义，规范车辆的行驶。交通标志检测是辅助驾驶系统中的核心任务，对小目标交通标志检测的研究具有重要的现实意义。由于国内外大部分交通标志具有规则的形状和易于区分的颜色，所以早期国内外学者多采用图像处理的方法来解决交通标志检测问题。后来随着机器学习的兴起，HOG特征结合SVM分类器等交通标志检测算法不断涌现。而近年来随着神经网络的不断研究和创新，深度学习的方法越来越多地应用到交通标志检测领域，并占据了重要地位。在近年来公布的众多论文、专利中，交通标志检测算法基本都基于深度神经网络。Zang等[1]提出了一种基于级联卷积神经网络(CNN)的交通标志检测方法。首先，结合特征检测器和AdaBoost分类器提取感兴趣区域；其次，采用级联卷积神经网络来筛选感兴趣区域，实现交通标志检测。Zhu等[2]提出了一个包含深度学习的新框架，整个框架包含两个深度神经网络，一个是全卷积网络(FCN)，用以产生交通标志的候选区域；另一个是卷积神经网络，用于分类。ZhangJ等[3]提出了一种基于卷积神经网络的浅层网络结构，该网络仅由三个卷积层进行特征提取，并采用逆向优化的方法进行学习，使用激活函数ReLU来提高计算效率，该方法在德国交通标志识别数据集(GTSRB)上获得了高准确率。(CN201910365006.1)提出一种基于注意力机制的交通标志检测方法，此方法通过贪心策略算法对待检测图像进行切片，得到目标检测区域，通过检测模型获取与每个目标检测区域对应的预测结果，提高了交通标志检测的精度值和效率。(CN201910440872.2)将交通标志图像进行模糊化处理，虚化交通标志因为光线、提取范围等原因而产生的不光滑的轮廓表面，然后建立卷积神经网络识别图像，在一定程度上减少了噪声的干扰。(CN201910552184.5)设计了一种改进的神经网络模型，模型使用PW卷积、DW卷积以降低参数量、提升检测速度，并改进交叉熵损失，在损失函数中对易分类样本进行抑制，使模型在训练过程中更加注重难分类样本。(CN201910474058.2)提出了一种基于F-RCNN的远距离交通标志检测识别方法，利用F-RCNN和极限学习机网络，实现了较高的识别准确率。现有的目标检测方法，主要是针对通用目标数据集来设计的解决方案，应用于交通标志检测中时，对于小目标交通标志来说，检测效果不是很理想。此外，小目标本身包含信息少，且经过多次卷积之后信息容易被丢失，给检测带来困难。[1]D.Zang,J.Zhang,D.Zhang,M.Bao,J.ChengandK.Tang,"Trafficsigndetectionbasedoncascadedconvolutionalneuralnetworks"201617thIEEE/ACISInternationalConferenceonSoftwareEngineering,ArtificialIntelligence,NetworkingandParallel/DistributedComputing(SNPD),Shanghai,2016,pp.201-206.[2]ZhuY,ZhangC,ZhouD,etal.Trafficsigndetectionandrecognitionusingfullyconvolutionalnetworkguidedproposals[J].Neurocomputing,2016,214:758-766.[3]ZhangJ,HuangQ,WuH,etal.AShallowNetworkwithCombinedPoolingforFastTrafficSignRecognition[J].Information,2017,8(2):45.
技术实现思路
利用交通标志图像的多尺度信息可以有效提高小目标交通标志的检测准确率，本专利技术提出了一种基于多尺度信息和残差网络的小目标交通标志检测方法，从感受野入手获取交通标志图像的多尺度信息，以提高检测性能。技术方案如下：一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：第一步，准备包含不同种类交通标志的数据集，划分训练集和测试集。第二步，网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，具体搭建方法如下：(1)使用ResNet101作为特征提取网络的骨干：为获取图片的多尺度信息，在特征提取网络中添加3个使用空洞卷积的卷积层并行分支，且这三个卷积层只有空洞卷积的膨胀率不同，共享其他参数，将训练集图片输入特征提取网络，在3个并行分支上生成3个包含不同尺度信息的特征图，将这3个特征图在通道维度上进行连接；(2)将上述特征图输入到区域生成网络RPN中，对于每个分支的特征图，RPN生成不同的提议区域；(3)将特征提取网络生成的特征图和RPN生成的提议区域共同输入兴趣区域池化层，兴趣区域池化层首先将提议区域映射到特征图上，然后进行最大值池化操作，最终输出各个提议区域对应的特征；(4)将兴趣区域池化层输出的特征输入到全连接层，全连接层对输入图片的类别和边界框进行预测。第三步，训练所搭建的网络，得到网络模型：使用gradualwarmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。本专利技术利用多尺度信息和残差网络来实现对小目标交通标志的检测，并在区域生成网络RPN中加入尺度过滤来提高网络的检测性能。由于参数共享，网络没有添加额外的参数，并且使用了gradualwarmup方法来优化学习率，使网络能够稳定收敛。此外，网络通过使用软化非极大值抑制算法，有效降低了小目标交通标志的漏检率。与现有技术相比，这种方法充分利用多尺度信息，能够有效提升对小目标交通标志检测的准确率。附图说明图1基于多尺度信息和残差网络的小目标交通标志检测方法的网络整体结构图图2特征提取网络结构图图33个并行分支结构图(d表示空洞卷积的膨胀率)图4兴趣区域池化层池化示意图图5检测结果示意图，左图和右图分别为两个识别结果图。具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述。本本文档来自技高网...

【技术保护点】
1.一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：/n第一步，准备包含不同种类交通标志的数据集，划分训练集和测试集。/n第二步，网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，具体搭建方法如下：/n(1)使用ResNet101作为特征提取网络的骨干：为获取图片的多尺度信息，在特征提取网络中添加3个使用空洞卷积的卷积层并行分支，且这三个卷积层只有空洞卷积的膨胀率不同，共享其他参数，将训练集图片输入特征提取网络，在3个并行分支上生成3个包含不同尺度信息的特征图，将这3个特征图在通道维度上进行连接；/n(2)将上述特征图输入到区域生成网络RPN中，对于每个分支的特征图，RPN生成不同的提议区域；/n(3)将特征提取网络生成的特征图和RPN生成的提议区域共同输入兴趣区域池化层，兴趣区域池化层首先将提议区域映射到特征图上，然后进行最大值池化操作，最终输出各个提议区域对应的特征；/n(4)将兴趣区域池化层输出的特征输入到全连接层，全连接层对输入图片的类别和边界框进行预测。/n第三步，训练所搭建的网络，得到网络模型：使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。/n...

【技术特征摘要】
1.一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：
第一步，准备包含不同种类交通标志的数据集，划分训练集和测试集。
第二步，网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，具体搭建方法如下：
(1)使用ResNet101作为特征提取网络的骨干：为获取图片的多尺度信息，在特征提取网络中添加3个使用空洞卷积的卷积层并行分支，且这三个卷积层只有空洞卷积的膨胀率不同，共享其他参数，将训练集图片输入特征提取网络，在3个并行分支上生成3个包含不同尺度信息的特征图，将这3个特征图在通道维度上进行连接；
(2)将上述特征图输入到区域生成网络RPN中，对于每个分支的特征图，RPN生成不同的提议区域；
(3)将特征提...

【专利技术属性】
技术研发人员：褚晶辉，周辉，吕卫，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12