小尺寸交通标志检测识别的反向连接深度神经网络模型方法技术

随着汽车智能化的不断发展，自动驾驶逐渐成为智能汽车的研究重点，其关键技术之一是对交通标志进行检测与识别用于辅助智能驾驶。然而，现有方法对小尺寸交通标志检测效果不好，即汽车离交通标志较远时，无法检测成功，待靠近检测成功后留给系统的决策时间较少。针对以上问题，本发明专利技术基于区域卷积神经网络框架，提出了一种反向连接深度神经网络模型方法以提高小尺寸交通标志检测识别的鲁棒性，从而为智能汽车的辅助驾驶提供了更有效的模型保障。

【技术实现步骤摘要】
小尺寸交通标志检测识别的反向连接深度神经网络模型方法
本专利技术涉及智能汽车交通标志自动检测识别。
技术介绍
在深度学习兴起之前，交通标志检测识别领域都是基于传统研究方法，早期研究中，研究者主要利用一些传统的图像处理算法及机器学习方法来解决交通标志的检测识别问题，虽然取得不少进步，同时也启发了后人，但仍然有很多地方需要改进。深度学习在ImageNet比赛中取得突破性成绩后，在检测识别领域，也逐渐引入了深度学习模型，使人们对该领域有了新的认识。传统的交通标志研究方法，可以分为基于颜色的检测方法，基于形状的检测方法，基于颜色和形状的检测方法，基于机器学习的检测方法。基于颜色检测的常用方法之一是颜色分割，使用颜色分割来搜索位置以及感兴趣的像素，利用连通分量、分裂合并、边缘检测、聚类等方法，利用基于颜色信息的相似度度量方法对检测阶段的特征进行建模。该方法最主要的是对颜色空间的选择，受光照影响较大，所以此类方法的鲁棒性和准确性不高。基于交通标志形状的检测识别方法对于光照变化具有良好的鲁棒性，但是当交通标志发生倾斜或扭曲时，此类方法检测正确率会明显下降。当图像包含具有相同颜色和形状的物体时，单独分别使用颜色和形状信息会增加干扰的数量。因此，颜色和形状信息被组合用于检测以减少干扰。基于颜色和形状的检测方法包括两个阶段：第一阶段是某种色彩空间中的色彩分割，第二阶段是通过形状分析检测交通标志。基于机器学习的检测方法一般是提取训练数据集中感兴趣区域的某种特征，用这些特征对一些分类器进行训练，利用训练好的分类器对测试集进行匹配检测。此类方法虽然克服了大多数干扰对交通标志检测的影响，具备较好的鲁棒性，但针对不同类别的交通标志，往往需要人工设计不同的特征来匹配，该类方法在可检测交通标志的类别上往往存在一定的局限性，尤其对于类别较多的情况，工作量会更大。因此使用深度学习方法来提取特征有很好的前景。但是对于小尺寸目标，现有的深度学习的方法检测效果依旧不好，交通标志识别的鲁棒性仍需要提高。
技术实现思路
针对如何提高智能汽车交通标志识别的鲁棒性问题，本专利技术提供了一种小尺寸交通标志检测识别的反向连接深度神经网络模型方法。小尺寸目标经过众多卷积层后对应的特征图区域已经较小，而前层特征图有较高分辨率，其对应目标特征图较大。基于此，考虑将后层特征图与前几层特征图融合到一起来检测，从而提升小尺度目标的检测率。一种小尺寸交通标志检测识别的反向连接深度神经网络模型方法，具体方法包括如下步骤：(1)使用VGG16微调模型对交通标志提取相应的特征图；对每一张输入的数据集图片，经过VGG16前13层卷积层提取特征，使得相应的卷积层提取了相应尺寸的特征图。(2)使用反向连接模块连接前后层特征图提取候选区域；从conv5层开始对前一层反向连接，并融合conv4层特征，同样，conv4层也对conv3层进行反向连接，并在conv3层融合相应特征。然后在候选区域提取阶段，根据conv5层特征图的滑动窗口中心坐标，经区域生成网络从原图中选取候选区域，根据重叠度进行正负样本的划分并训练区域生成网络，输出二分类结果及边界框回归值。(3)使用多层统一的感兴趣区域下采样方式进行特征融合；在原图中找到候选区域后，再由anchor映射原理在三个反向连接层特征图中找到候选区域对应的特征图部分。全连接层的输入为固定维度特征，所以需要经过ROIpooling来pooling到固定尺度。(4)使用全连接层进行详细分类与回归来检测识别交通标志。使用两层全连接层进行多任务训练，即使详细分类和回归的总代价最小，从而得到最好的检测识别的准确率。附图说明图1为本专利技术方法系统流程图。图2融合多层特征的深度神经网络模型结构图。图3卷积与反卷积示意图。图4反向连接模块示意图。图5候选区域区域提取流程示意图。图6特征融合流程示意图。具体实施方式本专利技术的具体实施过程如图1所示，包括如下4个方面：①使用VGG16微调模型对交通标志提取相应的特征图②使用反向连接模块连接前后层特征图提取候选区域；③使用多层统一的感兴趣区域下采样方式进行特征融合；④使用全连接层进行详细分类与回归来检测识别交通标志。各个步骤详述如下：一、使用VGG16微调模型对交通标志提取相应的特征图对于VGG16模型使用交通标志数据集微调，如图2，对于每一种图片，VGG对每一层卷积层提取了相应的特征图，后面才能进行后续的反向连接等步骤。VGG16模型的主要结构及超参数如表1，网络经过共13个卷积层，4个pooling层，卷积层卷积核大多为3*3，且用连续的两个3*3卷积层连接在一起来代替5*5卷积核从而在不影响性能的情况下减少参数，后面接上Maxpooling，后面引入1*1的卷积核，能够在不影响卷积层感受野的情况下增加非线性。最后一个Maxpooling对应检测中的ROIpooling。后面接上三层全连接层(fullconnection，FC)，图2中ROIpooling前面的网络参数为RPN和Fast-RCNN共享，所以该三层是Fast-RCNN用来详细分类与回归的主要部分。二、使用反向连接模块连接前后层特征图提取候选区域反向连接模块中使用了反卷积层来上采样。其中卷积输入特征图与输出特征图的尺寸关系如公式(1)：ninnout分别为输入尺寸和输出尺寸，kernel为卷积核尺寸，padding为周边补0尺寸，stride为卷积核滑动步长。对应的反卷积输入特征图与输出特征图的尺寸关系如公式(2)：即：nout＝(nin-1)*stride+kernel-2padding如图3(a)是没有加padding，滑动步长为1的卷积映射，(b)是加了padding滑动步长为1的卷积映射。(c)是没有padding滑动步长为1的反卷积映射，(d)是加了padding，滑动步长为1的反卷积映射。映射中下面的图是输入图，上面是输出图。左边两图图中，卷积核尺寸为3*3，卷积时输入图尺寸为4*4，输出图尺寸为(4-3+1)*(4-3+1)，反卷积时，在输入图周边补0，输入2*2，输出为[(2-1)+3]*[(2-1)+3]＝4*4。而后边有padding的图，卷积时取的是“same”模式，即输入特征图和输出特征图大小一致，padding也是自动计算加上的，所以反卷积时输入与输出尺寸也是一样大小。典型反向连接模块使用反卷积的形式如图4，从第n+1层reverse特征图(ReverseMap)经反卷积层往第n层传递，反卷积层的作用便是保证传递后的特征图与主干网络的第n层的输出特征图维度相同，两特征图以元素形式相加。如图2所示，主网络从conv5层开始，自身的特征图作为reverse特征图，经反卷积传入conv4，并与conv4相加，conv4也是以相同形式向前传导。总共有3个不同尺寸的reverse特征图。如图5所示，ReverseMap5的特征图尺寸为M*N，对应的滑动卷积核为3*3，加上padding为1，stride为1，卷积后的特征图尺寸仍为M*N，而ReverseMap4的尺寸为2M*2N，要得到相同大小尺寸的特征图，则对应的滑动卷积核尺寸为5*5，padding为2，stride为1，同理ReverseMap3尺寸为4M*4N，对应的卷积核尺寸为本文档来自技高网...

【技术保护点】
1.一种小尺寸交通标志检测识别的反向连接深度神经网络模型方法，其特征在于，具体方法包括如下步骤：(1)使用VGG16微调模型对交通标志提取相应的特征图；对每一张输入的数据集图片，经过VGG16前13层卷积层提取特征，使得相应的卷积层提取了相应尺寸的特征图；(2)使用反向连接模块连接前后层特征图提取候选区域；从conv5层开始对前一层反向连接，并融合conv4层特征，同样，conv4层也对conv3层进行反向连接，并在conv3层融合相应特征；然后在候选区域提取阶段，根据conv5层特征图的滑动窗口中心坐标，经区域生成网络从原图中选取候选区域，根据重叠度进行正负样本的划分并训练区域生成网络，输出二分类结果及边界框回归值；(3)使用多层统一的感兴趣区域下采样方式进行特征融合；在原图中找到候选区域后，再由anchor映射原理在三个反向连接层特征图中找到候选区域对应的特征图部分；全连接层的输入为固定维度特征，所以需要经过ROI pooling来pooling到固定尺度；(4)使用全连接层进行详细分类与回归来检测识别交通标志。

【技术特征摘要】
1.一种小尺寸交通标志检测识别的反向连接深度神经网络模型方法，其特征在于，具体方法包括如下步骤：(1)使用VGG16微调模型对交通标志提取相应的特征图；对每一张输入的数据集图片，经过VGG16前13层卷积层提取特征，使得相应的卷积层提取了相应尺寸的特征图；(2)使用反向连接模块连接前后层特征图提取候选区域；从conv5层开始对前一层反向连接，并融合conv4层特征，同样，conv4层也对conv3层进行反向连接，并在conv3层融合相应特征；然后在候选区域提取阶段，根据conv5层特征图的滑动窗口中心坐标，经区域生成网络从原图中选取候选区域，根据重叠度进行正负样本的划分并训练区域生成网络，输出二分类结果及边界框回归值；(3)使用多层统一的感兴趣区域下采样方式进行特征融合；在原图中找到候选区域后，再由anchor映射原理在三个反向连接层特征图中找到候选区域对应的特征图部分；全连接层的输入为固定维度特征，所以需要经过ROIpooling来pooling到固定尺度；(4)使用全连接层进行详细分类与回归来检测识别交通标志。2.如权利要求1所述的小尺寸交通标志检测识别的反向连接深度神经网络模型方法，其特征在于，使用反向连接模块连接前后层特征图提取候选区域：反向连接模块中使用了反卷积层来采样；其中卷积输入特征图与输出特征图的尺寸关系如公式(1)：ninnout分别为输入尺寸和输出尺寸，kernel为卷积核尺寸，padding为周边补0尺寸，stride为卷积核滑动步长；对应的...

【专利技术属性】
技术研发人员：臧笛，丁建平，卫志华，凌嘉炜，方杨，严诣青，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31