一种基于改进SSD算法的交通标识的检测识别方法技术

本发明专利技术公开了一种基于改进SSD算法的交通标识检测识别方法，本发明专利技术主要创新点在于构建网络时采用ResNet18网络来作为前置网络代替原始算法中的VGG16网络，选取SeLU激活函数代替原本SSD算法的网络结构中使用的ReLU激活函数，增加了网络结构的鲁棒性。选择深度残差网络作为前置网络，增加多尺度融合特征层，将交通标识数据集输入到网络模型中训练，使用训练好的模型进行交通标识区域检测，获得交通标识区域后，该方法先扩展交通标识区域并对该区域进行自适应二值化操作，然后对二值化后的图像进行连通区域分析寻找到交通标识边框，采用随机抽样一致算法和Sobel算子分别判断交通标识的上下左右边界，实验结果表明本方法能达到对交通标识实时精确定位和识别的结果。

A method of traffic sign detection and recognition based on improved SSD algorithm

【技术实现步骤摘要】
一种基于改进SSD算法的交通标识的检测识别方法
本专利技术属于计算机视觉中的图像识别领域，涉及一种图像检测识别方法的创新。
技术介绍
交通标识的检测与分类识别是无人驾驶系统和驾驶员辅助系统的重要组成部分，解决交通标识的识别问题对无人驾驶技术发展具有重要意义。根据当前目标检测领域的算法工作流程可以将目标识别方法分为两类：一种是双步法，如R-CNN、FastR-CNN算法模型；另一种是单步法，比较经典的算法模型有YOLO和SSD(SingleShotMultiBoxDetector，下文简称SSD)等。SSD算法由北卡罗来纳大学教堂山分校的WeiLiu等人提出，专门针对解决YOLO类算法的定位精度问题。SSD算法结合FasterR-CNN的anchorbox机制和YOLO的回归思想，通过预测不同尺度特征提取层上的目标区域，将边界框的输出空间离散化为一系列多尺度、多比例的预选框。在检测阶段网络将生成感兴趣目标的对应置信度并对预选框进行调整以匹配目标区域。SSD在大目标检测方面表现良好，并且对于不同目标的长宽比鲁棒性好，对于小目标检测可以通过增加输入图像的尺寸以提高检测率，但是仍然需要进一步的改进。通过基于区域建议和基于回归的目标检测算法在COCO、PASCALVOC2007、PASCALVOC2012数据集上的平均精度均值和检测速度的对比，可以发现：基于回归的目标检测算法在检测精度上略高于基于区域建议的目标检测算法，在检测速度上明显高于基于区域建议的目标检测算法，所以本专利技术采用SSD算法对交通标识图像进行检测和识别。如图1是原本SSD网络结构图。
技术实现思路
为了解决以上因外界复杂环境如光度、拍摄角度、画质而影响的交通标识图像检测结果后存在定位精度不高、实时性差的问题。为了实现相应的技术目的，本专利技术采用的技术方案实现的一种基于改进SSD算法的交通标识检测识别方法，如图2是本专利技术对交通标识检测识别的流程图，其具体方法包括以下内容：S1目标检测识别网络的前置网络S1.1深度学习网络的深度对分类和识别的准确率有着很大的影响，为了能够提高网络的准确率，我们会通过加深网络深度的方法来达到这个目的。普通深度学习的网络随着深度增加，会出现错误率升高的问题，ResNet(DeepResidualNetwork，下文简称ResNet)的提出主要解决随着网络深度的加深梯度逐渐消失，模型退化的现象，该网络引入了残差网络结构，在增加网络层的同时，最终分类的效果也明显比之前有所提高。残差结构单元通过捷径连接实现，捷径将这个结构的输入和输出进行加叠操作，这种做法并不会影响原始网络的复杂度，当模型的层数加深时还减弱了由此带来的梯度消失现象，有效提高了识别效果。深度残差网络在ImageNet上通过使用不同层数的网络结构进行测试，测试结果表明随着层数的增多错误率却随之下降，其中网络层数为152层的残差网络实现了3.75％的错误率，但是随着层数的越来越深计算量的增加，训练的速度也会降低变慢。S1.2在SSD模型中，前置网络是用来为权重附初始值，使得训练时更快收敛，提高训练效率，前置网络的选取会影响到整个网络的训练效率。S1.3在SSD原有模型的基础上，对VGG16、ResNet34、ResNet18三种网络分别作为目标检测模型的前置网络，逐一在PASCALVOC2007数据集上进行对比测试，实验结果显示，在准确率方面，ResNet34明显高于ResNet18和VGG16，ResNet18则略高于VGG16；在检测时间方面，ResNet18明显要快于其他两个网络。本专利技术基于检测实时性的考虑，采用ResNet18网络来作为前置网络代替了原始算法中的VGG16网络。该方法计算量少检测速度快，而且在准确率方面达到检测效果。S2目标检测识别网络引入预选框S2.1在SSD模型目标检测算法中引入了预选框，预选框在不同的特征层中拥有不同的尺寸大小，在同一个特征层中又有不同的纵横比值，因此基本上可以覆盖输入图像中的各种形状和大小的目标，softmax分类和边框回归得到真实目标的所在位置。该检测算法以特征图上每个点的中点为中心，生成一系列同心的预选框，预选框最小边长为min_size，最大边长为每在prototxt设置一个纵横比，增加了2个长方形预选框，该预选框的长度和宽度分别为和S2.2预选框如图3所示。预选框的大小与输入图片比值Sk通过公式1计算得到。其中m是指做预测的特征图的总数，Smin和Smax是表示预选框的大小与输入图片比值Sk的最小值与最大值。在设定好预选框大小和输入图片比例的最小值和最大值时，按照上述公式计算可获得一组比值，该组比值依次对应着每个特征层中预选框与输入图片的比例，可计算出各特征层预选框的最大值和最小值。S2.3当设置预选框边长的纵横比时，特征层中会另外增加2个长方形预选框，每个长方形预选框宽的长度和高的长度分别由公式2和公式3计算。其中边长的纵横比为ar，确定各层特征层的取值，设置各特征层纵横比，根据以上公式计算出每层生成的长方形预选框的宽度与高度。S3目标检测识别网络激活函数S3.1本交通标识检测网络将在ResNet18网络中的3个卷积层即conv3_2、conv4_2、conv5_2和在SSD网络中额外添加的3个卷积层即conv8、conv9、conv10上进行相邻卷积层间多尺度特征融合操作，通过该操作可得到5个特征层即convfl_1、convfl_2、convfl_3、convfl_4、convfl_5。在此基础上，加上该网络最后的平均池化层pool11构成网络特征提取层用来预测目标位置和目标置信度。经过实验对比选取的前置网络ResNet18，设置比例值Sk的间距值和每个特征提取层的预选框纵横比数值，基于以上网络结构的设置构建交通标识检测网络模型，检测网络的输入图像大小为300×300，每个卷积层的卷积核尺寸大小设为3×3，池化层的采样核尺寸大小设为1×1。S3.2在相邻层特征图融合前需要加入BN层(BatchNormalizationLayer)和激活函数进行归一化以及激活操作，可以达到消除层间特征图差异的效果。S3.3在原本SSD算法的网络结构中使用的是ReLU激活函数，该激活函数当训练神经网络模型时设置了比较大的学习率时，会出现训练中断的情况。S3.4激活函数SeLU引入了自归一化的属性，并且使用Banach的不动点定理证明了即使存在噪声和干扰的情况下，通过多个网络层后仍然能够收敛到零均值和单位方差。对于不趋近单位方差的激励值，方差映射存在上下界，并不会出现梯度消失和梯度爆炸的情况。该激活函数如公式4所示其中λ≈1.0507，α≈1.6733。通过对激活函数的研究和比较，选取了SeLU激活函数应用在本专利技术构建的网络结构中，通过对神经元进行自动地转移和重缩放实现归一化到零均值和单位方差，以增加网络结构的鲁棒性。S4目标检测识别网络的损失函数S4.本文档来自技高网...

【技术保护点】
1.一种基于改进SSD算法的交通标识检测识别方法，其特征在于：具体方法包括以下内容：/nS1目标检测识别网络的前置网络/nS1.1深度学习网络引入残差网络结构，残差结构单元通过捷径连接实现，捷径将这个结构的输入和输出进行加叠操作；深度残差网络在ImageNet上通过使用不同层数的网络结构进行测试；/nS1.2在SSD模型中，前置网络是用来为权重附初始值，使得训练时更快收敛，前置网络的选取会影响到整个网络的训练效率；/nS1.3在SSD原有模型的基础上，对VGG16、ResNet34、ResNet18三种网络分别作为目标检测模型的前置网络，逐一在PASCAL VOC 2007数据集上进行对比测试；采用ResNet18网络来作为前置网络代替VGG16网络；/nS2目标检测识别网络引入预选框/nS2.1在SSD模型目标检测算法中引入了预选框，预选框在不同的特征层中拥有不同的尺寸大小，在同一个特征层中又有不同的纵横比值，覆盖输入图像中的各种形状和大小的目标，softmax分类和边框回归得到真实目标的所在位置；以特征图上每个点的中点为中心，生成一系列同心的预选框，预选框最小边长为min_size，最大边长为...

【技术特征摘要】
1.一种基于改进SSD算法的交通标识检测识别方法，其特征在于：具体方法包括以下内容：
S1目标检测识别网络的前置网络
S1.1深度学习网络引入残差网络结构，残差结构单元通过捷径连接实现，捷径将这个结构的输入和输出进行加叠操作；深度残差网络在ImageNet上通过使用不同层数的网络结构进行测试；
S1.2在SSD模型中，前置网络是用来为权重附初始值，使得训练时更快收敛，前置网络的选取会影响到整个网络的训练效率；
S1.3在SSD原有模型的基础上，对VGG16、ResNet34、ResNet18三种网络分别作为目标检测模型的前置网络，逐一在PASCALVOC2007数据集上进行对比测试；采用ResNet18网络来作为前置网络代替VGG16网络；
S2目标检测识别网络引入预选框
S2.1在SSD模型目标检测算法中引入了预选框，预选框在不同的特征层中拥有不同的尺寸大小，在同一个特征层中又有不同的纵横比值，覆盖输入图像中的各种形状和大小的目标，softmax分类和边框回归得到真实目标的所在位置；以特征图上每个点的中点为中心，生成一系列同心的预选框，预选框最小边长为min_size，最大边长为每在prototxt设置一个纵横比，增加了2个长方形预选框，该预选框的长度和宽度分别为和
S2.2预选框的大小与输入图片比值Sk通过公式1计算得到；



其中m是指做预测的特征图的总数，Smin和Smax是表示预选框的大小与输入图片比值Sk的最小值与最大值；在设定好预选框大小和输入图片比例的最小值和最大值时，按照上述公式计算获得一组比值，该组比值依次对应着每个特征层中预选框与输入图片的比例，计算出各特征层预选框的最大值和最小值；
S2.3当设置预选框边长的纵横比时，特征层中会另外增加2个长方形预选框，每个长方形预选框宽的长度和高的长度分别由公式2和公式3计算；






其中边长的纵横比为a预，确定各层特征层的取值，设置各特征层纵横比，根据以上公式计算出每层生成的长方形预选框的宽度与高度；
S3目标检测识别网络激活函数
S3.1交通标识检测网络将在ResNet18网络中的3个卷积层即conv3_2、conv4_2、conv5_2和在SSD网络中额外添加的3个卷积层即conv8、conv9、conv10上进行相邻卷积层间多尺度特征融合操作，得到5个特征层即convfl_1、convfl_2、convfl_3、convfl_4、convfl_5；加上该网络最后的平均池化层pool11构成网络特征提取层用来预测目标位置和目标置信度；经过实验对比选取的前置网络ResNet18，设置比例值Sk的间距值和每个特征提取层的预选框纵横比数值，基于以上网络结构的设置构建交通标识检测网络模型，检测网络的输入图像大小为300×300，每个卷积层的卷积核尺寸大小设为3×3，池化层的采样核尺寸大小设为1×1；
S3.2在相邻层特征图融合前需要加入BN层和激活函数进行归一化以及激活操作；
S3.3ReLU激活函数当训练神经网络模型时设置大的学习率时，会出现训练中...

【专利技术属性】
技术研发人员：石宇良，王小伟，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11