一种带有区域放大操作的改进SSD目标检测算法制造技术

本发明专利技术涉及一种带有区域放大操作的改进SSD目标检测算法，步骤如下：采用SSD网络，在公开数据集上训练获得SSD模型；在SSD网络低层引入区域放大操作，利用SSD网络生成建议区域，并将建议区域映射到低层特征层上，对建议区域特征进行放大以提高小目标的检测精度；对SSD网络的高层进行特征提取构成新的网络层，增加网络深度以改善中目标的检测精度；将改进的低层和高层进行结合重构特征金字塔，利用类别和位置检测层进行检测；在SSD模型基础上进行再训练以获得最终模型。本发明专利技术引入区域放大操作，在SSD网络的低层和高层采用不同改进策略，以平均精度均值mAP作为评价标准，提高对小、中目标的检测精度。

An improved SSD target detection algorithm with region amplification

【技术实现步骤摘要】
一种带有区域放大操作的改进SSD目标检测算法
本专利技术属于计算机视觉
，主要涉及深度学习和目标检测，尤其是一种带有区域放大操作的改进SSD目标检测算法。
技术介绍
目标检测是计算机视觉的核心课题，几十年来引起了人们的广泛关注。近年来，随着深度学习的出现，目标检测技术得到了显著的发展。深度学习是一种强大的从输入数据中自主学习特征表示的方法，具有高准确性和高鲁棒性的特点，卷积神经网络(CNN，ConvolutionalNeuralNetworks)作为深度学习中重要的算法，广泛应用于目标分类、目标检测等领域中，近年来提出了很多基于卷积神经网络的目标检测方法。TheOverfeatNetwork是第一种基于CNN的目标检测器，其通过滑动窗口的方法将每个图像分割成多个部分，并使用CNN网络对每个部分进行分类。然后，结合前两个过程的输出获得最终的位置和类别检测值。基于这种思路而设计的网络亦极具影响力，包括区域卷积网络(R-CNN，Region-basedConvolutionalNetwork)、Fast-RCNN和Faster-RCNN。虽然这些网络在目标检测上取得了较好的精度，但其在检测速度上不能满足实时检测的需求，而之后出现基于回归方式的卷积网络在保持更好检测精度的同时，具有实时性和节省内存的优点，目前流行的回归卷积网络有SSD(ShotMultiboxDetector)和YOLO(YouOnlyLookOnce)。SSD中包含训练特征金字塔，其通过在不同分辨率特征图上的每个单元格上生成默认框实现目标检测。YOLO在输入图像上划分网格，并在每个网格上直接进行目标位置和类别检测。在PASCALVOC2007测试中，SSD可以在NvidiaTitanX上以每秒59帧图像的速度，在尺寸为300×300的输入图像上检测精度为74.3％，检测效果相对更好。由于SSD只有一层低层特征用于检测，特征信息不够丰富，导致小目标检测性能较差。为提高SSD对小目标检测效果很多学者进行了研究。DSSD(DeconvolutionalSSD)，其采用特征提取更强的网络Resnet-101替换SSD主干网络VGG16，结合反卷积模块提高网络小目标检测能力。RSSD(RainbowSSD)改进特征融合方式检测到更多的小目标。FSSD(FeatureFusionSSD)利用特征融合和下采样重构多尺度特征提高在小目标的检测效果。在SSD网络中，只有一个低层卷积层Conv4_3用于检测小目标，小目标的特征细节信息不够充分，而在Conv4_3之上有五个卷积层，其特征图分辨率逐层下降，这些层可以为大目标检测提供足够的信息，但对于中目标检测效果仍然不够。本专利技术重点研究如何提高SSD网络对小、中目标检测的性能。为此，本专利技术提出了一种结合建议区域和反卷积操作的方法，首先，为了提高对小目标的检测能力，采用区域放大方法对低层特征进行有针对性的放大，即将SSD网络作为建议区域提取网络，并结合反卷积进行区域特征放大，以丰富低层特征细节信息，这将有助于提升小目标检测精度。其次，为改善对中目标检测效果，利用SSD网络中已有的多个高层卷积层进行特征层提取，组成新的网络层，增强网络特征提取能力，以提供更多关于中目标的特征信息。最后，将所有新添加层进行特征金字塔重构，并反馈给类别和位置检测层，通过在已训练好的SSD模型基础上进行再训练，得到最终的模型。
技术实现思路
为了提高SSD网络对于小、中目标的检测效果，本专利技术提供了一种带有区域放大操作的改进SSD目标检测算法，实现本专利技术技术方案是：(1)使用SSD网络，在大量公开数据集上训练获得SSD模型；(2)在SSD网络的低层卷积层上采用区域放大策略，由于小目标在顶层特征图保留的特征信息极少，浅层特征图可以保存更多的特征信息，而如果选择层太浅，细节信息丰富，但是不会有足够的语义信息，因此本专利技术选择低层卷积层Conv3_3、Conv4_3上进行改进。Conv4_3是SSD网络用于检测小目标的卷积层，其特征细节信息不够丰富，为增强其细节信息，引入反卷积操作，将尺寸为38×38的Conv4_3放大至300×300，利用步骤(1)中的SSD模型的输出作为当前输入图像的(300×300)中目标对应的建议区域，将建议区域映射到反卷积后的特征图上获得区域映射特征图并池化为固定尺寸，进而丰富特征信息。另外，通过特征提取操作额外引入Conv3_3获得尺寸为75×75特征图，同样将SSD模型的输出作为建议区域，映射到特征图上获得区域映射特征图并池化为固定尺寸以进一步丰富特征信息，通过区域放大策略以提高SSD网络对小目标的检测精度。区域映射公式为：其中rw/h为建议区域在待映射特征图上宽度和高度，dw/h为建议区域宽度和高度，fw/h为待映射特征图宽度和高度，imgw/h为输入图像宽度和高度。通过区域映射公式，根据特征图与输入图像之间的尺寸比例关系，可将建议区域映射到特征图目标对应位置处，实现目标特征区域放大。反卷积公式为：d＝s×(i-1)+k-2p其中，s代表步长，k代表反卷积核尺寸，d为反卷积图尺寸，i为对应卷积图尺寸，p为补零。在改进Conv4_3时，设定步长s＝8、k＝6，p＝1对尺寸为38×38的特征层Conv4_3进行反卷积得到尺寸为300×300反卷积图。(3)通过特征提取操作，对SSD网络相应的高层进行特征提取，构成新的网络层，增加深度，并在步骤(1)中训练的SSD模型中已有参数基础上进行再训练以改善中目标检测精度；(4)将改进的SSD网络低层和高层进行结合，重构特征金字塔用于检测，利用SSD网络卷积检测的方式，针对改进低层和高层分别添加新的类别和位置卷积检测层，将所有检测的结果进行合并，并通过非极大值抑制算法进行筛选实现目标检测。首先，通过在改进的用于检测的特征层上生成不同尺度默认框。其次，利用新添的卷积检测层预测默认框的类别和位置信息。最后，将预测值与真实框信息进行对比获得最终检测结果。其中，默认框生成机制是通过默认框映射建立起图像中目标位置和对应特征之间的关系，即在特征图的每个单元格上根据映射原理在输入图像对应位置处生成默认框。本专利技术对低层和高层采用不同改进方法，其对应的默认框映射机制也是不同的。低层默认框映射公式：其中，fw/h为用于产生默认框的特征图宽度和高度，fx/ycenter为默认框在输入图像对应位置的中心点坐标，cx/y为默认框在特征图上的中心坐标，为建议框左上角和右下角的坐标。高层默认框映射公式：其中，fw/h为用于产生默认框的特征图宽度和高度，imgw/h为输入图像的宽度和高度，cx/y为默认框在特征图上的中心坐标，imgcx/cy为默认框映射到输入图像的中心坐标，wk/hk为默认框映射到输入图像上的宽度和高度，(xmin，ymin，xmax，ymax)为默认框边界框坐标对应于左上角和右下角。(5)根据改进方法，在步本文档来自技高网...

【技术保护点】
1.一种带有区域放大操作的改进SSD目标检测算法，步骤如下：/n(1)采用SSD网络，在公开数据集PASCAL VOC2007和PASCAL VOC2012上训练获得SSD模型；/n(2)在SSD网络的低层特征图采用区域放大策略，利用步骤(1)中训练获得的SSD模型生成目标对应的建议区域，并通过区域映射操作将建议区域映射到相应低层特征层上，对建议区域对应的目标特征进行放大以提高小目标的检测精度；/n(3)通过特征提取操作，对SSD网络的多个高层进行特征提取，获得新的网络层，增加网络深度改善中目标的检测精度；/n(4)将改进的SSD网络低层特征和高层特征进行结合，重构特征金字塔，并利用类别和位置检测层实现目标检测；/n(5)根据改进方法，在步骤(1)中训练获得的SSD模型基础上进行参数再训练以获得最终的模型。/n

【技术特征摘要】
1.一种带有区域放大操作的改进SSD目标检测算法，步骤如下：
(1)采用SSD网络，在公开数据集PASCALVOC2007和PASCALVOC2012上训练获得SSD模型；
(2)在SSD网络的低层特征图采用区域放大策略，利用步骤(1)中训练获得的SSD模型生成目标对应的建议区域，并通过区域映射操作将建议区域映射到相应低层特征层上，对建议区域对应的目标特征进行放大以提高小目标的检测精度；
(3)通过特征提取操作，对SSD网络的多个高层进行特征提取，获得新的网络层，增加网络深度改善中目标的检测精度；
(4)将改进的SSD网络低层特征和高层特征进行结合，重构特征金字塔，并利用类别和位置检测层实现目标检测；
(5)根据改进方法，在步骤(1)中训练获得的SSD模型基础上进行参数再训练以获得最终的模型。


2.根据权利要求1所述的一种带有区域放大操作的改进SSD目标检测算法，其特征在于，步骤(1)中是从公开数据集PASCALVOC2007和PASCALVOC2012中挑选7类目标组成训练数据集，包括16237张图像，检测类别为自行车、公交车、汽车、猫、狗、摩托车和人。


3.根据权利要求1所述的一种带有区域放大操作的改进SSD目标检测算法，其特征在于，步骤(2)中利用SSD网络用于检测的低层卷积层Conv4_3，对其采用反卷积操作获得高分辨反卷积图，并将建议区域映射到反卷积图中，对目标区域特征进行放大，丰富特征...

【专利技术属性】
技术研发人员：王以忠，陈幻杰，郭肖勇，王琦琦，杨国威，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：天津;12