适于目标检测的MB-SSD方法和MB-SSD特征提取网络技术

本发明专利技术公开了一种适于目标检测的MB‑SSD方法，包括：提取多小目标图像，采用生成对抗网络对提取的多小目标图像进行增强；构建MB‑SSD特征提取网络，所述MB‑SSD特征提取网络包括主支特征提取网络、分支特征提取网络和定位网络，将增强后数据输入MB‑SSD特征提取网络，分别获取主支特征提取网络和分支特征提取网络的分类定位结果；再根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征；将主支特征提取网络和分支特征提取网络的分类定位结果进行融合并降维；计算模型损失，训练模型，优化模型参数。本发明专利技术能够在分类层中加入相对重合度调整分类结果的方法，来提高SSD算法的分类效果，同时有效的改善了对小目标的检测精度。

【技术实现步骤摘要】
适于目标检测的MB-SSD方法和MB-SSD特征提取网络
本专利技术涉及计算机视觉
，具体而言涉及一种用于适于目标检测的MB-SSD方法和MB-SSD特征提取网络。
技术介绍
目标检测是计算机视觉领域较为流行的研究方向，可应用于无人驾驶，视屏监控，行人检测，遥感图像检测等领域。传统的目标检测算法首先人工的提取特征，列如SIFT(尺度不变特征变换匹配算法ScaleInvariantFeatureTransform),HOG(方向梯度直方图特征HistogramofOrientedGradient),SURF(加速稳健特征SpeededUpRobustFeatures)等，再将这些人为提取的特征结合分类器进行目标识别，最后再结合相应的策略对目标的位置进行定位，但是对于背景复杂多变，目标复杂多变的场景，人们很难总结出图像的抽象特征，所以传统方法对与目标检测由很大的局限性。基于深度学习提取特征的目标检测算法对于同一目标可以提取其较为丰富的特征，从而使得目标检测的算法更加泛化，对实际场景的目标检测更加适应。基于深度学习的目标检测算法起初是滑动窗口的思想，但是对一张图片截取的框的数量巨大，太过耗时。从而提出用卷积代替全连接的优化方法，该方法虽然可以加速网络的识别速度，但是对于多目标的检测难度剧增。R-CNN检测算法提出候选框区域的思想，通过选择性搜索方法提取大约2000个候选区域，输入神经网络提取特征，通过分类器分类，边框回归修正实现目标定位。R-CNN算法将VOC数据集的准确率由35.1%提升到53.7%。但是R-CNN需要将每个候选框都要再卷积网络中计算一次，非常耗时。FastR-CNN采纳了SPPnet的方法，加入了ROIPooling的层，对每个region的特征层上都提取一个固定维度的特征表示，实现通过一次卷积可以提取所有region的特征，并且FastR-CNN实现了通过网络特征去学习边框信息，使得网络成为了multi-task模型。FasterR-CNN通过加入RegionProposalNetwork(RPN)网络去寻找目标框代替了FastR-CNN中较为耗时的选择性搜索。不管是滑动窗口方法，R-CNN算法，FastR-CNN算法，FasterR-CNN算法都需要提取regionproposal,它们都需要twostage才能完成目标检测，对于onestage的算法，其不需要regionproposal阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，YOLOv2，YOLOv3等。SSD方法结合了YOLO中回归的思想和FasterR-CNN中的Anchor机制，使用全图各个位置的多尺度区域进行回归，既保持了YOLO速度快的特性，也保证了窗口预测的跟Faster-RCNN一样比较精准。对于稀疏场景下大目标的检测，SDD算法检测的准确率可以超过较为精准的FasterR-CNN，但是对于小目标的检测效果并不好，存在小目标漏检，错检的情况。
技术实现思路
本专利技术针对现有技术中的不足，提供一种适于目标检测的MB-SSD方法和MB-SSD特征提取网络，在分类层中加入相对重合度调整分类结果的方法，来提高SSD算法的分类效果，同时有效的改善了对小目标的检测精度。为实现上述目的，本专利技术采用以下技术方案：一种适于目标检测的MB-SSD方法，所述MB-SSD方法包括以下步骤：S1，提取多小目标图像，采用生成对抗网络对提取的多小目标图像进行增强。S2，构建MB-SSD特征提取网络，所述MB-SSD特征提取网络包括主支特征提取网络、分支特征提取网络和定位网络，将增强后数据输入MB-SSD特征提取网络，分别获取主支特征提取网络和分支特征提取网络的分类定位结果；再根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征；其中，所述分支特征提取网络的结构与主支特征提取网络的新增的第二个卷积层的结构相同，其输入特征为主支特征提取网络新增的第一个卷积层Conv4_3层的特征。S3，将主支特征提取网络和分支特征提取网络的分类定位结果进行融合并降维。S4，计算模型损失，训练模型，优化模型参数。为优化上述技术方案，采取的具体措施还包括：进一步地，步骤S1中，所述提取多小目标图像的过程包括以下步骤：S11，将VOC数据集中所有的图片的分辨率调整至至预设的标准尺寸（如300*300），并更新标注中所有目标的位置信息。S12，输入图片和与其对应的标注。S13，统计标注中面积小于预设面积阈值（如8000）的目标数量n和标注中所有目标总数N。S14，对图片进行判断，如果n/N大于预设比例阈值则提取该图片。S15，输入下一张图片，重复步骤S12至S14，直至遍历VOC数据集中所有图片。进一步地，所述预设比例阈值为2/3。步骤S1将提取的多小目标图像输入生成对抗网络进行训练，并用生成对抗网络生成更多的多小目标图像，实现对VOC数据集中多小目标图像的增强。进一步地，所述主支特征提取网络通过改进VGG16网络得到：将VGG16网络的第6，7，8全连接层去除，并增加依次连接的5个卷积层，得到11个卷积层。所述步骤S2中，首先改进VGG16作为主支特征提取网络，将第6，7，8全连接层去除，并增加5个卷积层，得到11个卷积层。随后添加分支特征提取网络，分支网络输入特征为主支网络Conv4_3层的特征，首先对特征进行步幅为2的池化操作，随后进行3层步幅为3，卷积核数量为512的卷积操作，随后进行一层步幅为1的池化操作,一层卷积核尺寸为3，卷积核数量为1024的空洞卷积，最后进行2层卷积操作，卷积核尺寸均为1，数量分别为1024，256。添加分支网络的方法可以使浅层用于小目标学习的特征独立完成学习，分支网络中两层用于学习小目标的特征层可以不再受主支网络中较深的网络层反向更新的影响，使得小目标的学习更加精确。随后将主支网络6个特征图，假设其分辨率分别为38×38，19×19，10×10，5×5，3×3，1×1，分支网络的两个特征图假设其分辨率分别为38×38，19×19输入分类定位网络，分别得到[f，f，n×（c+1）]，[f，f，n×4]形状的输出，其中f代表输出了特征图的尺寸，n代表该层特征所具有的先验框的数量，c代表分类的类别数，随后根据定位网络的输出通过相对重合度调整分类网络的输出特征。进一步地，所述根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征的过程包括以下步骤：S21，假设主支网络的6个特征图的分辨率分别为38×38，19×19，10×10，5×5，3×3，1×1，分支网络的2个特征图的分辨率分别为38×38，19×19。将主支网络的6个特征图和分支网络的2个特征图输入分类定位网络，分别得到[f，f，n×(c+1)]，[f，f，n×4]形状的输出；其中f代表输出特征图的尺寸，n代表该层特征所具有的先本文档来自技高网...

【技术保护点】
1.一种适于目标检测的MB-SSD方法，其特征在于，所述MB-SSD方法包括以下步骤：/nS1，提取多小目标图像，采用生成对抗网络对提取的多小目标图像进行增强；/nS2，构建MB-SSD特征提取网络，所述MB-SSD特征提取网络包括主支特征提取网络、分支特征提取网络和定位网络，将增强后数据输入MB-SSD特征提取网络，分别获取主支特征提取网络和分支特征提取网络的分类定位结果；再根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征；其中，所述分支特征提取网络的结构与主支特征提取网络的新增的第二个卷积层的结构相同，其输入特征为主支特征提取网络新增的第一个卷积层Conv4_3层的特征；/nS3，将主支特征提取网络和分支特征提取网络的分类定位结果进行融合并降维；/nS4，计算模型损失，训练模型，优化模型参数。/n

【技术特征摘要】
1.一种适于目标检测的MB-SSD方法，其特征在于，所述MB-SSD方法包括以下步骤：
S1，提取多小目标图像，采用生成对抗网络对提取的多小目标图像进行增强；
S2，构建MB-SSD特征提取网络，所述MB-SSD特征提取网络包括主支特征提取网络、分支特征提取网络和定位网络，将增强后数据输入MB-SSD特征提取网络，分别获取主支特征提取网络和分支特征提取网络的分类定位结果；再根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征；其中，所述分支特征提取网络的结构与主支特征提取网络的新增的第二个卷积层的结构相同，其输入特征为主支特征提取网络新增的第一个卷积层Conv4_3层的特征；
S3，将主支特征提取网络和分支特征提取网络的分类定位结果进行融合并降维；
S4，计算模型损失，训练模型，优化模型参数。


2.根据权利要求1所述的适于目标检测的MB-SSD方法，其特征在于，步骤S1中，所述提取多小目标图像的过程包括以下步骤：
S11，将VOC数据集中所有的图片的分辨率调整至预设的标准尺寸，并更新标注中所有目标的位置信息；
S12，输入图片和与其对应的标注；
S13，统计标注中面积小于预设面积阈值的目标数量n和标注中所有目标总数N；
S14，对图片进行判断，如果n/N大于预设比例阈值则提取该图片；
S15，输入下一张图片，重复步骤S12至S14，直至遍历VOC数据集中所有图片。


3.根据权利要求2所述的适于目标检测的MB-SSD方法，其特征在于，所述预设比例阈值为2/3。


4.根据权利要求1所述的适于目标检测的MB-SSD方法，其特征在于，所述主支特征提取网络通过改进VGG16网络得到：将VGG16网络的第6，7，8全连接层去除，并增加依次连接的5个卷积层，得到11个卷积层。


5.根据权利要求4所述的适于目标检测的MB-SSD方法，其特征在于，所述根据定位网络上同区域不同候选框的IoU重合度调整分类网络的输出特征的过程包括以下步骤：
S21，假设主支网络的6个特征图的分辨率分别为38×38，19×19，10×10，5×5，3×3，1×1，分支网络的2个特征图的分辨率分别为38×38，19×19；
将主支网络的6个特征图和分支网络的2个特征图输入分类定位网络，分别得到[f，f，n×(c+1)]，[f，f，n×4]形状的输出；其中f代表输出特征图的尺寸，n代表该层特征所具有的先验框的数量，c代表分类的类别数；
S22，将分类定位网络的输出形状[38，38...

【专利技术属性】
技术研发人员：夏景明，张宇，谈玲，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32