一种改进SSD的轻量化小目标检测方法技术

本发明专利技术为提高SSD目标检测算法的小目标检测能力，提出在SSD算法中引入逆卷积结构，采用逆卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，增加网络中低层的特征提取能力，提高SSD目标检测算法的平均精准度。同时针对SSD目标检测算法存在模型过大，运行内存占用量过高，无法在小显存容量GPU设备或嵌入式ARM设备上运行的问题，本发明专利技术以DenseNet为基础，结合深度可分离卷积,逐点分组卷积与通道重排提出轻量化特征提取最小单元。将SSD网络结构特征提取部分替换为轻量化特征提取最小单元的组合后，可在小显存容量GPU设备与嵌入式ARM设备上运行。经本发明专利技术改进后的网络结构在平均精准度上得到明显提升，模型参数数量得到有效降低。

A lightweight and small target detection method with improved SSD

In order to improve the detection ability of the small target detection algorithm of the SSD target detection algorithm, the inverse convolution structure is introduced in the SSD algorithm, the inverse convolution is used to fuse the low resolution high semantic information feature map with the high resolution and low semantic information feature map, to increase the feature extraction power of the low layer in the network and to improve the average of the SSD target detection algorithm. Precision. At the same time, the SSD target detection algorithm has too large model, high running memory, and can not run on the small memory capacity GPU device or embedded ARM device. The invention is based on DenseNet, combined with deep separable convolution, point by point convolution and channel rearrangement, to extract the minimum element of the lightweight feature extraction. After the SSD network structure feature extraction is replaced by the combination of the lightweight feature extraction minimum unit, it can run on the small memory capacity GPU device and the embedded ARM device. The improved network structure has been significantly improved in the average precision, and the number of model parameters has been effectively reduced.

【技术实现步骤摘要】
一种改进SSD的轻量化小目标检测方法
：本专利技术属于目标检测领域，涉及SSD目标检测方法，深度可分离卷积，逐点分组卷积与通道重排，特别是涉及一种改进SSD的轻量化小目标检测方法。
技术介绍
：目标检测是计算机视觉领域的重要研究方向之一，传统的目标检测方法是通过构建特征描述子提取特征后利用分类器对特征进行分类实现目标检测，如梯度方向直方图HOG(HistogramofOrientedGradient)和支持向量机SVM(SupportVectorMachine)。随着深度学习在图像分类领域的优异表现，卷积神经网络在计算机视觉的各领域开始得到了广泛使用。在目标检测领域中使用深度学习实现目标检测成为一个新的方向。2015年ShaoqingRen等提出FasterR-CNN深度学习目标检测算法，在平均精准度mAP(meanaverageprecision)上高于特征描述子与分类器结合的传统方法。但FasterR-CNN存在检测速度慢的问题。2016年，JosephRedmon等在CVPR(IEEEConferenceonComputerVisionandPatternRecognition)会议上提出了目标检测算法YOLO。同年WeiLiu等在ECCV会议上(EuropeanConferenceonComputerVision)提出了目标检测算法SSD(Single-ShotDetector)。YOLO与SSD通过回归的方式完成目标检测，使利用深度学习的方式进行目标检测达到实时的检测速度。FasterR-CNN属于两步目标检测算法，通过分类与回归两步完成目标检测。YOLO和SSD属于one-stage目标检测算法，通过单步回归直接实现目标检测，在达到高速的同时存在小目标检测能力差的问题。而在实际工程应用中待检测目标占图像比例较小的情况更为普遍。SSD虽然可以在TitanX等GPU服务器上达到实时的效果，但SSD模型参数过多，运行内存占用量过大，在显存容量较小的GPU设备或ARM等移动嵌入式设备上无法运行。
技术实现思路
：专利技术目的：本专利技术以SSD为基础，借鉴FPN的网络结构对SSD进行改进。利用低卷积层拥有小局部感知野的特点，通过逆卷积结构将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，达到提升目标检测算法的平均精准度的目的。在特征提取部分，利用深度可分离卷积，逐点分组卷积与通道重排提出轻量化特征提取最小单元，更改特征提取模型达到减少网络模型参数数量、降低模型运行内存占用量、加速算法运行速度的目的。技术方案：一种改进SSD的轻量化小目标检测方法，该方法在SSD中引入逆卷积结构，在SSD特征提取部分使用轻量化特征提取最小单元，该方法的具体步骤为：步骤一：在SSD中引入逆卷积结构，具体步骤如下：(1)SSD以回归的方式得到目标的类别和位置；选取网络结构中六种不同分辨率的特征图，对这六种特征图取不同尺寸的候选框；六种特征图通过回归得出目标的类别置信度和候选框与真实值之间的偏差；在卷积神经网络中低卷积层输出高分辨率特征图，具有小局部感知野，适合小目标检测；将SSD中高分辨率特征图添加入检测层以提升SSD小目标检测能力；(2)将SSD中低分辨率高语义信息特征图做逆卷积，将经逆卷积得到的特征图与原特征图进行特征融合，特征融合方式为对特征图拼接后做卷积运算；逆卷积运算时将特征图展为一维向量，卷积核展为稀疏矩阵，将逆卷积运算转换为矩阵乘法；逆卷积计算如公式(1)所示，其中和表示特征图展开得到的一维向量，C表示卷积核展成的稀疏矩阵，T表示转置运算；步骤二：在SSD特征提取部分使用轻量化特征提取最小单元，具体步骤如下：①深度可分离卷积，逐点分组卷积与通道重排：使用深度可分离卷积与逐点分组卷积组合的方式代替特征提取模型中的传统卷积；深度可分离卷积计算如公式(2)所示,其中G代表输出特征图，K代表卷积核，F代表输入特征图，i,j为特征图像素位置，k,l表示输出特征图分辨率，m表示通道数；Gk,l,m＝∑i,jKi,j,m·Fk+i-1,l+j-1,m(2)在使用深度可分离卷积后利用逐点分组卷积，对各个通道特征图进行特征融合，输出任意数量特征图；通过控制逐点分组卷积的分组数可进一步降低模型参数数量；深度可分离卷积与逐点分组卷积组合的结构可以达到轻量化的目的，较传统卷积所降低的参数量比例可以定义为公式(3),其中A为深度可分离卷积的卷积核尺寸，N为逐点分组卷积的卷积核数量，M为输入特征图数量，G为逐点分组卷积的分组数；由公式(3)可得出结论，输出特征图数量越多，逐点分组卷积的分组数目越多，较传统卷积参数数量压缩率越大；在进行深度可分离卷积计算前先进行通道重排，将不同组特征图进行交叉重排后再进行深度可分离卷积与逐点分组卷积；②轻量化特征提取最小单元：以Densenet网络结构为基础设计特征提取的最小单元，在特征提取最小单元中使用深度可分离卷积，逐点分组卷积合与通道重排的组合代替Densenet网络结构中的传统卷积层；在特征提取的最小单元中首先使用逐点分组卷积对输入特征图进行降维，然后利用通道重排对逐点分组卷积不同分组内的特征图进行重组，最后利用深度可分离卷积与逐点分组卷积的组合完成特征提取，与该轻量化特征提取最小单元输入特征图进行特征图拼接，得到该轻量化特征提取最小单元的输出特征图。优点及效果：本专利技术利用逆卷积将高分辨率低语义信息特征图与低分辨率高语义信息特征图相融合，提高SSD算法的小目标检测能力。同时以DenseNet为基础，结合深度可分离卷积与通道重排提出轻量化特征提取最小单元。对比FasterR-CNN，YOLO和原SSD算法等，经逆卷积改进的SSD算法达到提升平均精准度的目的。对比TinyYOLO与经轻量化改进的SSD，改进后的SSD达到降低参数数量，减少内存占用和提升检测速度的目的，能够在ARM嵌入式设备或显存容量较小的GPU设备上运行。附图说明：图1是SSD网络结构图；图2是逆卷积示意图；图3是逆卷积与特征融合网络结构图；图4是在SSD中使用逆卷积的网络结构图；图5是通道重排；图6是轻量化特征提取结构最小单元。具体实施方式：总体的技术思想是：在SSD算法中引入逆卷积结构，采用逆卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，增加低层特征提取能力，提高SSD目标检测算法的平均精准度。同时针对SSD目标检测算法存在模型过大，运行内存占用量过高，无法在小显存容量GPU设备或嵌入式ARM设备上运行的问题，以DenseNet为基础，结合深度可分离卷积，逐点分组卷积与通道重排提出轻量化特征提取最小单元，可在小显存容量GPU设备或嵌入式ARM设备上运行。一种改进SSD的轻量化小目标检测方法，该方法在SSD中引入逆卷积结构，在SSD特征提取部分使用轻量化特征提取最小单元，该方法的具体步骤为：步骤一：在SSD中引入逆卷积结构，具体步骤如下：(1)SSD以回归的方式得到目标的类别和位置；选取网络结构中六种不同分辨率的特征图，对这六种特征图取不同尺寸的候选框；六种特征图通过回归得出目标的类别置信度和候选框与真实值之间的偏差；在卷积神经网络中低卷积层输出高分辨率特征图，具有小局部感知野，适合小目标检测；将SSD中本文档来自技高网...

【技术保护点】
1.一种改进SSD的轻量化小目标检测方法，其特征在于：该方法在SSD中引入逆卷积结构，在SSD特征提取部分使用轻量化特征提取最小单元，该方法的具体步骤为：步骤一：在SSD中引入逆卷积结构，具体步骤如下：(1)SSD以回归的方式得到目标的类别和位置；选取网络结构中六种不同分辨率的特征图，对这六种特征图取不同尺寸的候选框；六种特征图通过回归得出目标的类别置信度和候选框与真实值之间的偏差；在卷积神经网络中低卷积层输出高分辨率特征图，具有小局部感知野，适合小目标检测；将SSD中高分辨率特征图添加入检测层以提升SSD小目标检测能力；(2)将SSD中低分辨率高语义信息特征图做逆卷积，将经逆卷积得到的特征图与原特征图进行特征融合，特征融合方式为对特征图拼接后做卷积运算；逆卷积运算时将特征图展为一维向量，卷积核展为稀疏矩阵，将逆卷积运算转换为矩阵乘法；逆卷积计算如公式(1)所示，其中

【技术特征摘要】
1.一种改进SSD的轻量化小目标检测方法，其特征在于：该方法在SSD中引入逆卷积结构，在SSD特征提取部分使用轻量化特征提取最小单元，该方法的具体步骤为：步骤一：在SSD中引入逆卷积结构，具体步骤如下：(1)SSD以回归的方式得到目标的类别和位置；选取网络结构中六种不同分辨率的特征图，对这六种特征图取不同尺寸的候选框；六种特征图通过回归得出目标的类别置信度和候选框与真实值之间的偏差；在卷积神经网络中低卷积层输出高分辨率特征图，具有小局部感知野，适合小目标检测；将SSD中高分辨率特征图添加入检测层以提升SSD小目标检测能力；(2)将SSD中低分辨率高语义信息特征图做逆卷积，将经逆卷积得到的特征图与原特征图进行特征融合，特征融合方式为对特征图拼接后做卷积运算；逆卷积运算时将特征图展为一维向量，卷积核展为稀疏矩阵，将逆卷积运算转换为矩阵乘法；逆卷积计算如公式(1)所示，其中和表示特征图展开得到的一维向量，C表示卷积核展成的稀疏矩阵，T表示转置运算；步骤二：在SSD特征提取部分使用轻量化特征提取最小单元，具体步骤如下：①深度可分离卷积，逐点分组卷积与通道重排：使用深度可分离卷积与逐点分组卷积组合的方式代替特征提取模型中的传统卷积；深度可分离卷积计算如公式(2)所示,其中G代表输出特征图，K代表卷积核，F代表输入特征图，i,j为特征图像素位置，...

【专利技术属性】
技术研发人员：张志佳，吴天舒，姚凯，陈红叶，裴文慧，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：辽宁,21