一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法技术

本发明专利技术提供一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法，属于目标检测领域。本方法在FPN+PAN特征融合网络的基础上切断其中FPN较深层的信息传递过程，有效地削弱浅层特征图的尺度混淆问题，提高了小目标检测精度。同时，采用Dconv模块与C3

【技术实现步骤摘要】
一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法


[0001]本专利技术涉及小目标检测
，尤其涉及一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法。

技术介绍

[0002]目标检测一直是计算机视觉领域重点研究方向，随着深度神经网络的出现，基于深度网络的目标检测在检测效率和检测精度上都取得了显著的进步，但是针对于小目标检测，仍存在许多需要改进的地方。在深度学习方法流行之前，对于不同尺度的目标，普遍都使用将原图构建出不同分辨率的图像金字塔，再对金字塔每层用固定输入分辨率的检测器来检测目标，以求在金字塔底部检测出小目标。但是对于一些包含复杂背景和多尺度目标的图像来说，会产生特征图尺度混淆问题，这降低了小目标的检测精度。
[0003]近年来，用深度学习的方法进行目标检测已经取得了较多的成果，其中针对于小目标检测的问题，国内外学者提出了一系列方案，一般小目标检测方案主要包括：使用特征金字塔和多尺度滑动窗口，如FPN、PAN、FPN+PAN；使用数据增强的方法，如过采样和复制粘贴小目标、Mosaic、GAN。其中FPN、PAN、FPN+PAN特征融合网络虽加强了大目标特征，但是在网络的浅层特征图中都有着尺度混淆问题。而过采样、Mosaic、GAN等典型的数据增强方法，暴力的增加了小目标特征，但受限于小目标本身的像素少的缺点并不能很好的解决浅层特征图中的尺度混淆问题。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法。在FPN+PAN特征融合网络的基础上增加了新的路径来增强小目标的语义信息，并切断其中FPN较深层的信息传递过程，称为半断层FPN+PAN特征融合网络(Semifault FPN+PAN)，该方法可以有效地削弱浅层特征图的尺度混淆问题，从而提高对小目标的检测效果。同时，本专利技术还设计了一种加入可变形卷积与C3
‑
Res模块的New CSP
‑
Darknet53主干网络，可以依照目标形状自适应地提取特征。整个网络包含主干网络(多级特征提取网络)、特征融合网络(新型半断层FPN+PAN特征融合网络)和检测网络组成，首先采用主干网络对输入图像进行特征提取，获得不同尺寸特征图；对多尺寸的特征图经过半断层FPN+PAN网络进行会中断的特征信息传播过程；再经过检测网络进行多尺度预测，并使用K
‑
means++方法产生目标提议框用于分类和回归任务。本专利技术专利技术了一种新的特征融合方法，可以直接应用于使用特征金字塔结构的检测器中，对小目标检测具有更好的检测效果和鲁棒性。
[0005]一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法，包括以下步骤：
[0006]步骤1：使用以Yolov5主干网络New CSP
‑
Darknet53为改进的特征提取网络，提取包含小目标的多尺度目标图片；
[0007]所述主干网络由5组特征提取模块依次串联构成；其中第1组特征提取模块为Focus数据增强模块与C3_Res模块构成；第2、3、4组特征提取模块均由Dconv模块和C3_Res模块构成；第5组特征提取模块由Dconv模块与SPP模块构成；
[0008]所述C3_Res模块结构为Yolov5中的C3模块首末端连通一个残差连接通道的卷积模块；
[0009]所述Dconv模块为可变形卷积模块、BN环节、SiLU激活函数构成的模块，此模块通过加入偏移量的方式改变卷积核形状，自适应的提取目标特征；其中所述可变形卷积模块对C*H*W尺寸的图片进行卷积，缩小图片尺寸并增加通道数，得到尺寸为2C*H/2*W/2的特征图，其公式为：
[0010][0011]式中，w表示抽样值的对应权重；为正规网格，p0为卷积中心，p
n
为中元素，Δp
n
为偏移量，{Δp
n
|n＝1,....,N}，其中卷积取样位置则取决于不规则的偏移量p
n
+Δp
n
。
[0012]所述BN环节即采用通用的批量标准化操作BatchNorm2d，使其具有描述全局数据的统计特性，同时保证网络训练过程不会出现梯度爆炸与梯度消失的问题；
[0013]所述SiLU激活函数输出2C*H/2*W/2的特征图。其中SiLU激活函数的公式如下：
[0014][0015]步骤2：提取由主干网络五个特征提取模块生成的5组尺寸依次减半、通道依次翻倍的不同深度的特征图T1、T2、T3、T4、T5，并输入到特征融合网络当中；所述特征融合网络首先将浅层特征图T3、T2、T1以FPN网络中自顶向下的特征融合形式融合特征，由T1、T2、T3分别获得3组新特征图L1、L2、L3；其次，由T4、T5分别获得2组新特征图L4、L5；最终得到5组新的尺寸依次减半、通道依次翻倍的不同深度的特征图L1、L2、L3、L4、L5；
[0016]步骤2.1：提取出特征图T5，依次输入C3模块与卷积模块Conv2d，输出新特征图L5；
[0017]步骤2.2：对特征图L5进行上采样操作并与特征图T4进行Concat操作，其中Concat操作是将两个不同的特征图在通道维度上进行直接合并的一种操作，合并通道后依次输入C3模块与卷积模块Conv2d，得到新特征图L4。
[0018]步骤2.3：提取主干网络第4个特征提取模块的Dconv后输出的特征图T3、T4，依次输入C3模块与卷积模块Conv2d操作，输出特征图L3、L4；对特征图L3、L4进行上采样操作并与T3特征图进行Concat操作，合并通道，得到新特征图L3。
[0019]步骤2.4：对L3进行C3模块与卷积模块Conv2d操作，进行上采样操作并与T2特征图进行Concat操作，合并通道，得到新特征图L2。
[0020]步骤2.5：对L2进行C3模块与卷积模块Conv2d操作，进行上采样操作并与特征图T1进行Concat操作，合并通道，得到新特征图L1。
[0021]步骤3：通过PAN特征金字塔结构在L1、L2、L3、L4、L5特征图之间建立特征传输通道，确保不同特征层之间的上下文信息进行有效传递，并输出新特征图Z1、Z2、Z3、Z4、Z5用于检测；
[0022]步骤3.1：将特征图L1输入通道数减半、尺寸不变的C3模块，输出特征图Z1；
[0023]步骤3.2：对Z1输入通道数不变、尺寸减半的Conv2d模块，并与特征图L2进行Concat融合，再进行通道数不变、尺寸不变的C3模块，输出特征图Z2；
[0024]步骤3.3：对Z2进行通道数不变、尺寸减半的Conv2d模块，并与特征图L3进行Concat融合，再进行通道数不变、尺寸不变的C3模块，输出特征图Z3；
[0025]步骤3.4：对Z3进行通道数不变、尺寸减半的Conv2d模块，并与特征图L4进行Concat融合，再进行通道数不变、尺寸不变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法，其特征在于，包括以下步骤：步骤1：使用以Yolov5主干网络New CSP
‑
Darknet53为改进的特征提取网络，提取包含小目标的多尺度目标图片；步骤2：提取由主干网络五个特征提取模块生成的5组尺寸依次减半、通道依次翻倍的不同深度的特征图T1、T2、T3、T4、T5，并输入到特征融合网络当中；所述特征融合网络首先将浅层特征图T3、T2、T1以FPN网络中自顶向下的特征融合形式融合特征，由T1、T2、T3分别获得3组新特征图L1、L2、L3；其次，由T4、T5分别获得2组新特征图L4、L5；最终得到5组新的尺寸依次减半、通道依次翻倍的不同深度的特征图L1、L2、L3、L4、L5；步骤3：通过PAN特征金字塔结构在L1、L2、L3、L4、L5特征图之间建立特征传输通道，确保不同特征层之间的上下文信息进行有效传递，并输出新特征图Z1、Z2、Z3、Z4、Z5用于检测；步骤4：采用K
‑
means++算法得到先验框，根据Citypersons数据集中物体的目标框尺度进行聚类，分别通过k
‑
means聚类算法与遗传变异算法得到5个尺度的先验框；步骤5：最后将融合后的特征图Z1、Z2、Z3、Z4、Z5分别输出并用于检测出候选框信息与此候选框属于某类别的概率，对检测结果使用非极大值抑制的方法进行筛选，即将输出检测结果中的候选框，依据检测结果中候选框属于类别的概率值做排序，并选择概率最大的候选框为最终结果，完成小目标检测方法。2.根据权利要求1所述的一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法，其特征在于，步骤1中所述主干网络由5组特征提取模块依次串联构成；其中第1组特征提取模块为Focus数据增强模块与C3_Res模块构成；第2、3、4组特征提取模块均由Dconv模块和C3_Res模块构成；第5组特征提取模块由Dconv模块与SPP模块构成；所述C3_Res模块结构为Yolov5中的C3模块首末端连通一个残差连接通道的卷积模块；所述Dconv模块为可变形卷积模块、BN环节、SiLU激活函数构成的模块，此模块通过加入偏移量的方式改变卷积核形状，自适应的提取目标特征；其中所述可变形卷积模块对C*H*W尺寸的图片进行卷积，缩小图片尺寸并增加通道数，得到尺寸为2C*H/2*W/2的特征图，其公式为：式中，w表示抽样值的对应权重；为正规网格，p0为卷积中心，p
n
为中元素，Δp
n
为偏移量，{Δp
n
|n＝1,....,N}，其中卷积取样位置则取决于不规则的偏移量p
n
+Δp
n
；所述BN环节即采用通用的批量标准化操作BatchNorm2d，使其具有描述全局数据的统计特性，同时保证网络训练过程不会出现梯度爆炸与梯度消失的问题；所述SiLU激活函数输出2C*H/2*W/2的特征图；其中SiLU激活函数的公式如下：3.根据权利要求1所述的一种基于新型半断层FPN+PAN特征融合网络的小目标检测方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1：提取出特征图T5，依次输入C3模块与卷积模块Conv2d，输出新特征图L5；
步骤2.2：对特征图L5进行上采样操作并与特征图T4进行Concat操作，其中Concat操作是将两个不同的特征图在通道维度上进行直接合并的一种操作，合并通道后...

【专利技术属性】
技术研发人员：李文超，郭周鹏，沙晓鹏，管政，朱宇杰，谢德瀚，
申请(专利权)人：东北大学秦皇岛分校，
类型：发明
国别省市：