基于语义特征增强的小目标对象检测方法技术

本发明专利技术公开了一种基于语义特征增强的小目标对象检测方法，该方法包括：首先利用亚像素卷积实现特征图的上采样，以完成亚像素横向连接单元的设计，通过亚像素横向连接单元获取采样后的特征图L

【技术实现步骤摘要】
基于语义特征增强的小目标对象检测方法


[0001]本专利技术涉及小目标检测方法
，尤其涉及一种基于语义特征增强的小目标对象检测方法。

技术介绍

[0002]随着计算机视觉和人工智能技术的快速发展，近年来，目标检测受到了更加广泛的关注。由于小目标像素占比小、语义信息少、易受复杂场景干扰、易聚集遮挡等问题，导致小目标检测一直是目标检测领域中的一大难点。目前，视觉的小目标检测在生活的各个领域中日益重要。
[0003]在深度学习的帮助下，小目标检测在一些基准数据集上，如COCO、VOC等，取得了显著的进展。许多精心设计的方法都产生了优秀的结果。然而，小目标检测在一般目标检测任务中遇到了挑战，这些任务的实例大小在很大范围内变化。小尺寸的实例所占比例高于其他尺寸，而示例的规模差异很大。多尺度特征学习旨在利用低层特征图的上下文信息和高层特征图的语义信息融合不同的特征图来学习多尺度特征。
[0004]作为第一种通过融合不同层次的特征来增强特征的方法，FPN(特征金字塔网络)自上而下地融合深层和浅层来构建特征金字塔。原始FPN在横向连接上使用1
×
1通道缩减卷积生成相同通道大小(256)，然后对特征图进行2倍上采样，最后合并相邻的特征图以生成多尺度特征表示。然而，高层特征图在上采样后会丢失一定的上下文信息，从而限制了其表达能力和性能，甚至导致最终预测中的错误分类。例如，一个只有几个像素的小目标在原始特征图中包含的信息较少，对该特征图进行采样后，小目标的边缘变得更加模糊，甚至导致小目标的特征信息消失。该工作考虑的问题是如何解决高层特征图上采样后小目标信息的丢失。
[0005]为了减轻自上而下或自下而上特征融合过程中的信息丢失问题，现有的方法主要包括：在所有尺度上进行特征交互；侧重于开发由不同的跨尺度连接构建的拓扑结构；以各种方式改进特征的表示。然而，这些方法要么引入额外的计算成本，要么忽略了FPN中融合方法的固有缺陷。也就是说，上述模型仍然存在类似于FPN的问题。与上述方法相比，本专利技术关注的是解决上采样操作带来的信息丢失问题，从而提高网络的特征表示能力。

技术实现思路

[0006]本专利技术的目的在于针对现有技术的不足，提供一种基于语义特征增强的小目标对象检测方法。
[0007]本专利技术的目的是通过以下技术方案来实现的：一种基于语义特征增强的小目标对象检测方法，包括以下步骤：
[0008](1)利用亚像素卷积实现特征图的上采样，以完成亚像素横向连接单元的设计，通过亚像素横向连接单元获取采样后的特征图L
i
；
[0009](2)通过语义增强单元将相邻的两个采样后的特征图L
i
和L
i
‑1合并，并根据标准卷
积和可变形卷积获取相邻的特征图的特征信息差异，以获取融合特征图E
i
；
[0010](3)通过增强语义特征金字塔网络逐层融合各层的分布特征，以获取语义丰富、利于目标定位的特征图，以检测小目标对象。
[0011]可选地，所述步骤(1)包括以下子步骤：
[0012](1.1)将待检测图像输入特征提取网络以提取待检测图像的特征图；
[0013](1.2)将特征图输入亚像素横向连接单元，通过像素洗牌操作将大小为r2C
×
H
×
W的特征图的元素重新排列以获取大小为
×
rH
×
rW的特征图，其中，r2C表示特征图的通道数，H和W分别表示特征图的高度和宽度；
[0014](1.3)根据所述步骤(1.2)获得的特征图，对于第i个特征图C
i
∈R
H
×
W
×
C
，直接使用亚像素卷积完成对第五个特征图C5的上采样；使用1
×
1卷积将C2、C3和C4这三个特征图的通道数减少到256，然后使用亚像素卷积对其分辨率进行上采样；以获取采样后的特征图L
i
。
[0015]可选地，所述像素洗牌操作的表达式为：
[0016][0017]其中，r表示上采样系数，C是通道扩展前的原始通道数，X是输入的特征图，PS(X)
x,y,z
表示输出特征像素的位置(x,y,z)，mod(
·
)表示取余操作，表示向下取整。
[0018]可选地，所述亚像素横向连接单元的表达式为：
[0019][0020]其中，L
i
表示，C
i
∈R
H
×
W
×
c
是输入的第i个特征图，Conv
j
表示进行1
×
1卷积，将通道数设为j，PS(
·
)表示像素洗牌操作。
[0021]可选地，所述步骤(2)包括以下子步骤：
[0022](2.1)合并特征图：对于所述步骤(1.3)获取的采样后的特征图L
i
，将相邻的两个采样后的特征图L
i
和L
i
‑1作为语义增强单元的输入，将L
i
和L
i
‑1在通道维度上进行合并，使用3
×
3卷积生成合并后的特征图F
i
；
[0023](2.2)根据所述步骤(2.1)获得的合并后的特征图F
i
和标准卷积计算偏移量Δ
i
；根据偏移量Δ
i
和合并后的特征图F
i
通过可变形卷积计算出相邻的特征图的特征信息差异；
[0024](2.3)将所述步骤(1.3)获取的采样后的特征图L
i
和与其相邻的特征图的特征信息差异进行融合以获取融合特征图E
i
。
[0025]本专利技术的有益效果是，本专利技术提出了一种语义特征增强的小目标对象检测方法，以利用固有图像结构并支持跨所有尺度的语义增强特征融合；通过设计两个新颖的模块，即亚像素横向连接单元(SLC)和语义增强单元(SEU)，通过两个单元协同工作以更好地生成多尺度特征；基于以上两个模块，所提出的增强语义特征金字塔网络(ES
‑
FPN)可以为两个目标检测任务(目标检测和语义实例分割)带来一致的性能提升。
附图说明
[0026]图1是本专利技术中亚像素横向连接单元(SLC)设计示意图；
[0027]图2为本专利技术中语义增强单元(SEU)设计示意图；
[0028]图3为本专利技术中增强语义特征金字塔网络(ES
‑
FPN)示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义特征增强的小目标对象检测方法，其特征在于，包括以下步骤：(1)利用亚像素卷积实现特征图的上采样，以完成亚像素横向连接单元的设计，通过亚像素横向连接单元获取采样后的特征图L
i
；(2)通过语义增强单元将相邻的两个采样后的特征图L
i
和L
i
‑1合并，并根据标准卷积和可变形卷积获取相邻的特征图的特征信息差异，以获取融合特征图E
i
；(3)通过增强语义特征金字塔网络逐层融合各层的分布特征，以获取语义丰富、利于目标定位的特征图，以检测小目标对象。2.根据权利要求1所述的基于语义特征增强的小目标对象检测方法，其特征在于，所述步骤(1)包括以下子步骤：(1.1)将待检测图像输入特征提取网络以提取待检测图像的特征图；(1.2)将特征图输入亚像素横向连接单元，通过像素洗牌操作将大小为r2C
×
H
×
W的特征图的元素重新排列以获取大小为C
×
rH
×
rW的特征图，其中，r2C表示特征图的通道数，H和W分别表示特征图的高度和宽度；(1.3)根据所述步骤(1.2)获得的特征图，对于第i个特征图C
i
∈R
H
×
W
×
C
，直接使用亚像素卷积完成对第五个特征图C5的上采样；使用1
×
1卷积将C2、C3和C4这三个特征图的通道数减少到256，然后使用亚像素卷积对其分辨率进行上采样；以获取采样后的特征图L
i
。3.根据权利要求2所述的基于语义特征增强的小目标对象检测方法，其特征在于，所述像素洗牌操作的表达式为：其中，r表示上采样系数，C是通道扩展前...

【专利技术属性】
技术研发人员：李永刚，陈钰淇，叶利华，魏远旺，龚迅炜，李英建，韩书垚，蒋金京，
申请(专利权)人：嘉兴学院，
类型：发明
国别省市：