一种基于超分辨率多尺度特征融合的小目标检测方法技术

本发明专利技术公开了一种基于超分辨率多尺度特征融合的小目标检测方法，属于图像处理技术领域。本发明专利技术将待识别的低分辨率图像输入特征提取器获取第一特征图，对低分辨率图像进行数据增强处理再与噪声扰动叠加后输入生成器得到叠加量；第一特征图和叠加量的叠加结果作为第一重构特征并输入解码器获取不同尺寸的第二重构特征并输入特征融合网络；特征融合网络将所有第二重构特征上采样到相同的尺寸进行叠加，得到第三重构特征并输入图像目标检测网络；基于图像目标检测网络的输出得到小目标的类别及其检测框位置。本发明专利技术在进行小目标检测的同时达到训练时间短、快速推理快和精度高的效果，并且具有行业领先的小目标检测效果。并且具有行业领先的小目标检测效果。并且具有行业领先的小目标检测效果。

【技术实现步骤摘要】
一种基于超分辨率多尺度特征融合的小目标检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于超分辨率多尺度特征融合的小目标检测方法。

技术介绍

[0002]目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。在各领域趋向智能化的今天，实现目标检测对人力资本消耗的减少具有重要的现实意义。其中，小目标检测是目标检测下游任务中至关重要的环节。例如，在汽车的高分辨率场景照片中检测小目标或远处的物体，是安全地部署自动行驶的必要条件；又比如在卫星图像分析中，有效地注释诸如汽车、船舶和房屋之类的物体十分重要。因此小目标检测受到了越来越多的关注。
[0003]随着深度学习的最新进展，目标检测在性能和速度方面都取得了巨大的进步。目前，一些最先进的目标检测器已经在中大尺寸的目标上达到了极高的精度，能够满足许多实际应用的需求。这些目标检测器通常对小目标与中大尺寸目标不加区分，对这两种目标都采用相同的方法进行处理和识别。然而，这些检测器忽略了小目标自身存在的分辨率低、图片模糊、信息少、噪音多等常见的困难问题，可能会导致，将这些方法用于小目标检测时，只获得了中大尺寸目标检测一半的平均精度。
[0004]为了提升小目标检测的精度，研究者首先尝试调整一般检测器的特征提取环节，希望解决小目标特征分辨率低的问题。例如，一些方法降低了图像数据处理的压缩比，希望小目标能够在提取出的特征中具有更高的分辨率。然而，这些方法没有考虑到，许多目标检测数据本身的分辨率并不高，小目标特征在提取之前就已经存在了分辨率低、信息太少的问题。
[0005]近年来，一些研究者选择了设计专门针对小目标物体的检测器。研究者发现浅层特征更有利于分辨小目标物体，选择了直接从浅层卷积中提取特征来提高对于小目标物体的检测精度。这种方法一定程度上缓解了小目标特征信息不足的问题。然而，这种检测器对于图像的语义信息具有较多的丢失，在包含中大尺寸物体的通用目标检测中泛化能力差。
[0006]此外，现有多数小目标检测器使用一般的目标检测数据集。这些数据集大部分数据是中型和大型对象，只有少数图像包含小目标对象，导致检测模型有一半的时间都无法学习到小目标的特性。同时，小目标物体所覆盖的区域相对大目标要小得多，这会造成检测器小目标匹配少、大目标匹配多的不平衡性，导致专门的小目标检测器仍然更加关注中大尺寸的物体。

技术实现思路

[0007]本专利技术提供了一种基于超分辨率多尺度特征融合的小目标检测方法，用于解决小目标物体的低分辨率问题，以提升图像目标检测处理时针对小目标的检测性能。
[0008]本专利技术采用的技术方案为：
[0009]一种基于超分辨率多尺度特征融合的小目标检测方法，包括下列步骤：
[0010]网络模型配置及训练步骤：
[0011]采集高低分辨率图像对作为训练图像，得到训练图像集；
[0012]配置网络模型，包括：用于高分辨图像的编码器
‑
解码器网络、低分辨率图像的特征提取器G
L
、生成器G、特征融合网络和图像目标检测网络；
[0013]所述编码器
‑
解码器网络中的编码器部分记为编码器GH，解码器部分记为解码器D
H
，所述编码器GH包括多个卷积层和池化层，为卷积层和池化层的交替结构；所述解码器D
H
包括多个反卷积层，所述反卷积层与编码器G
H
的卷积层数量对应且特征维度和尺寸对应；
[0014]将高低分辨率图像对中的低分辨率图LR像输入特征提取器G
L
、基于特征提取器G
L
的输出得到特征f
L
；并将高低分辨率图像对中的高分辨率图像HR输入编码器G
H
，基于其输出得到特征f
H
；所述编码器
‑
解码器网络训练时采用的损失函数为：其中，HR
′
表示解码器D
H
的输出；
[0015]所述特征提取器G
L
包括多层特征提取块，所述特征提取块由多尺度特征融合网络和局部残差学习组成；
[0016]所述生成器G的输入为：对低分辨率图像LR进行数据增强处理得到图像LR
′
，将图像LR
′
与随机生成的噪声扰动的叠加作为生成器G的输入；所述生成器G的输出记为叠加量p，且所述生成器G训练时采用的损失函数为：L
p
＝||p||；
[0017]所述生成器G的输出与特征提取器GL的输出叠加后得到第一重构特征并输入解码器D
H
，解码器D
H
的各反卷积层的输出作为特征融合网络的输入，所述特征融合网络用于将输入的不同尺寸的特征图上采样到相同的尺寸并叠加，再将叠加结果输入图像目标检测网络；
[0018]所述图像目标检测网络包括分类分支和定位分支，且所述图像目标检测网络的分类分支在进行目标分类处理时，基于注意力机制进行目标分类；
[0019]所配置的网络模型训练时采用的总损失为：L＝λ
Lr
+μL
loc
+η
Lreg
，其中，L
r
表示超分辨重构损失，且L
r
＝L
rc1
+L
rc2
+L
p
，L
rc2
表示第一重构损失，为：L
loc
、L
reg
分别表示图像目标检测网络的分类分支的分类损失和定位分支的定位损失(即回归损失)，λ、μ、η分别为损失L
r
、L
loc
和L
reg
的权重因子；
[0020]待识别的低分辨率图像的检测步骤：
[0021]将待识别的低分辨率图像输入特征提取器GL，基于特征提取器GL的输出得到待识别的低分辨率图像的第一特征图；
[0022]对低分辨率图像进行数据增强处理后，再与随机生成的噪声扰动叠加后输入生成器G，基于生成器G的输出得到叠加量；将第一特征图和叠加量的叠加结果作为待识别的低分辨率图像的第一重构特征；
[0023]将第一重构特征输入解码器D
H
，基于解码器D
H
的每一反卷积层的输出生成不同尺寸的第二重构特征并输入特征融合网络；
[0024]所述特征融合网络将所有第二重构特征上采样到相同的尺寸进行叠加，得到第三重构特征并输入图像目标检测网络；
[0025]基于图像目标检测网络的输出得到小目标的类别及其检测框位置。
[0026]本专利技术提供的技术方案至少带来如下有益效果：
[0027]本专利技术旨在解决小目标物体的低分辨率问题，提出了一种超分辨特征融合的新方法，与以前的小目标检测方式相比，本专利技术的检测方法对小目标物体的检测在满足训练时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨率多尺度特征融合的小目标检测方法，其特征在于，包括下列步骤：网络模型配置及训练步骤：采集高低分辨率图像对作为训练图像，得到训练图像集；配置网络模型，包括：用于高分辨图像的编码器
‑
解码器网络、低分辨率图像的特征提取器G
L
、生成器G、特征融合网络和图像目标检测网络；所述编码器
‑
解码器网络中的编码器部分记为编码器G
H
，解码器部分记为解码器D
H
，所述编码器G
H
包括多个卷积层和池化层，为卷积层和池化层的交替结构；所述解码器D
H
包括多个反卷积层，所述反卷积层与编码器G
H
的卷积层数量对应且特征维度和尺寸对应；将高低分辨率图像对中的低分辨率图LR像输入特征提取器G
L
，基于特征提取器G
L
的输出得到特征f
L
；并将高低分辨率图像对中的高分辨率图像HR输入编码器G
H
，基于其输出得到特征f
H
；所述编码器
‑
解码器网络训练时采用的损失函数为：其中，HR
′
表示解码器D
H
的输出；所述特征提取器G
L
包括多层特征提取块，所述特征提取块由多尺度特征融合网络和局部残差学习组成；所述生成器G的输入为：对低分辨率图像LR进行数据增强处理得到图像LR
′
，将图像LR
′
与随机生成的噪声扰动的叠加作为生成器G的输入；所述生成器G的输出记为叠加量p，且所述生成器G训练时采用的损失函数为：L
p
＝||p||；所述生成器G的输出与特征提取器G
L
的输出叠加后得到第一重构特征并输入解码器D
H
，解码器D
H
的各反卷积层的输出作为特征融合网络的输入，所述特征融合网络用于将输入的不同尺寸的特征图上采样到相同的尺寸并叠加，再将叠加结果输入图像目标检测网络；所述图像目标检测网络包括分类分支和定位分支，且所述图像目标检测网络的分类分支在进行目标分类处理时，基于注意力机制进行目标分类；所配置的网络模型训练时采用的总损失为：L＝λL
r
+μL
loc
+ηL
reg
，其中，L
r
表示超分辨重构损失，且L
r
＝L
rc1
+L
rc2
+L
p
，L
rc2
表示第一重构损失，为：L
loc
、L
reg
分别表示图像目标检测网络的分类分支的...

【专利技术属性】
技术研发人员：徐洁，叶娅兰，刘紫奇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：