一种基于YOLOv4多尺度特征融合的红外小目标检测方法技术

本发明专利技术公开了一种基于YOLOv4多尺度特征融合的红外小目标检测方法，改善传统红外小目标检测方法在把不同背景下鲁棒性差、特征耦合以及特征易缺失的问题。该发明专利技术含有，1、获取红外小目标检测图像进行预处理；2、提取图像的全局特征，对目标区域进行扩张卷积后的特征嵌入全局分支中；3、使用滑动窗口对原始图像进行采样并进行下采样降低原始图像分辨率，得到对抗网络模型输入训练好的生成对抗网络模型；4、将主干网络输出的局部增强的特征、获取的全局特征和上下文特征，通过学习不同的权值相互融合；5、融合后的模块输入空间自注意机制；6、计算损失函数得到最终检测结果。该技术能够适应在不同环境下红外小目标检测的需求。在不同环境下红外小目标检测的需求。在不同环境下红外小目标检测的需求。

【技术实现步骤摘要】
一种基于YOLOv4多尺度特征融合的红外小目标检测方法


[0001]本专利技术涉及图像处理技术与模式识别
，特别是涉及一种基于YOLOv4多尺度特征融合的红外小目标检测方法。

技术介绍

[0002]红外成像能力在没有照明的情况下，可以穿透障碍物，提供比较清晰的图像，因此，红外小目标检测在预警系统、遥感以及目标跟踪等领域有着不可替代的作用。但是，一方面，小目标缺乏与其区别的外观信息、形状和纹理特征，锁定小物体的位置就会产生更多的不确定性。另一方面，在复杂背景下，由于噪声、湿度、距离等各种因素影响下，目前的方法还有很大的虚警率甚至漏检。因此，目前红外小目标检测还存在很大的困难与挑战。
[0003]传统方法假设背景是静态的或者相邻帧中目标图像一致，利用背景与红外小目标之间的差异进行检测，这样很容易因为对比度不明显造成特征缺失，导致漏检以及“假阳性”的检测结果。同时外界条件造成的背景图像的动态变化影响最终检测结果，因此传统方法对于多样性的变化没有很好的鲁棒性。
[0004]近年来，随着卷积神经网络在深度学习中的快速发展，一些基于卷积神经网络的红外小目标检测方法取得了巨大的进展。卷积神经网络能够以端到端的方式学习红外小目标图像的深度语义特征，因此目标检测网络应用于很多领域。相关工作有：杨其利等人提出了一种基于全卷积网络的红外弱小目标检测算法，构建了基于递归卷积层的全卷积网络，增强了复杂环境下目标和背景之间的对比度(见参考文献：杨其利,周炳红,郑伟,等.基于全卷积网络的红外弱小目标检测算法[J].红外技术,2021,43(4):349
‑
356)；蔡云泽针对远距离红外目标检测中算法漏检率和虚警率高等问题，设计了双通道特征提取模块，通过特征增强丰富了目标特征(见参考文献：蔡云泽,张彦军.基于双通道特征增强集成注意力网络的红外弱小目标检测方法[J].空天防御,2021,4(4):14
‑
22)；汪龙鑫等人使用条件对抗生成网络以及YOLOv3
‑
tiny检测器构建了红外小目标检测与跟踪系统，优化了红外图像背景复杂、信杂比低、目标尺寸小等问题(见参考文献：汪龙鑫,曾丹,朱晓强.空基红外小目标检测与跟踪系统[J].工业控制计算机,2022,35(5):39
‑
41)。

技术实现思路

[0005]本专利技术针对传统红外小目标检测方法在把不同背景下鲁棒性差、特征耦合以及特征易缺失的问题，提供一种检测结果的准确性高、不同场景下较高鲁棒性好的基于YOLOv4多尺度特征融合的红外小目标检测方法。
[0006]本专利技术的技术解决方案是，提供一种具有以下步骤的基于YOLOv4多尺度特征融合的红外小目标检测方法：含有以下步骤，
[0007]步骤1、获取红外小目标检测图像，对图像进行预处理，调整为统一尺寸；
[0008]步骤2、提取图像的全局特征，对目标区域进行扩张卷积，将扩张卷积获取的特征嵌入全局分支中，学习目标区域的上下文信息；
[0009]步骤3、使用滑动窗口对原始图像进行采样，将采样后的图像块序列进行下采样降低原始图像分辨率，得到的低分辨率图像用于训练生成对抗网络模型，将滑动窗口采样的图像块序列输入训练好的生成对抗网络模型，获取局部特征增强的图像；
[0010]步骤4、将步骤3得到的图像输入YOLOv4的主干网络，将主干网络输出的局部增强的特征、步骤2中获取的全局特征和上下文特征，通过学习不同的权值相互融合；
[0011]步骤5、融合后的模块输入空间自注意机制，增强红外小目标在空间结构中的依赖响应；
[0012]步骤6、计算损失函数，通过YOLOv4的头部网络对红外小目标位置回归，得到最终的检测结果。
[0013]优选地，所述步骤1中输入待检测图像，采用Opencv中的resize()函数，将尺寸调整到同一大小。
[0014]优选地，所述步骤2中获取输入图像的全局特征信息包括以下步骤：
[0015]步骤2.1、将待检测图像输入卷积神经网络进行特征提取，抽象出目标对象的全局特征表示；
[0016]步骤2.2、引入扩张卷积，学习上下文信息，增强全局特征提取的表示能力；
[0017]步骤2.3、将上下文信息嵌入全局分支当中，获取更加完整的特征信息与先验表示。
[0018]优选地，所述步骤3中构建生成对抗网络模型，获取局部特征增强的高分辨率图像，包括以下步骤：
[0019]步骤3.1、设置滑动窗口的尺寸大小为16
×
16，滑动步数为12；
[0020]步骤3.2、采用双三次插值方法对滑动窗口图像序列进行下采样得到低分辨率图像；
[0021]步骤3.3、将得到的水平方向和垂直方向都缩放为原来一半的图像输入生成器，鉴别器为正常图像序列，引入随机噪声，通过生成器与鉴别器的对抗学习，计算损失函数，训练生成对抗网络模型；
[0022]步骤3.4、将滑动窗口采样的图像块序列输入训练好的生成对抗网络模型，获取局部特征增强的高分辨率图像。
[0023]优选地，所述步骤4中融合全局特征与局部增强特征包括以下步骤：将得到的高分辨率图像输入YOLOv4的主干网络，通过CSPDarknet53输出的不同尺度的特征，输出的不同尺度特征与步骤2中获得的全局特征设置不同的权重，卷积后将不同尺度的特征进行融合相加。
[0024]优选地，所述步骤5将融合后的模块输入空间自注意机制，包括以下步骤：步骤5.1、设置特征融合模块的输出特征图为[C
×
H
×
W]，H、W和C分别表示特征映射的高度、宽度和通道；
[0025]步骤5.2、将其输入三个1
×
1卷积中，生成三个特征映射F1、F2和F3；
[0026]步骤5.3、通过重构F1、F2和F3，衡量特征图不同位置之间的影响，首先对F1的转置以及F2进行矩阵乘法；然后通过Softmax归一化函数得到F4；
[0027]步骤5.4、最后，对F3和F4进行矩阵乘法运算，得到最终的输出[C
×
H
×
W]。
[0028]优选地，所述所述步骤6中，定义总体损失函数：
[0029]Loss＝L
GAN
+L
Class
+L
Box
[0030]其中，L
GAN
、L
Class
、L
Box
分别为生成对抗网络模型损失函数、分类损失函数和边界框回归损失函，
[0031]分类损失函数具体定义如下：
[0032][0033]其中，和分别表示第i格第j个边界框中对象所属类别c的预测概率和真实概率；
[0034]边界框回归损失函数具体定义如下：
[0035][0036]其中，IOU表示预测边界框和真值边界框的并集的交集，w
gt
、h
gt
分别是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOv4多尺度特征融合的红外小目标检测方法，其特征在于：含有以下步骤，步骤1、获取红外小目标检测图像，对图像进行预处理，调整为统一尺寸；步骤2、提取图像的全局特征，对目标区域进行扩张卷积，将扩张卷积获取的特征嵌入全局分支中，学习目标区域的上下文信息；步骤3、使用滑动窗口对原始图像进行采样，将采样后的图像块序列进行下采样降低原始图像分辨率，得到的低分辨率图像用于训练生成对抗网络模型，将滑动窗口采样的图像块序列输入训练好的生成对抗网络模型，获取局部特征增强的图像；步骤4、将步骤3得到的图像输入YOLOv4的主干网络，将主干网络输出的局部增强的特征、步骤2中获取的全局特征和上下文特征，通过学习不同的权值相互融合；步骤5、融合后的模块输入空间自注意机制，增强红外小目标在空间结构中的依赖响应；步骤6、计算损失函数，通过YOLOv4的头部网络对红外小目标位置回归，得到最终的检测结果。2.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法，其特征在于：所述步骤1中输入待检测图像，采用Opencv中的resize()函数，将尺寸调整到同一大小。3.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法，其特征在于：所述步骤2中获取输入图像的全局特征信息包括以下步骤：步骤2.1、将待检测图像输入卷积神经网络进行特征提取，抽象出目标对象的全局特征表示；步骤2.2、引入扩张卷积，学习上下文信息，增强全局特征提取的表示能力；步骤2.3、将上下文信息嵌入全局分支当中，获取更加完整的特征信息与先验表示。4.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法，其特征在于：所述步骤3中构建生成对抗网络模型，获取局部特征增强的高分辨率图像，包括以下步骤：步骤3.1、设置滑动窗口的尺寸大小为16
×
16，滑动步数为12；步骤3.2、采用双三次插值方法对滑动窗口图像序列进行下采样得到低分辨率图像；步骤3.3、将得到的水平方向和垂直方向都缩放为原来一半的图像输入生成器，鉴别器为正常图像序列，引入随机噪声，通过生成器与鉴别器的对抗学习，计算损失函数，训练生成对抗网络模型；步骤3.4、将滑动窗口采样的图像块序列输入训练好的生成对抗网络模型，获取局部特征增强的高分辨率图像。5.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法，其特征在于：所述步骤4中融合全局特征与局部增强特征包括以下...

【专利技术属性】
技术研发人员：任获荣，黄雪影，赵毅，
申请(专利权)人：西安镭映光电科技有限公司，
类型：发明
国别省市：