一种基于特征融合的红外小目标检测方法技术

本发明专利技术公开了一种基于特征融合的红外小目标检测方法，其步骤包括：1、对红外图像进行预处理，避免在训练过程中过拟合；2、构建Transformer架构的神经网络分支提取图像特征；3、构建CNN架构的神经网络分支提取图像特征；4、构建特征融合模块将两个分支的特征进行融合；5、结合两种损失函数来优化模型。本发明专利技术利用Transformer分支、CNN分支和一个特征融合模块，可以学习与背景相对应的像素之间的长期依赖关系，融合局部细节特征和全局语义特征，从而实现更精确的目标检测，提升了网络的性能。能。能。

【技术实现步骤摘要】
一种基于特征融合的红外小目标检测方法


[0001]本专利技术属于计算机视觉领域，具体地说是一种基于特征融合的红外小目标检测方法。

技术介绍

[0002]在计算机视觉领域中，基于红外探测系统的红外弱小目标检测一直都是一个重要的课题和研究热点，具有较高的实际应用价值，可以广泛应用于海上监视、红外预警、红外制导、红外搜索、跟踪等实际场景中。然而，由于红外小目标缺乏如颜色和纹理这种易于区别的特征，且体积小，成像距离长，信噪比较低，在复杂多变的背景下很容易被噪声淹没，这使得它很难被发现。因此，高检测率、低虚警率的红外小目标检测算法仍然是实际应用的必然需求。
[0003]然而，在大多数实际应用的红外成像系统中，待检测目标与探测器之间的距离较远，使得红外目标占整幅红外图像的面积非常小，一般少于100个像素，加上背景复杂多变的特点，为检测带来困难。具体表现为以下几点：(1)目标可用特征少。由于目标尺寸小，总辐射能量小于背景的辐射能量，在图像中灰度分布多变，难以采用统一的数学模型进行描述；且不存在精细的纹理、形状等结构信息，使得传统可见光图像的目标检测方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合的红外小目标检测方法，其特征是按如下步骤进行：步骤1、对红外图像进行预处理；步骤1.1、获取红外图像数据集并进行尺寸统一、裁剪、水平和垂直翻转的预处理后，得到处理后的红外图像数据集，记为{I
n
|n＝1,2,
…
,N}；其中，I
n
表示第n张红外图像；N表示红外图像数据集中的图像数量；步骤2、构建Transformer架构的神经网络分支，并将所述处理后的红外图像数据集输入所述神经网络分支中；步骤2.1、基于Transformer的神经网络分支由M个多头自注意力块组成，分别记为SwinTB1,...,SwinTB
m
,...,SwinTB
M
；其中，SwinTB
m
表示第m级多头自注意力块，m＝1,2,...,M；所述第m级多头自注意力块SwinTB
m
依次由第m级合并采样层PatchMerging
m
、第m级窗口多头自注意力层WMSL
m
和第m级移位窗口多头自注意力层SWMSL
m
构成；所述第m级合并采样层PatchMerging
m
由第m级划分窗口层DivW
m
、第m级归一化层NL
m
和第m级线性层Fc
m
组成；所述第m级窗口多头自注意力层WMSL
m
由第m级前归一化层LN1
m
、第m级窗口多头计算单元WMSA
m
、第m级后归一化层LN2
m
和第m级窗口全连接层WMLP
m
组成；所述第m级移位窗口多头自注意力层SWMSL
m
由第m级前归一化层LN3
m
、第m级移位窗口多头计算单元SWMSA
m
、第m级后归一化层LN4
m
和第m级移位窗口全连接层SMLP
m
组成；步骤2.2、当m＝1时，所述第n张红外图像I
n
输入第m个多头自注意力块中，并经过第m级自注意力块SwinTB
m
的第m级合并采样层PatchMerging
m
的处理后，输出合并特征张量RI
n,m
；所述合并特征张量RI
n,m
经过第m级窗口多头自注意力层WMSL
m
的第m级前归一化层LN1
m
的处理，得到归一化后的特征张量再输入第m级窗口多头计算单元WMSA
m
中进行线性变换和自注意力特征计算后；再与第m级合并采样层PatchMerging
m
输出的合并特征张量RI
n,m
进行残差连接，得到自注意力特征张量WRI
n,m
；所述自注意力特征张量WRI
n,m
依次输入第m级后归一化层LN2
m
和第m级窗口全连接层WMLP
m
中进行线性变换和通道数调整后，再与自身进行残差连接后得到残差特征张量WMRI
n,m
；所述残差特征张量WMRI
n,m
经过第m级移位窗口多头自注意力层SWMSL
m
的第m级前归一化层LN3
m
的归一化处理后，再输入第m级移位窗口多头计算单元SWMSA
m
中进行线性变换和窗口偏移的自注意力特征计算；然后与残差特征张量WMRI
n,m
进行残差连接得到偏移自注意力特征张量SWRI
n,m
；所述偏移自注意力特征张量SWRI
n,m
依次输入第m级后归一化层LN4
m
和第m级窗口全连接层SWMLP
m
中进行线性变换和通道数调整后，再与偏移自注意力特征张量SWRI
n,m
自身进行残差连接并得到相应输出尺寸为的第m个窗口特征张量SWMRI
n,m
，并作为所述m级多头自注意力块SwinTB
m
的输出特征张量；其中，W,H为第n张红外强度图像I
n
的宽和高，C为第m级多头自注意力块的输出通道数，a为倍数，a＝2
(m
‑
1)
；步骤2.3、当m＝2,3,...,M时，将第m
‑
1个窗口特征张量SWMRI
m
‑1作为第m级多头自注意力块SwinTB
m
的输入，并由第m级多头自注意力块SwinTB
m
输出第m个窗口特征张量SWMRI
n,m
，从而由第M级多头自注意力块SwinTB
M
输出第M个窗口特征张量SWMRI
n,M
，并作为Transformer的神经网络分支最终输出的窗口特征张量，记为SWMRI
n
；
步骤3、构建CNN架构的网络分支，包括：下采样模块、中间模块以及上采样模块；并将所述处理后的红外图像数据集输入所述网络分支中；步骤3.1、所述下采样模块由M个下采样块组成，M个下采样块分别为DSampleBlock1,...,DSampleBlock
m
,...,DSampleBlock
M
；其中，DSampleBlock
m
表示第m级下采样块，m＝1,2,...,M；所述第m级下采样块DSampleBlock
m
由第m级最大池化层MaxPool2d
m
和第m级多层卷积层nCov
m
组成；所述第m级多层卷积层nCov
m
包括：X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k
x
，x＝1,2,
…
,X；当m＝1时，所述第n张红外图像I
n
输入第m级下采样模块DSampleBlock1中的第m级最大池化层MaxPool2d
m
和第m级多层卷积层nCov
m
进行池化和卷积等处理，将特征张量的尺寸转变为输入的倍后，输出特征张量DResult
n,m
，其中，b表示缩放尺度系数；当m＝2,3,...,M时，将特征张量DResult
n,m
‑1作为第m级下采样块DSampleBlock
m
的输入，并由第m级多层卷积层nCov
m
输出特征张量DResult
n,m
；从而由第M级下采样块DSampleBlock
M

【专利技术属性】
技术研发人员：齐美彬，刘柳，庄硕，刘一敏，李坤袁，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：