【技术实现步骤摘要】
基于时空特征融合网络的红外弱小目标检测方法
[0001]本专利技术涉及面向红外弱小目标检测的深度学习目标检测方法，可应用于远程红外预警、反无人机、海岸监视等多种任务，适应于机载、舰载、弹载、地面等不同平台。具体涉及基于时空特征融合网络的红外弱小目标检测方法。
技术介绍
[0002]红外探测设备在应用过程中，由于被探测目标相距探测设备距离相对较远，受限于光学系统的口径和传播路径中的大气衰减，红外探测器接收到目标的红外辐射信号相对较弱。目标在红外探测器的成像画面中通常仅占几个到十几个像素，缺乏可用于识别的纹理信息。同时，不同于可见光相机可同时采集目标红绿蓝三个谱段的光谱信息，常规的红外探测器仅能对特定的单一红外谱段成像，缺乏多光谱特性。所以，红外探测设备需要识别的是信噪比低、特征少、面积小的红外弱小目标。在现有的红外图像单帧处理过程中，受限于目标的特征信息有限，不可避免要面临虚警和漏警问题。然而，在红外探测设备的应用过程中，熟练的设备操作人员在面对红外探测设备的监控画面中，却能够精准有效从红外图像中识别出感兴趣的目标。这是由于经...
【技术保护点】
【技术特征摘要】
1.一种基于时空特征融合网络的红外弱小目标检测方法，其特征是，时空特征融合红外弱小目标检测网络模型STNet，以相邻帧红外图像为输入，送入由空间注意力单元SAU组成的STNet主干网络提取视觉特征，最终送入时序引导的Transformer结构完成时空特征融合，并最终生成检测结果的预测，其中，由空间注意力单元SAU组成的STNet主干网络是指利用SAU实现对STNet主干网络卷积层的原位替代。2.如权利要求1所述的基于时空特征融合网络的红外弱小目标检测方法，其特征是，其中，SAU增加可形变卷积层，可形变卷积核在运算的过程中增加了可变化的位置偏移量，卷积运算的感受野因此能够具备尺度变换、旋转能力。3.如权利要求1所述的基于时空特征融合网络的红外弱小目标检测方法，其特征是，SAU首先采用两个膨胀卷积和一个可形变卷积提取多尺度特征，卷积核大小均设定为3
×
3，膨胀卷积的膨胀率分别设定为2和4；经卷积运算后的特征图合并为统一的张量，为保持特征的维度不变，利用一个卷积核大小为1
×
1的卷积进行降维，使之与输入维度保持一致；同时，SAU添加直连通路，在直连通路中，将SAU输入的特征图与1
×
1卷积运算后的特征相加，以此来缓解模型深度增加带来的梯度消失问题，为了满足通道数要求，当SAU的输入与输出通道数不一致时，在直连通路上添加1
×
1卷积。4.如权利要求1所述的基于时空特征融合网络的红外弱小目标检测方法，其特征是，选用ResNet
‑
18网络为原始构型形成ResNet
‑
SAU
‑
18模型，ResNet
‑
SAU
‑
18模型以7
×
7的卷积层和最大值池化层为第一个卷积组Conv_1，其中，SAU单元依次替换了ResNet
‑
18中的卷积组Conv_2、Conv_3、Conv_4、Conv_5的卷积层，将输出的7
×7×
512维度特征展开，以49
×
512维度特征作为视觉特征，相邻两帧红外图像It
‑
1和It分别送入ResNet
‑
SAU
‑
18结构，得到对应的视觉特征Ft
‑
1和Ft。5.如权利要求1所述的基于时空特征融合网络的红外弱小目标检测方法，其特征是，Transformer结构利用三个MLP网络从输入的特征Fin得到检索矩阵Q、键值矩阵K和内容矩阵V，利用公式(1)得到自注意力之后的特征：其中，为了约束特征的数值大小，引入了特征维度数d
k
，将Q与K T的乘积结果除以利用图像序列的空间特征f
s
作为K矩阵和V矩阵的输入，而时间特征f
t
作为Q矩阵的输入，则改造后的自注意力机制表示为：采用的时序引导的Transformer编码器和解码器层数设定为3，解码器的输出特征作为MLP的输入，得到目标类型和位置的预测，每个MLP网络实现对位置框的预测，在STNet中，Transformer编码器后连接20个MLP网络，单个...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。