一种基于注意力导向金字塔融合的红外小目标检测方法技术

本发明专利技术属于图像处理与计算机视觉领域，特别涉及一种基于注意力导向金字塔融合的红外小目标检测方法。所述方法包括：获取红外图像数据集，对红外图像进行预处理；构建基于编码器

【技术实现步骤摘要】
一种基于注意力导向金字塔融合的红外小目标检测方法


[0001]本专利技术属于图像处理与计算机视觉领域，特别涉及一种基于注意力导向金字塔融合的红外小目标检测方法。

技术介绍

[0002]红外小目标检测是一项重要的计算机视觉任务，在医学诊断、海上监视、空中预警及工业检测等都有着实际的应用。红外成像可以在没有照明或穿透的情况下提供清晰的图像，减少雾、烟和其它大气条件的干扰。但由于红外成像距离较远，目标所辐射的能量逐渐衰减，在红外图像中通常只占几个像素，且缺乏质地与形状特征，因此红外小目标的检测是一个重要且具有挑战性的任务。
[0003]目前红外小目标的检测方法可以分为基于先验的传统方法与基于深度学习的模型驱动方法。其中，基于先验的传统方法往往通过滤波、局部对比、显著性检测和低秩稀疏恢复的方式，抑制背景增强目标，使目标与背景分离完成检测任务。这些方法容易受背景中的杂波和噪声的影响，产生大量的目标漏检或误报问题。另外，传统方法的性能严重依赖手工参数的输入，在一些简单的任务场景中表现良好，但当背景变得复杂时效果不佳，鲁棒性差。基于先验的传统方法由于不涉及任何的特征学习，因此难以处理各种真实的场景。近年来，随着深度学习的快速发展以及计算机性能的提升，出现了一些基于深度神经网络的红外小目标检测方法。这些方法以数据驱动的方式学习可训练的特征，通过海量的数据和深度神经网络强大的模型拟合能力，更好地抑制背景信息的干扰并增强目标信息，足以实现相比于传统方法更好的检测性能。但是，基于深度学习方法的检测性能还并未达到最佳，与实际应用具有一定的差距，且在训练过程中，还可能会出现过拟合的风险降低性能。

技术实现思路

[0004]针对红外小目标的低信噪比、小尺度的本质特性，本专利技术提出一种基于注意力导向金字塔融合的红外小目标检测方法，解决现有方法不足，提升目标检测性能，具体包括以下步骤：
[0005]步骤1、获取红外图像训练与测试数据集，对数据集进行预处理：裁剪红外图像尺寸为统一大小，并对图像像素进行归一化；
[0006]步骤2、构建一种基于编码器
‑
解码器结构的神经网络，将预处理后的红外图像输入到神经网络中；
[0007]步骤3、神经网络编码器各层的输出图像输入到多尺度融合模块，丰富目标信息；多尺度融合模块的输出图像与相同层级解码器的输出图像拼接，经过注意力机制模块，放大关键信息；
[0008]步骤4、神经网络编码器的输出图像进入上下文金字塔模块，关联图像上下文信息，输出图像进入解码器；
[0009]步骤5、将检测图像与真实标签图像的差异作为损失函数，迭代训练优化网络参
数，待损失稳定后，将检测图像输入训练好的神经网络，解码器的输出图像为最终检测结果。
[0010]本专利技术提出的基于注意力导向金字塔融合的红外小目标检测方法，采用编码器
‑
解码器的网络结构，融合不同层级之间的特征信息，充分利用浅层特征图丰富的小目标语义信息，提升检测性能。注意力机制模块抑制背景信息的同时增强目标信息，上下文金字塔模块建立特征的局部及全局关联获得更准确的上下文导向。本专利技术提出的方法在红外小目标检测任务的复杂场景中，拥有更好的检测性能。
附图说明
[0011]图1为本专利技术提出的基于注意力导向金字塔融合的红外小目标检测方法的整体流程图；
[0012]图2为本专利技术提出的基于注意力导向金字塔融合的红外小目标检测方法的整体架构图；
[0013]图3为本专利技术的方法测试例中的检测结果图；
[0014]图4为本专利技术的方法测试例中的检测结果3维效果图；
具体实施方式
[0015]下面将结合附图与实施例，更加清楚地说明本专利技术的技术方案，以下所描述的具体实施例仅用于解释本专利技术的实施过程，并非涵盖所有实施例，本领域普通技术人员在没有其他创新性工作所获得的实施例，都属于本专利技术保护的范围。
[0016]本专利技术提出的一种基于注意力导向金字塔融合的红外小目标检测方法，参照图1，具体步骤如下：
[0017]步骤1、获取红外图像训练与测试数据集，对数据集进行预处理：裁剪红外图像尺寸为统一大小、图像像素归一化；
[0018]步骤2、构建一种基于编码器
‑
解码器结构的神经网络，将预处理后的红外图像输入到神经网络中；
[0019]步骤3、神经网络编码器各层的输出图像输入到多尺度融合模块，丰富目标信息；多尺度融合模块的输出图像与相同层级解码器的输出图像拼接，经过注意力机制模块，放大关键信息；
[0020]步骤4、神经网络编码器的输出图像进入上下文金字塔模块，关联图像上下文信息，输出图像再输入到解码器；
[0021]步骤5、将检测图像与真实标签图像的差异作为损失函数，迭代训练优化网络参数，待损失稳定后，将检测图像输入训练好的神经网络，解码器的输出图像为最终检测结果。
[0022]本专利技术提供一种具体的实施例，在本实施例中采用包含1000张具有不同目标形状与大小的真实红外图像数据集，数据集背景复杂，包含天空、山地、建筑物、海洋等。图像尺寸大小为512
×
512，整个数据集按5:2:3的比例被分成训练集、验证集与测试集。训练集用于训练网络，验证集在训练的过程中验证网络性能，保存最优网络模型，测试集则用于对比本专利技术方法与其它现有方法的性能。
[0023]训练阶段，输入的红外图像尺寸大小一致，以4张图片为一组的方式共同训练，网络训练不断迭代，直到损失函数维持稳定则停止训练。在训练过程中，每迭代10次则进行一次性能验证保存模型，在检测过程中输入测试图像，检验方法性能，保存实验结果，即为图4所示。
[0024]参照图2，红外图像首先进入网络的编码器结构部分，编码器由5层下采样层组成，每经过一层下采样层图像的通道维度扩大2倍，分辨率降低2倍，提取抽象目标语义信息，在经过最后一层下采样后产生编码器输出特征图。
[0025]由编码器产生的输出特征图进入上下文金字塔模块，该模块具有上下双分支结构分别关注语义的局部关联和全局关联，局部关联是指将输入特征图X
in
划分为n
×
n个小块，大小为w
×
h，计算像素之间的关联性信息，将输出的特征映射集中到一起，形成新的局部关联特征映射X
out1
；全局关联映射是指将输入特征图X
in
经过平均池化提取块内特征，通过非局部关联分析块之间的上下文信息，整合通道维度权重获得更准确的上下文导向，输出全局关联特征映射X
out2
，局部关联与全局关联的计算可表示为：
[0026]X
out1
＝NonLock(X
in
)
[0027][0028]其中，NonLock()表示常见的非局部网络，表示包含3
×
3的卷积、批归一化和ReLU激活函数的卷积块，表示包含3
×
3的卷积、批归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力导向金字塔融合的红外小目标检测方法，其特征在于，该方法包括以下步骤：步骤1、获取红外图像训练与测试数据集，对数据集进行预处理：裁剪红外图像尺寸为统一大小、图像像素归一化；步骤2、构建一种基于编码器
‑
解码器结构的神经网络，将预处理后的红外图像输入到神经网络中；步骤3、神经网络编码器各层的输出图像进入多尺度融合模块，丰富目标信息；多尺度融合模块的输出图像与相同层级解码器的输出图像拼接，经过注意力机制模块，放大关键信息；步骤4、神经网络编码器的输出图像进入上下文金字塔模块，关联图像上下文信息，产生的输出图像进入解码器；步骤5、将检测图像与真实标签图像的差异作为损失函数，迭代训练优化网络参数，待损失稳定后，将测试数据集中的图像输入到训练好的神经网络，解码器的输出图像为最终检测结果。2.根据权利要求1所述的一种基于注意力导向金字塔融合的红外小目标检测方法，其特征在于，红外图像在编码器
‑
解码器结构的神经网络中经过5层下采样层产生编码器输出图像，放大特征图通道维度倍数，缩小图像分辨率，提取抽象目标语义信息；堆叠通道维度图像进入包含5层上采样层的解码器还原图像维度，产生的单通道图像作为神经网络的输出，完成检测任务。3.根据权力要求1所述的一种基于注意力导向金字塔融合的红外小目标检测方法，其特征在于，编码器中5层下采样层的中间3层输出[X2,X3,X4]，以浅层输出向深层输出融合的方式，将全局语义信息从低级阶段逐步引入到高级阶段；[X2,X3,X4]通过3
×
3的卷积映射到X4通道维度，[X2,X3,X4]经过上采样扩展分辨率与X4相同，拼接[X2,X3,X4]；为提取不同层次的全局上下文信息，拼接特征图通过具有不同膨胀率(1，2和4)的空洞卷积，产生融合特征图输出，此过程可以表示为：其中，F
i
表示第i层的融合特征输出，X
i
表示编码器上采样层的输出，f3×3表示3
×
3的卷积，Cat表示拼接操作，表示膨胀率为2
i
‑
k
的空洞卷积，表示按元素相乘。4.根据权利要求1所述的一种基于注意力导向金字塔融合的红外小目标检测方法，其特征在于，注意力机制模块由两个并行分支构成，第一个分支包含两个卷积块，每一个卷积块由卷积层、批归一化层和激活函数层组成；第二个分支包含三个卷积块，在第一个与第二个卷积块之间包含一个池化层；两个分支的计算过程可表示为：个卷积块之间包含一个池化层；两个分支的计算过程可表示为：其中，X1表示第一个分支输入特征，X2表示第二个分支输入特征，表示包含3
×
3的卷积、批归一化和ReLU激活函数的卷积块，表...

【专利技术属性】
技术研发人员：陈志华，张国栋，李然，梁磊，王子涵，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：