一种夜间机场净空域红外小目标的检测方法、系统及应用技术方案

本发明专利技术属于图像识别技术领域，公开了一种夜间机场净空域红外小目标的检测方法、系统及应用。该方法包括：设定异构并行网络模型的初始参数，将训练集图像输入设定异构并行网络模型进行训练，得到基于深度学习的红外小目标检测模型；将待检测的红外小目标图像输入到红外小目标检测模型，经过异构并行主干网的红外小目标图像进行特征提取，并通过像素聚合网络对上述特征图进行融合，得到多层包含目标信息的特征图；接着通过预测结构处理包含目标信息的特征图，分别获得目标的类别和位置信息，并生成每个目标对应的目标框，从而在图像中直接显示预测目标的类型及位置信息。本发明专利技术易于部署在硬件设备；模型操作简单，易训练。易训练。易训练。

【技术实现步骤摘要】
一种夜间机场净空域红外小目标的检测方法、系统及应用


[0001]本专利技术属于图像识别
，尤其涉及一种夜间机场净空域红外小目标的检测方法、系统及应用。

技术介绍

[0002]红外图像小目标检测在目标预警、地面监测和飞行引导中起着重要作用。针对可见光的目标检测技术，现有方法取得良好的检测性能。但夜间拍摄红外影像和可见光影像差异巨大，由于红外拍摄距离远、影像对比度低、纹理特征弱、目标占比小的特点，使得红外小目标检测难度加剧。为了提供更全面的保障，实现重要场所的24小时监管，夜间红外图像的小目标检测的研究尤为重要。
[0003]针对红外小目标检测，一般可分为连续帧视频目标检测和单帧图像目标检测。连续帧视频目标检测主要利用目标在视频中连续帧之间的相应关系进行研究；单帧图像目标检测，直接根据目标在图像中的独有信息，将其检测并识别。其中，视频检测利用目标的形态和轨迹连续性等先验信息与时空域信息实现目标检测，而快速运动的无人机目标在红外图像中相对背景变化迅速，其轨迹连续性难以保障，导致连续帧方法应用困难。相比之下，单帧图像目标检测方法只需计算单个图像中的目标信息，计算复杂度明显低于视频目标检测，且易于硬件实现，使其在红外目标检测中应用广泛，大致可分为基于模型驱动和基于深度学习的单帧红外目标检测方法。
[0004]基于模型驱动的红外单帧图像目标检测方法一般是将目标点建模，从高度相关的背景像素中将红外图像中的小目标视为异常点，并标记为目标。基于模型驱动方法存在的共同不足之处在于，当背景为建筑物、树木、车辆等混杂背景时，检测性能受限，且很难满足实时检测的需求。随着计算机视觉的发展，基于深度学习方法的红外图像目标检测方法越来越多。基于深度学习的红外图像目标检测方法满足实时检测的需求，同时根据机器视觉技术的不断改进，检测性能也不断提升。
[0005]通过上述分析，现有技术存在的问题及缺陷为：（1）现有技术中，对夜间机场净空域红外小目标的检测速度慢，准确率低。
[0006]（2）现有技术中多种不同环境的应用与部署实用性差。
[0007]（3）现有技术中，不能有效增强图像中小目标信息的占比，不能后续特征提取及目标检测提供有效支撑。
[0008]（4）现有技术中，不能有效融合三个不同通道得到的特征图，目标的信息含量少。不能为后续目标的检测提供有效支撑。

技术实现思路

[0009]为克服相关技术中存在的问题，本专利技术公开实施例提供了一种夜间机场净空域红外小目标的检测方法、系统及应用。
[0010]所述技术方案如下：夜间机场净空域红外小目标的检测方法包括以下步骤：
S1，设定异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；S2，将待检测的红外小目标图像输入到红外小目标检测模型，异构并行主干网红外小目标图像进行特征提取，并拼接三个不同通道的特征图，所述三个不同通道包括：相似度目标增强模块(Similarity object enhancement，SOE)通道、一般特征提取结构通道以及基于无参简单的注意力机制(A Simple Attention Module，SimAM)的主干网结构通道；S3，经过像素聚合网络对得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；S4，通过预测结构判别目标的类别和位置，获得每个红外小目标的置信度，并生成每个目标对应的目标预测框，预测获取目标类型及位置信息；S5：使用非极大值抑制方法，将得到的多个目标预测框中由IOU（Intersection
‑
over
‑
union）公式计算得到得分低的目标框删除，得到目标框，并将目标的类别及位置信息保存并显示。
[0011]在一个实施例中，步骤S1中，所述异构并行网络模型基于基础的Focus模块、C3模块和SPP模块搭建VGG形式的异构并行主干网，结合像素聚合网络生成多层融合后的特征图，并根据预测网络预测目标的类别和位置；根据L1损失函数将回归到原图的位置信息进行修正，得到目标最终的分类及精确位置信息；目标预测框损失函数计算公式如式（1）所示：（1）式中表示将某一目标位置映射到原图后回归正确的概率，为影响范围因子，使用L1损失函数来计算损失函数，使得损失值对离群点、异常值不敏感，梯度变化相对更小，训练阶段模型不易偏离最优模型，得到偏差较小的多个目标边界框；其中，异构并行网络模型的初始参数包括：网络层数、各层神经元的权值及偏置值。
[0012]在一个实施例中，步骤S2中，异构并行网络模型的异构并行主干网络以相似度目标增强模块通道得到的特征图和一般特征提取结构、基于无参简单的注意力机制的主干网结构获得的特征图进行拼接操作，增强卷积操作过程中特征图目标信息的占比和重要程度。
[0013]在一个实施例中，步骤S5中，由IOU公式计算目标框的得分，定义为两个框的交叉和联合之间的比率；IOU的计算方式如下公式（2）所示：（2）其中，A，B分别表示两个框，表示两个框的并集区域，表示两个框的交集区域。
[0014]在一个实施例中，所述相似度目标增强模块首先将特征图H
×
W划分成个2
×
2的小块，并以其中一个小块为中心往外延申至4
×
4的大块，同样得到个大块，并计算每一个小块与对应大块之间的Wasserstein距离；其Wasserstein距离计算方式如公式（3）所示：（3）近似的将两个矩形块之间的距离定义为：（4）并简化为：（5）其中和分别是和区域中特征点的均值和方差，Wasserstein距离用来衡量两个分布之间的距离，将这个距离作为两个分布的相似度，计算中心块与周围域的距离为计算中心块与周围域的相似度；值越大，表示小块与大块之间的相似度越高，小块是背景的概率越大，值越小，表示小块与大块之间的相似性越低，小块是目标的可能性越大；逐个块计算，最终得到一个的相似度矩阵W_soe（Wasserstein
‑
SOE）；输入到相似度目标增强模块的特征图为，按照2
×
2的小块划分，并获得以每个2
×
2小块为中心向外辐射的一一对应的4
×
4的大块，根据公式（5）以2
×
2小块为单位，按照步长为1滑动，计算得到的相似度矩阵W_soe。
[0015]在一个实施例中，增强卷积操作过程中特征图目标信息的占比和重要程度进一步包括：输入尺寸为H
×
W
×
C的特征图F经过取设定小块的，组成相似度矩阵W_soe，接着，取W_soe＇=1/W_soe，称之为Wasserstein相似度，得到一个与目标成正相关的相似度矩阵W_soe＇，Wasserstein相似度矩阵；在通过激活函数得到的相似度矩阵W＇基础上，使用Sigmoid函数归一化并激活得到矩阵W，结合原输入特征图，使得特征图目标的特征值基本不变，获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种夜间机场净空域红外小目标的检测方法，其特征在于，该方法包括以下步骤：S1，设定异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；S2，将待检测的红外小目标图像输入到红外小目标检测模型，对异构并行主干网红外小目标图像进行特征提取，并拼接三个不同通道的特征图，所述三个不同通道包括：相似度目标增强模块通道、一般特征提取结构通道以及基于无参简单的注意力机制的主干网结构通道；S3，经过像素聚合网络对得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；S4，通过预测结构判别目标的类别和位置，获得每个红外小目标的置信度，并生成每个目标对应的目标预测框，预测获取目标类型及位置信息；S5：使用非极大值抑制方法，将得到的多个目标预测框中由IOU公式计算得到得分低的目标框删除，得到目标框，并将目标的类别及位置信息保存并显示。2.根据权利要求1所述的夜间机场净空域红外小目标的检测方法，其特征在于，步骤S1中，所述异构并行网络模型基于基础的Focus模块、C3模块和SPP模块搭建VGG形式的异构并行主干网，结合像素聚合网络生成多层融合后的特征图，并根据预测网络预测目标的类别和位置；根据L1损失函数将回归到原图的位置信息进行修正，得到目标最终的分类及精确位置信息；目标预测框损失函数计算公式如式（1）所示：（1）式中表示将某一目标位置映射到原图后回归正确的概率，为影响范围因子；其中，异构并行网络模型的初始参数包括：网络层数、各层神经元的权值及偏置值。3.根据权利要求2所述的夜间机场净空域红外小目标的检测方法，其特征在于，所述异构并行网络模型的异构并行主干网络以相似度目标增强模块通道得到的特征图和一般特征提取结构、基于无参简单的注意力机制的主干网结构获得的特征图进行拼接操作，增强卷积操作过程中特征图目标信息的占比和重要程度。4.根据权利要求1所述的夜间机场净空域红外小目标的检测方法，其特征在于，步骤S5中，所述IOU公式计算的目标框得分定义为两个框的交叉和联合之间的比率，IOU的计算方式如下公式（2）所示：（2）其中，A，B分别表示两个框，表示两个框的并集区域，表示两个框的交集区域。5.根据权利要求3所述的夜间机场净空域红外小目标的检测方法，其特征在于，所述相似度目标增强模块首先将特征图H
×
W划分成个2
×
2的小块，并以其中一个小块为
中心往外延申至4
×
4的大块，同样得到个大块，并计算每一个小块与对应大块之间的Wasserstein距离；其Wasserstein距离计算方式如公式（3）所示：（3）近似的将两个矩形块之间的距离定义为：（4）并简化为：（5）其中和分别是和区域中特征点的均值和方差，Wasserstein距离用来衡量两个分布之间的距离，将这个距离作为两个分布的相似度，计算中心块与周围域的距离为计算中心块与周围域的相似度；值越大，表示小块与大块之间的相似度越高，小块是背景的概率越大，值越小，表示小块与大块之间的相似性越低，小块是目标的可能性越大；逐个块计算，最终得到一个的相似度矩阵W_soe；输入到相似度目标增强模块的特征图为H
×
...

【专利技术属性】
技术研发人员：屈景怡，刘闪亮，李云龙，吴仁彪，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：