基于轻量级CNN与多源特征决策的红外图像舰船检测方法技术

本发明专利技术公开了一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。本发明专利技术针对卫星上有限资源条件和海况复杂场景多变的条件下，能够快速进行红外遥感图像舰船的检测。

Infrared image ship detection based on lightweight CNN and multi-source feature decision

【技术实现步骤摘要】
基于轻量级CNN与多源特征决策的红外图像舰船检测方法
本专利技术属于图像处理
，更具体的说是涉及一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法。
技术介绍
随着遥感航天技术的不断增强，利用卫星探测、识别和跟踪目标在军事和民用方面得到了不断的发展。卫星使用红外探测器可远距离、全天时工作，抗干扰能力强，被动侦测目标隐蔽性，云雾穿透能力强等优点，使得红外遥感图像的研究具有不可替代的理论价值。红外图像具有SAR图像和可见光图像不具有的特殊优势。由于大气对红外辐射传输的衰减，卫星所得到的大尺寸红外图像往往背景比较复杂而目标强度较弱，使得如何从海量数据中减少搜索空间并快速、高效、准确检测到目标成为一个亟待解决的难题。同时，也为遥感卫星在应用场景、算法设计、系统配置等方面带来了创新突破的可能。红外遥感成像易受太阳耀斑、云层变化及海洋波浪等天气环境的的干扰，以及舰船目标在不同季节、天时和季候条件下的红外辐射不同，从而在成像上表现出灰度差异。此外，星上存储空间资源有限，检测算法要具备星载实时处理器要求的兼容性、可拓展性、实时性等多重特性也是一项对星上目标检测很大的挑战。一般地，在以往的研究中，舰船目标检测算法分为传统的特征提取与深度学习的特征提取方法。(1)传统的特征提取方法主要是基于灰度和纹理特征的思想。在海况背景相对平静和简单的情况下，这些方法在特定数据集下获得了良好的检测结果。但是由于这些传统方法通常基于低级手工制作的特征，它们在复杂场景中(比如舰船目标对比度低、云雾干扰等)想要取得很高的检测精度会面临很大的挑战。(2)基于深度学习的特征提取在目标检测方面取得了较大的进展。目前在自然图像中，基于深度学习的目标检测技术包括anchor-based和anchor-free两大类。基于anchor-based的主要方法包括一阶段的SSD，DSSD，RetinaNet，RefineDet，YOLOV3等，二阶段技术包括Faster-RCNN，R-FCN，FPN，CascadeR-CNN，SNIP等。基于anchor-free的技术包括CornerNet，CenterNet，CornerNet-Lite，FSAF，FCOS，FoveaBox等。这些深度学习的方法在自然图像的目标检测中能达到较好的检测精度，但是在遥感图像资源有限的星载处理过程中，具有较多参数的模型仍会占用较大的存储空间。另一方面，如果将自然图像中的深度学习方法使用迁移学习技术应用到遥感图像中，当加载预训练模型进行微调时，还需要额外的调参技巧。此外，深度学习训练需要大量的标记样本，这对于样本量有限的红外遥感数据更具有挑战性。因此，如何提供一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。为了实现上述目的，本专利技术采用如下技术方案：一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。优选的，包括如下步骤：(1)对输入的原始遥感图像M×M分成N×N大小的图像块，可分成(M×M)/(N×N)＝L块；对分块后的N×N图像块根据步长S为1，滑动窗口大小为K×K进行像素重排列；则N×N大小的图像块最终形成大小为((N-K)/S+1)×((N-K)/S+1)的图像块Ii(i＝1,2,3,...,L)，该图像块中的每个像素被K×K×1向量代替；(2)将步骤(1)中得到的像素重排的图像块Ii进行基于多元高斯分布策略提取图像中的异常点；假设图像块Ii中的每一行作为一个样本xi，每个样本xi服从高斯分布，并使用它们来估计整体样本块参数平均值μ和方差Σ的值；多元高斯中的异常值M(x)＝(x-u)T∑-1(x-u)，其中M(x)作为异常判断的条件阈值，x代表像素重新排列之后的样本，T代表矩阵的转置；(3)根据步骤(2)中得到的异常点形成的连通区域进行8连通，得到每个连通域面积的最大外接矩形的位置，在原图中找到这些目标候选区的位置，初步得到目标候选区集合S1；(4)根据连通域面积大小，长宽约束，对上述步骤(3)得到的目标候选区集合S1初步排除虚警；进一步缩小目标搜索区域，得到舰船目标候选区集合S2；(5)由于全色分辨率较高，而红外分辨率较低，所以对全色舰船正样本进行预处理；进行退化操作，使全色样本图像中目标样本纹理不清晰；(6)将上述步骤(5)中得到的退化后的图像进行灰度级调整；(7)将上述步骤(6)处理得到的可见光全色遥感图像中的舰船来辅助数据量有限的红外舰船样本集，并进行多种策略的数据增强，得到来源于不同数据源的融合数据集，以便更好的学习舰船特征；(8)将基于傅里叶变换的全局频谱特征对上述步骤(7)得到的融合数据集进行训练，得到模型M1，并对S2进行模型验证，得到目标候选切片集合S3；(9)设计轻量级卷积神经网络结构，在保证分类精度的同时，对卷积核大小和网络层数进行简化设计；(10)将基于轻量级卷积神经网络提取的局部特征对对上述步骤(7)得到的MDS进行训练，得到模型M2，并对S3进行模型验证，以逐步排除虚警，得到最终的目标确认切片集合S4；其中，S1>S2>S3>S4。优选的，所述步骤(2)中，利用公式(2)、(3)和(4)对分块后的图像进行多元高斯分布策略来提取目标候选区：其中，x代表像素重新排列之后的样本，m是样本数量；u是样本特征平均值，Σ是所有样本减去平均值u，然后将其平方并相加得到的方差。优选的，所述步骤(6)中，通过公式(6)实现全色图像样本数据的退化处理：g(u,v)＝H[f(u,v)]+n(u,v)(6)其中，(u,v)代表原始二维图像中的像素坐标位置，f(u,v)代表原始图像，H是对原始图像进行的退化操作，n(u,v)代表对原始图像施加的退化噪声。优选的，所述步骤(7)中，通过公式(7)和(8)实现全色图像样本数据的灰度级的调整：其中，u＝1,2,3,...,m；v＝1,2,3,...,m，f(u,v)是原始的切片图像，经过灰度级变换后为t(u,v)；fa表示原始图像的灰度分布范围的最小值，fb表示原始图像的灰度分布范围的最大值，[fa,fb]为原始图像的灰度分布范围区间；ta表示变换后的图像灰度分布区间的最小值，tb表示变换后的图像灰度分布区间的最大值，[ta,tb]为灰度变换后的图像灰度分布本文档来自技高网...

【技术保护点】
1.一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。/n

【技术特征摘要】
1.一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。


2.根据权利要求1所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，包括如下步骤：
(1)对输入的原始遥感图像M×M分成N×N大小的图像块，可分成(M×M)/(N×N)＝L块；对分块后的N×N图像块根据步长S为1，滑动窗口大小为K×K进行像素重排列；则N×N大小的图像块最终形成大小为((N-K)/S+1)×((N-K)/S+1)的图像块Ii(i＝1,2,3,...,L)，该图像块中的每个像素被K×K×1向量代替；
(2)将步骤(1)中得到的像素重排的图像块Ii进行基于多元高斯分布策略提取图像中的异常点；假设图像块Ii中的每一行作为一个样本xi，每个样本xi服从高斯分布，并使用它们来估计整体样本块参数平均值μ和方差Σ的值；多元高斯中的异常值M(x)＝(x-u)T∑-1(x-u)，其中M(x)作为异常判断的条件阈值，x代表像素重新排列之后的样本；T代表矩阵的转置；
(3)根据步骤(2)中得到的异常点形成的连通区域进行8连通，得到每个连通域面积的最大外接矩形的位置，在原图中找到这些目标候选区的位置，初步得到目标候选区集合S1；
(4)根据连通域面积大小，长宽约束，对上述步骤(3)得到的目标候选区集合S1初步排除虚警；进一步缩小目标搜索区域，得到舰船目标候选区集合S2；
(5)由于全色分辨率较高，而红外分辨率较低，所以对全色舰船正样本进行预处理；进行退化操作，使全色样本图像中目标样本纹理不清晰；
(6)将上述步骤(5)中得到的退化后的图像进行灰度级调整；
(7)将上述步骤(6)处理得到的可见光全色遥感图像中的舰船来辅助数据量有限的红外舰船样本集，并进行多种策略的数据增强，得到来源于不同数据源的融合数据集，以便更好的学习舰船特征；
(8)将基于傅里叶变换的全局频谱特征对上述步骤(7)得到的融合数据集进行训练，得到模型M1，并对S2进行模型验证，得到目标候选切片集合S3；
(9)设计轻量级卷积神经网络结构，在保证分类精度的同时，对卷积核大小和网络层数进行简化设计；
(10)将基于轻量级卷积神经网络提取的局部特征对对上述步骤(7)得到的MDS进行训练，得到模型M2，并对S3进行模型验证，以逐步排除虚警，得到最终的目标确认切片集合S4；其中，S1>S2>S3...

【专利技术属性】
技术研发人员：王楠，李波，王越，韦星星，王永华，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11