一种复杂背景下的红外小型无人机目标检测与跟踪方法技术

本发明专利技术属于红外图像处理领域，涉及一种复杂背景下的红外小型无人机目标检测与跟踪方法。该方法包括步骤：(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。本发明专利技术采用基于批量正则化和随机丢弃的残差网络进行特征提取，提高了训练效率和模型鲁棒性。本发明专利技术充分结合上下文特征和语义特征，使用具有细粒度的多层融合特征图进行多尺度判别，有效提高了对于小目标的检测精度。

A Target Detection and Tracking Method for Infrared Mini-UAV in Complex Background

The invention belongs to the field of infrared image processing, and relates to an infrared small UAV target detection and tracking method under complex background. The method includes steps: (S1) acquiring training samples and training depth convolution neural network as UAV target detection network; (S2) real-time acquisition of target images to be detected, UAV target detection network in input step (S1), output of UAV target detection results; (S3) fast tracking method using nuclear correlation filtering, and (S2) transmission. The target of the UAV is tracked. The method adopts a residual network based on batch regularization and random discarding for feature extraction, which improves training efficiency and model robustness. The method fully combines context features and semantic features, uses multi-level fusion feature map with fine granularity to discriminate multi-scale, and effectively improves the detection accuracy of small targets.

【技术实现步骤摘要】
一种复杂背景下的红外小型无人机目标检测与跟踪方法
本专利技术属于机器视觉、安防监控和红外图像处理领域，涉及深度学习模型的设计与训练，实现了一种复杂背景下的红外小型无人机目标检测与跟踪方法。
技术介绍
随着世界各国无人机生产制造技术的不断提升以及无人机使用门槛的逐步降低，使得民用小型无人机的规模数量以及使用频率都大大增加，由于其造价低廉，且行业内缺乏有效的探测和反制措施，使得无人机“黑飞”问题日益严重。而且此类小型无人机具有挂载爆炸等危险物的能力，近年来世界各地多次发生的无人机非法入侵事件，不仅对公民的个人隐私与生命财产安全造成了严重危害，而且对军事基地、大型集会现场、核电站、政府机要部门驻地等敏感区域的安防造成了极大威胁。此类低空慢速目标具有较强的突发性和灵活性，能够在复杂的城市楼群环境中穿行和悬停，这对重点地区和设施的固定区域监控和安防提出了新的要求。因此对无人机目标的探测和管理至关重要，而能否实现在复杂背景下快速有效的无人机目标实时检测则是解决问题的基础和关键。红外成像技术具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点，广泛应用于军事侦察、监视和制导等方面，相关研究表明使用红外成像技术进行探测监控是稳定有效的技术路径。随着卷积神经网络和深度学习技术不断完善，尤其是在复杂背景下目标检测和识别领域，积累了大量文献和技术经验。得益于其强大的特征提取和学习能力，深度卷积神经网络能够对复杂的图像进行特征抽取和对目标进行层次化的特征表示，基于目标的结构不变性，能够对形变目标、遮挡目标、模糊目标、多尺度目标以及复杂背景下的目标有着良好的检测能力。如何有效设计深度网络提取红外图像特征，如何利用提取的多尺度特征实现提高小型无人机目标的检测精确度以及如何提高整个算法框架的运行速度是实现红外小型无人目标实时检测的关键。
技术实现思路
为解决红外图像的特征提取以及提高红外小型无人机目标检测准确性和实时性的技术问题，本专利技术利用基于多尺度特征图融合和滑动候选窗的深度卷积神经网络技术提出了具体技术方案，具体内容如下。一种复杂背景下的红外小型无人机目标检测与跟踪方法，包括以下步骤：(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。进一步地，所述步骤(S1)的具体过程为：(S11)采集红外图像数据集，对数据集中的无人机目标进行位置和类别的人工标注，将人工标注后的红外图像作为训练样本；(S12)利用深度卷积神经网络提取红外图像的多尺度特征图；(S13)对多尺度特征图进行采样和加权融合，得到融合特征图；(S14)设置滑动候选框作为感兴趣区域，遍历融合特征图，将每个滑动候选框包含的区域输入全连接网络，全连接网络输出得到五维的特征向量，所述五维的特征向量包括该区域内存在目标的概率、；(S15)根据中心点横坐标偏差值、中心点纵坐标偏差值、长边偏差值和短边偏差值修正候选框位置，得到目标位置包围框，并对所有目标位置包围框进行非最大值抑制处理，输出置信度高于预定门限值的目标置信度与包围框结果；(S16)计算损失函数值，所述损失函数值为分类误差值与定位误差值之和；计算相邻十次的损失函数值之和，若相邻十次损失函数值的和小于设定的阈值，则结束网络训练，否则，返回步骤(S11)继续训练无人机目标检测网络。进一步地，所述步骤(S12)利用深度卷积神经网络提取红外图像的多尺度特征图具体为：(S121)构造基于批量正则化和随机丢弃的残差层：(S122)通过堆叠残差层，搭建深度残差网络；(S123)将样本图像输入上述深度残差网络进行特征提取，提取最后三层特征图作为输出结果。为更好的理解本专利技术技术方案，下面对相关原理进行简要说明。基于批量正则化和随机丢弃的残差模块：残差模块属于特征提取网络的基本结构单元，通过在残差块的卷积层中使用随机丢弃(dropout)操作进行部分参数的“丢弃”，进一步限制网络的拟合程度，目的是在训练中通过对部分参数的“冻结”，只更新局部参数来防止过拟合，来实现对于特征提取优化。因此，即可通过上述残差块和卷积层的组合来构建足够“深”的特征提取网络。因为深层神经网络在做非线性变换前的激活输入值随着网络深度加深，其分布逐渐发生偏移，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近，所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，本专利技术通过批量正则化手段，把每层神经网络任意神经元输入值的分布调整到均值为0、方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，尽量避免梯度消失问题产生。多尺度特征图融合算法：在深度卷积神经网络中，较浅的卷积层感知域较小，可以学习到一些局部区域的特征和上下文特征；而较深的卷积层具有较大的感知域，能够学习到更加抽象的语义特征。底层抽象特征对物体的大小、位置和方向等敏感性较低，不利于对于小目标的检测：若输入图像的尺寸为512*512，经过多层的降采样后特征图的尺寸为16*16，长度和宽度小于32的目标被压缩至一个像素点。因此在小型无人机目标检测中，仅用高层特征进行检测会使得更小成像面积的目标的空间位置预测很不精确。本专利技术提取深度网络中三种不同分辨率的特征图(另外，实施例中2种或者多于3种不同分辨率的特征图均可以实现)，对小尺寸的特征图进行双线性插值的上采样操作，而后与大尺寸的特征图进行加权融合，最后使用具有不同细粒度的融合特征图进行目标检测，提高检测算法对小目标的敏感程度。采用本专利技术的有益效果为：本专利技术采用基于批量正则化和随机丢弃的残差网络进行特征提取，提高了训练效率和模型鲁棒性。检测阶段用多尺度特征图融合的方法，充分结合上下文特征和语义特征，使用具有细粒度的多层融合特征图进行多尺度判别，有效提高了对于小目标的检测精度。最后通过结合基于相关滤波的跟踪算法进行算法融合提高检测系统的整体速度，最终实现了红外无人机目标的快速精确检测与跟踪。通过对红外探测器录制的监控视频进行测试，结果表明，该算法能够有效实现对于红外小型无人机目标的检测，具有较高的准确度和实时处理速度。附图说明图1为本专利技术方法的流程图；图2为本专利技术中目标实时检测网络步骤流程图；图3为实施例中训练样本人工标注结果图(只示出了部分样本)；图4为基于随机丢弃和批量正则化的残差模块示意图；图5为本专利技术中目标检测网络结构示意图；图6为基于滑动窗的候选框预测模块示意图；图7为本专利技术中检测与跟踪系统流程图；图8为在山地背景下，本专利技术方法的检测结果与跟踪结果图；图9为在建筑物背景下，本专利技术方法的检测结果与跟踪结果图；具体实施方式下面结合附图和实施例对本专利技术作进一步说明。如图1、图2为本专利技术一种复杂背景下的红外小型无人机目标检测与跟踪方法的流程图。下面结合实施过程对各步骤进行说明。(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S11)采集红外图像数据集，使用红外长波、中波镜头广泛录像获取小型无人机目标图像。为了满足算法的可靠性和泛化能力，应尽可能的增加实本文档来自技高网...

【技术保护点】
1.一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于包括以下步骤：(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。

【技术特征摘要】
1.一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于包括以下步骤：(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。2.如权利要求1所述的一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于所述步骤(S1)的具体过程为：(S11)采集红外图像数据集，对数据集中的无人机目标进行位置和类别的人工标注，将人工标注后的红外图像作为训练样本；(S12)利用深度卷积神经网络提取红外图像的多尺度特征图；(S13)对多尺度特征图进行采样和加权融合，得到融合特征图；(S14)设置滑动候选框作为感兴趣区域，遍历融合特征图，将每个滑动候选框包含的区域输入全连接网络，输出五维的特征向量，所述五维...

【专利技术属性】
技术研发人员：张焱，张宇，石志广，杨卫平，胡谋法，张路平，张景华，刘甲磊，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43