基于卷积神经网络的红外弱小目标检测跟踪方法技术

本发明专利技术公开了一种基于卷积神经网络的红外弱小目标检测跟踪方法，属于图像目标检测及跟踪领域。使用亮度特征估计目标中心与邻域像素的欧氏距离的计算方法，从而突出真实目标，实现红外弱小目标的快速检测。基于检测到的目标位置，采用全卷积非对称孪生神经网络DeepCF，对目标进行持续快速跟踪。根据设定的跟踪置信度参数T，判断目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。通过本发明专利技术可以实现快速准确的目标检测与跟踪。

Detection and tracking method of infrared dim and small target based on convolution neural network

【技术实现步骤摘要】
基于卷积神经网络的红外弱小目标检测跟踪方法
本专利技术属于图像目标检测及跟踪领域，更具体地，涉及一种基于卷积神经网络的红外弱小目标检测跟踪方法。
技术介绍
红外目标检测及跟踪在视频监控、态势感知、自主车辆导航、军事作战及航天遥感等有广泛的应用，是与许多现实应用相关的重要问题。而目红外成像相比较可见光成像具有分辨率低、轮廓模糊及特征不明显等特点。同时在目标运动过程中由于部分遮挡、快速和突然的运动、照明变化以及视点和姿态的变化等各种干扰因素，导致目标检测与跟踪仍然是一个具有挑战性的问题。特别是大多红外图像应用场景都是复杂背景，距离远时，目标大多为点状弱小目标，易淹没在背景中而无法有效检测与跟踪。现有的对红外目标的检测与跟踪大多基于传统图像处理的方法，首先对背景噪声进行抑制，再使用阈值对输入图像进行分割提取准目标，接着使用诸如形态学滤波等手段进行精细检测，确定跟踪门。采用光流法、相关滤波、质心法及卷积神经网络等方法或其改进方法对目标进行跟踪。但是阈值法对场景以及环境变换敏感，使得检测能力在复杂场景下或背景剧烈变化下大大降低。常见的卷积神经网络方法网络层数多，且大多存在池化层，对弱小目标的跟踪效果不佳。因此，解决红外弱小目标的快速准确检测以及稳定的跟踪显得尤为重要。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提出了一种基于卷积神经网络的红外弱小目标检测跟踪方法，由此解决现有在红外弱小目标的检测及跟踪上存在一定局限性的技术问题。为实现上述目的，本专利技术提供了一种基于卷积神经网络的红外弱小目标检测跟踪方法，包括：(1)基于目标的亮度特征提取红外图像中的目标；(2)采用全卷积非对称孪生网络的目标网络跟踪器，提取所述目标的不同层次特征，并结合相关滤波作为判据，对所述目标进行跟踪；(3)利用预设的跟踪置信度参数判断所述目标是否被遮挡或丢失；(4)若所述目标被遮挡或丢失，则更新运动轨迹方程，预测所述目标的位置，并执行步骤(3)，直至所述目标未被遮挡或未丢失。优选地，步骤(1)包括：(1.1)使用高斯滤波对红外图像进行线性加权得到高斯滤波后图像，求得所述高斯滤波后图像的均值；(1.2)将所述高斯滤波后图像减去所述均值后，求得与所述红外图像之间的欧式距离，得到显著图；(1.3)求取所述显著图中的最大值，用所述红外图像中的每个像素点除以所述最大值，以凸显目标；(1.4)使用最大类间方差法求得动态阈值，以所述动态阈值对所述显著图进行阈值分割，并对分割后的图像做图像膨胀的开运算，以使分散的块状区域连通，得到所述目标。优选地，由t＝w1*(μ-μ1)2+w2*(μ-μ2)2确定所述动态阈值，其中，w1+w2＝1，w1表示所述显著图中像素值大于预设值的比重，w2表示所述显著图中像素值小于所述预设值的比重，μ1表示所述显著图中像素值大于预设值的所有像素的均值，μ2表示所述显著图中像素值小于所述预设值的所有像素的均值。优选地，所述全卷积非对称孪生网络的目标网络跟踪器为将对称的全卷积孪生网络中的其中一个分支的最后一层增加了可微分层，构成了全卷积非对称孪生网络结构，其中，所述可微分层用于实现相关滤波及裁剪，所述对称的全卷积孪生网络中的两个卷积神经网络结构均由卷积层、归一化层和非线性激活层构成。优选地，步骤(2)包括：(2.1)选择相邻两帧红外图像作为所述目标网络跟踪器的输入，其中，第一帧图像为模板图片，以所述目标在所述模板图片中所处的位置范围作为目标区域，下一帧图像为搜索图片，以所述目标在所述搜索图片中所处的位置范围扩大若干倍作为搜索区域；(2.2)由所述目标网络跟踪器中非对称的两个卷积神经网络分别对所述目标区域及所述搜索区域进行处理，得到与所述目标区域对应的第一特征图及与所述搜索区域对应的第二特征图；(2.3)将所述第一特征图与所述第二特征图进行互相关，将互相关后的最大特征值作为所述目标的位置，以对所述目标进行跟踪。优选地，所述可微分层的相关滤波器模板为：其中，wl为第l个通道对应的权重，D表示图像通道数，表示第l个通道中做互相关的图像块，y表示标准高斯函数的响应，λ为正则化系数，ε表示相关滤波结果。优选地，所述预设的跟踪置信度参数的确定方式为：计算跟踪矩形框中当前帧图像横坐标方向的梯度和纵坐标方向的梯度，由所述横坐标方向的梯度和纵坐标方向的梯度计算梯度方向值和方向；将所述当前帧图像依据分辨率大小划分为多个元胞，对每个元胞中的每个像素的梯度按照方向统计直方图，将梯度方向值相加，得到该元胞的特征向量，将所有元胞的特征向量串联并归一化，构成所述当前帧图像的目标特征向量；每间隔若干帧为一个时间片段，将所述时间片段内所有图像的目标特征向量组成一个一维向量，计算每个时间片段内该一维向量的峭度以及方差，其中，峭度反映了每帧选中框内图像的特征向量组成的向量顶端尖峭或扁平程度的指标，方差反映了被遮挡后，跟踪门中图像的特征向量分布与序列帧图像中目标的特征向量的偏离程度；由所述峭度以及方差确定所述预设的跟踪置信度参数。优选地，由确定所述预设的跟踪置信度参数，其中，N表示时间片段的个数，Ki表示第i个时间片段的峭度，Di表示第i个时间片段的方差。优选地，步骤(4)包括：(4.1)在某一时刻出现遮挡时，基于前两个时间片段的运动方向矢量，预测当前时间片段内所述目标的运动方向矢量；(4.2)将预测的所述目标的运动方向矢量映射到当前帧图像中，以确定所述目标的坐标，并利用所述预设的跟踪置信度参数判断所述目标是否被遮挡；(4.3)若所述目标被遮挡，则返回执行步骤(4.1)，并间隔若干个时间片段后更新权值和偏置，若所述目标未被遮挡，则得到跟踪结果，输出所述目标的坐标。优选地，预测的所述目标的坐标为：Pt+1＝WT·P+b，其中，Pt+1表示目标在当前帧图像中的坐标，表示时间片段内t帧图像中每帧中的目标坐标，和为线性方程的系数，W为权值，b为偏置。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术设计了一种快速准确的红外弱小目标检测方法，该方法可以有效突出真实目标的轮廓边缘，对周边噪声以及背景有很好的抑制，计算量小。(2)提出了全卷积非对称孪生网络DeepCF用于目标跟踪。采用了卷积孪生网络方法，提取跟踪目标的不同层次特征，并结合相关滤波作为判据，实现快速准确的跟踪。(3)提出了目标是否丢失或遮挡的检测机制即跟踪置信度参数T，在跟踪过程中不断评估跟踪效果来判断目标是否被遮挡或丢失。当目标被遮挡或丢失后，通过抗遮挡算法，不断更新运动轨迹方程，预测目标位置。附图说明图1是本专利技术实施例提供的一种基于卷积神经网络的红外弱小目标检测跟踪方法的流程示意图；图2是本专利技术实施例提供的一种DeepCF网络结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的红外弱小目标检测跟踪方法，其特征在于，包括：包括：/n(1)基于目标的亮度特征提取红外图像中的目标；/n(2)采用全卷积非对称孪生网络的目标网络跟踪器，提取所述目标的不同层次特征，并结合相关滤波作为判据，对所述目标进行跟踪；/n(3)利用预设的跟踪置信度参数判断所述目标是否被遮挡或丢失；/n(4)若所述目标被遮挡或丢失，则更新运动轨迹方程，预测所述目标的位置，并执行步骤(3)，直至所述目标未被遮挡或未丢失。/n

【技术特征摘要】
1.一种基于卷积神经网络的红外弱小目标检测跟踪方法，其特征在于，包括：包括：
(1)基于目标的亮度特征提取红外图像中的目标；
(2)采用全卷积非对称孪生网络的目标网络跟踪器，提取所述目标的不同层次特征，并结合相关滤波作为判据，对所述目标进行跟踪；
(3)利用预设的跟踪置信度参数判断所述目标是否被遮挡或丢失；
(4)若所述目标被遮挡或丢失，则更新运动轨迹方程，预测所述目标的位置，并执行步骤(3)，直至所述目标未被遮挡或未丢失。


2.根据权利要求1所述的方法，其特征在于，步骤(1)包括：
(1.1)使用高斯滤波对红外图像进行线性加权得到高斯滤波后图像，求得所述高斯滤波后图像的均值；
(1.2)将所述高斯滤波后图像减去所述均值后，求得与所述红外图像之间的欧式距离，得到显著图；
(1.3)求取所述显著图中的最大值，用所述红外图像中的每个像素点除以所述最大值，以凸显目标；
(1.4)使用最大类间方差法求得动态阈值，以所述动态阈值对所述显著图进行阈值分割，并对分割后的图像做图像膨胀的开运算，以使分散的块状区域连通，得到所述目标。


3.根据权利要求2所述的方法，其特征在于，由t＝w1*(μ-μ1)2+w2*(μ-μ2)2确定所述动态阈值，其中，w1+w2＝1，w1表示所述显著图中像素值大于预设值的比重，w2表示所述显著图中像素值小于所述预设值的比重，μ1表示所述显著图中像素值大于预设值的所有像素的均值，μ2表示所述显著图中像素值小于所述预设值的所有像素的均值。


4.根据权利要求1至3任意一项所述的方法，其特征在于，所述全卷积非对称孪生网络的目标网络跟踪器为将对称的全卷积孪生网络中的其中一个分支的最后一层增加了可微分层，构成了全卷积非对称孪生网络结构，其中，所述可微分层用于实现相关滤波及裁剪，所述对称的全卷积孪生网络中的两个卷积神经网络结构均由卷积层、归一化层和非线性激活层构成。


5.根据权利要求4所述的方法，其特征在于，步骤(2)包括：
(2.1)选择相邻两帧红外图像作为所述目标网络跟踪器的输入，其中，第一帧图像为模板图片，以所述目标在所述模板图片中所处的位置范围作为目标区域，下一帧图像为搜索图片，以所述目标在所述搜索图片中所处的位置范围扩大若干倍作为搜索区域；
(2.2)由所述目标网络跟踪器中非对称的两个卷积神经网络分别对所述目标区域及所述搜索区域进行处理，得到与所述目标区域对...

【专利技术属性】
技术研发人员：范强，张智杰，雷波，谭海，王洪，
申请(专利权)人：华中光电技术研究所中国船舶重工集团有限公司第七一七研究所，
类型：发明
国别省市：湖北;42