The invention discloses an adaptive anti-occlusion infrared target tracking method based on multi-layer depth feature fusion. Firstly, a series of multi-layer depth feature maps with the same size and different levels are obtained; then, the multi-layer depth feature maps are converted from time domain to frequency domain according to correlation filtering, and filtered according to fast Fourier transform. Wave training and response graph calculation, and then according to the layer feature weighted fusion for multi-layer depth feature map merging dimensionality reduction processing, build different levels of feature response graph and get the maximum correlation response value that is the target estimation position; finally, extract the dense feature of the target, according to the correlation filter to obtain the maximum feature The response value obtains the response confidence of the target center position estimated by the depth convolution feature; when the response confidence of the target center position is less than the re-detection threshold T0, the target estimated position is evaluated by on-line target re-detection and the target position is adaptively updated according to the evaluation result. .
【技术实现步骤摘要】
多层深度特征融合的自适应抗遮挡红外目标跟踪方法
本专利技术属于视频处理
，具体涉及一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法。
技术介绍
视觉跟踪是计算机视觉领域研究的热点之一，其广泛应用于视频监控、智能交通等民用领域。近年来，随着计算机视觉领域的快速发展，跟踪算法的综合性能得到了显著提升。同时，由于红外成像系统利用目标产生的能量进行探测，通过获取目标的能量信息对目标进行识别，因此具有被动探测和全天时探测的能力而被广泛应用于目标感知的设备中；其中，对感兴趣的目标进行跟踪是红外探测系统的主要任务，因此，对红外目标的跟踪是当今一个研究热点问题。目前跟踪算法可被分为经典的目标跟踪方法和基于深度学习的目标跟踪方法，其中经典的目标跟踪方法可以被分为产生式和判别式两大类别，基于深度学习的目标跟踪方法根据训练策略的不同又可以被分为：(1)辅助图片数据预训练模型，在线跟踪时微调；(2)预训练的CNN分类网络提取深层特征。经典跟踪方法中的产生式方法运用生成模型描述目标表观特征，之后通过搜索候选目标来最小化重构误差。比较有代表性的算法有稀疏编码，在线密度估计和主成分分析...
【技术保护点】
1.一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，该方法为：首先，通过VGG‑Net获取视频图像目标候选区域的多层深度特征图，再对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心...
【技术特征摘要】
1.一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，该方法为：首先，通过VGG-Net获取视频图像目标候选区域的多层深度特征图，再对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估并且根据评估结果对目标的位置进行自适应更新。2.根据权利要求1所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述通过VGG-Net获取视频图像目标候选区域的多层深度特征图，具体为：以VGG-Net-19深层卷积网络为核心网络，直接将多维图像作为网络输入；其中的“19”表示网络中需要学习的权重的层数；从Conv1到Conv5每组卷积层分别包含了2、2、4、4、4层卷积，所有卷积层均使用相同的3×3大小卷积核，通过在ImageNet数据集上进行训练，VGG-Net-19中的每一个卷积层都获得视频图像目标候选区域的多层深度特征图。3.根据权利要求1或2所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图，具体为：每个卷积层的输出都是一组多通道的特征图M，N，D分别表示特征图的宽、高和通道数；根据双线性插值对不同层级的特征图进行上采样操作，使得所有卷积层的特征图都有相同尺寸。4.根据权利要求3所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，对特征图f进行上采样，位置i处特征向量表示为公式(1)：其中，f为特征图，x为上采样后的特征图，αik为差值权重，其值与位置i和k邻域特征向量有关。5.根据权利要求4所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，具体为：给定跟踪目标上采样后的多维特征输入x，基于相关滤波的跟踪算法通过学习训练数据得到一个最优相关滤波器w*，根据该滤波器寻找候选区域中的最大相关响应值对目标进行位置估计。6.根据权利要求5所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，进一步，具体为：在第t帧图像中，目标的多维卷积特征输入为将x在垂直及水平方向上的所有循环移位均做为对相关滤波器训练的样本，每个样本可表示为xm,n，(m,n)∈{0,1,...M-1}×{0,1,...N-1}；同时给定每个样本的期望输出y(m,n)，通过对输出误差进行最小化处理，能够得到在第t帧图像中的最优相关滤波器，见公式(2)：其中，λ为正则化参数且λ不小于零，y(m,n)为峰值在中心位置的二维高斯核函数，其表达式可由公式(3)表示：其中，(m×n)∈{0,1,...,M-1}×{0,1,...,N-1},σ为高斯核的宽度；根据帕萨瓦尔定理可以得到上式的频域表示为公式(4)：其中，X，Y和W分别为x，y和w的离散傅里叶变换，为X的复数共轭，⊙为元素的点乘运算；求得每个特征通道d上的最优滤波可用公式(5)表示：当给出第t+1帧中目标候选区域的多维卷积特征图z，其离散傅里叶变换为Z，能够得到第t帧的相关响应图H，可用公式(6)表示：其中，F-1表示逆离散傅里叶变换操作，在H中寻找最大响应值即为第t+1帧中目标的估计位置；在每个像素上乘一个升余弦窗使接近边缘的像素值接近于零，可用公式(7)表示：7.根据权利要求6所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置，具体为：通过V...
【专利技术属性】
技术研发人员：秦翰林，王婉婷，王春妹，延翔，程文雄，彭昕，胡壮壮，周慧鑫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。