一种多层卷积特征自适应融合的运动目标跟踪方法技术

本发明专利技术涉及一种多层卷积特征自适应融合的运动目标跟踪方法，属于计算机视觉领域。本发明专利技术首先在第一帧图像中，初始化目标区域，利用已训练好的深度网络框架VGG‑19提取目标图像块的第一和第五层卷积特征，通过相关滤波器学习训练得到两个模板；其次在下一帧，以上一帧目标的预测位置和尺度大小提取检测样本特征，并和上一帧的两个模板进行卷积，即得到两层特征的响应图；然后对所得到的响应图依据APCE测量方法计算权重，自适应加权融合响应图来确定目标的最终位置；确定位置后通过提取目标多个尺度的方向梯度直方图特征估计目标最佳尺度。本发明专利技术更准确的定位目标，提高了跟踪精度。

A Moving Target Tracking Method Based on Adaptive Fusion of Multilayer Convolutional Features

The invention relates to a multi-layer convolution feature adaptive fusion method for moving object tracking, which belongs to the field of computer vision. The method first initializes the target area in the first frame image, extracts the first and fifth layer convolution features of the target image block by using the trained depth network framework VGG_19, and obtains two templates by learning and training the correlation filter; secondly, in the next frame, extracts the detection sample features from the predicted position and scale of the target in the previous frame, and two templates in the previous frame. Convolution is used to obtain the response map of two-level features; then the weights of the response map are calculated according to APCE measurement method, and the final position of the target is determined by adaptive weighting fusion response map; after determining the position, the optimal scale of the target is estimated by extracting the directional gradient histogram features of multiple scales of the target. The invention locates the target more accurately and improves the tracking accuracy.

【技术实现步骤摘要】
一种多层卷积特征自适应融合的运动目标跟踪方法
本专利技术公开了一种多层卷积特征自适应融合的运动目标跟踪方法，属于计算机视觉领域。
技术介绍
运动目标跟踪是计算机视觉领域的一个重要研究方向，它在军事和民用方面都有着十分广泛的应用，例如战场监视、智能交通系统、人机交互等。自从2012年AlexNet在图像分类工作中取得巨大成功以来，一系列CNN(ConvolutionalNeuralNetwork,CNN)框架不断刷新纪录。相较与AlexNet,VGGNet最大的改进就是用多个3×3(3×3是能够捕获上下左右和中心概念的最小尺寸)的卷积核代替一个大尺寸卷积核，增强了网络泛化能力，Top-5错误率减少到7.3％。在VOT2017挑战赛上有人将VGGNet换成网络更深的GoogLeNet和ResNet，但是性能方面并没有得到很大提升；在计算机视觉竞赛ILSVRC上，和以上几种网络相比，VGGNet在定位方面获得第一名，所以可以采用VGGNet网络提取特征。自Bolme等人提出误差最小平方和算法以来，相关滤波跟踪算法层出不穷，一些基于手工特征(HOG、ColorName)的相关滤波算法在目标快速跟踪方面表现出优异的性能，但是对于目标发生的剧烈形变、遮挡或出现相似物体干扰等各种复杂的情况，缺少目标语义信息的手工特征不能达到很好的鲁棒性。在相关滤波算法中，特征是决定跟踪效果的重要因素之一，特征的进一步发展就是卷积特征。一些跟踪算法利用VGGNet网络提取卷积特征以全卷积层的输出作为特征提取层，全卷积层与语义信息密切相关,对于高级视觉识别问题是有效的，但是视觉跟踪的目的是精确定位目标，不是推断它们的语义类，仅使用全卷积层的特征无法精确定位目标。
技术实现思路
本专利技术要解决的技术问题是提供一种多层卷积特征自适应融合的运动目标跟踪方法，用以解决传统手工特征如梯度方向直方图特征(HistogramofOrientedGradient，HOG)、颜色特征(ColorName，CN)无法全面的表达目标,这些特征难以捕捉目标的语义信息，对形变、旋转等复杂外观变化没有良好的鲁棒性，在不同场景下跟踪性能差异较大的缺陷，并且能够根据可靠性判断依据APCE计算每层卷积层的权重，提高了跟踪精度。本专利技术采用的技术方案是：一种多层卷积特征自适应融合的运动目标跟踪方法，方法将目标跟踪中采用传统手工特征的方法改进为卷积特征，并对目标尺度进行估计。首先在第一帧图像中，初始化目标区域，利用已训练好的深度网络框架VGG-19提取目标区域的第一和第五层卷积特征，通过相关滤波器学习训练得到两个模板；其次在下一帧，以上一帧目标的预测位置和尺度大小提取检测样本特征，并和上一帧的两个模板进行卷积，即得到两层特征的响应图；然后对所得到的响应图(responsemap)依据APCE(AveragePeaktoCorrelationEnergy)测量方法计算权重，自适应加权融合响应图来确定目标的最终位置；确定位置后通过提取目标多个尺度的方向HOG特征估计目标最佳尺度。所述方法的具体步骤如下：Step1、初始化目标并在其所在的图像中选取目标区域；具体为以目标所在位置为中心，采集一个尺寸为目标2倍大小的图像块作为目标区域。Step2、利用已训练好的VGG-19网络提取目标区域的第1层和第5层卷积特征作为训练样本，用训练样本训练得到对应的位置滤波器模板；使用在ImageNet上训练得到的VGG-19网络提取目标区域的第1层和第5层卷积特征，设p表示卷积特征图，f表示采样特征图，采样特征图f中第i个位置的特征向量为fi：其中aij为权重，pj表示卷积特征图中第j个位置的特征向量，通过建立最小化损失函数训练最优滤波器:其中g表示滤波器h的期望输出，λ为正则化系数，l表示维度，l∈{1,…,d}，fl表示在第l维的采样特征，*表示循环相关，将上式转换到频域求解得到频域在第l维的滤波器Hl：其中，Hl、G、F分别为hl、g、f的频域描述，分别表示G、F的共轭复数，其中k∈{1,…,d}，Fk表示在第k维的采样特征，是Fk的共轭复数，Al、B分别为滤波器的分子和分母。Step3、在新一帧图像的目标区域中提取两层卷积特征得到两个检测样本，分别计算两个检测样本与前一帧图像的目标区域中训练得到的位置滤波器的相关得分，即得到两层特征的响应图；在新一帧的目标区域提取卷积特征作为检测样本z，计算与步骤2训练得到滤波器的相关得分y，即得到该特征的响应图：表示傅里叶反变换，表示Al的共轭复数，Z是z的频域描述，第1和第5卷积层特征分别得到滤波器响应记为yt,1和yt,2。5、根据权利要求1所述的多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：所述Step4的具体步骤为：对Step3中的图像分别计算第1层和第5层卷积特征响应图的APCE(AveragePeaktoCorrelationEnergy，平均峰值与相关能量)，设图像为第t帧，Fmax,表示响应图y中最高的响应分数，Fmin表示响应图y中最小的响应分数，Fm,n表示响应图y中第m行，第n列的响应分数；mean表示对括号内所有累加数求均值；对每层响应图的APCE归一化[0，1]，计算权重值得到w1、w2；对两层卷积响应进行特征融合得到响应值yt：yt＝w1×yt,1+w2×yt,2计算yt的最大值，得到目标在第t帧的最终位置。Step4、依据APCE测量方法计算两层特征响应图的权重值，加权融合两层特征的响应图，选取最大值作为目标当前位置；Step5、确定位置后，以当前位置为中心，截取图像不同尺度的样本特征，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值为目标当前尺度；确定目标位置后，以目标新位置为中心，截取图像不同尺度的样本特征，以P×R表示当前帧的目标大小，aqP×aqR为尺度提取样本,q表示尺度因子，s表示尺度样本个数，然后提取这些图像的HOG特征训练一个尺度滤波器Hs，用以估计目标尺度，尺度滤波器Hs和位置滤波器H的求得过程相同；在下一帧中，以上述方法截取不同尺度的图像块，组成新的特征，通过步骤Step3中相同的方法和尺度滤波器Hs得到ys的值，ys为两层特征融合得到的响应值，ys中最大值对应的尺度为最终尺度估计的结果。Step6、更新尺度滤波器；对尺度滤波器Hs进行更新的公式为：其中η表示学习率，每一帧图像中尺度滤波器都进行更新，式中Bt,s表示在t帧时尺度滤波器第l维的分子和分母，Bt-1,s为上一帧尺度滤波器的分子分母，表示第t帧时尺度滤波器期望输出的频域描述的共轭复数，表示第t帧时训练尺度滤波器的训练样本第l维的频域描述，表示第t帧时训练尺度滤波器的训练样本第k维的频域描述的共轭复数。Step7、更新位置滤波器；位置滤波器进行更新的公式为：式中Bt表示在第t帧时，位置滤波器h第l维的分子和分母，Bt-1为上一帧位置滤波器的分子分母，表示第t帧位置滤波器h期望输出的频域描述的共轭复数，表示第t帧时训练位置滤波器h的训练样本第l维的频域描述，第t帧时训练位置滤波器的训练样本第k维的频域描述的共轭复数。Step8、重复步骤3至7直到目标跟踪结束。本专利技术的有益效果是：1、使用多层卷积特征自适应融合的运动目标跟踪本文档来自技高网...

【技术保护点】
1.一种多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：包括如下步骤：Step1、初始化目标并在其所在的图像中选取目标区域；Step2、利用已训练好的VGG‑19网络提取目标区域的第1层和第5层卷积特征作为训练样本，用训练样本训练得到对应的位置滤波器模板；Step3、在新一帧图像的目标区域中提取两层卷积特征得到两个检测样本，分别计算两个检测样本与前一帧图像的目标区域中训练得到的位置滤波器的相关得分，即得到两层特征的响应图；Step4、依据APCE测量方法计算两层特征响应图的权重值，加权融合两层特征的响应图，选取最大值作为目标当前位置；Step5、确定位置后，以当前位置为中心，截取图像不同尺度的样本特征，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值为目标当前尺度；Step6、更新尺度滤波器；Step7、更新位置滤波器；Step8、重复步骤3至7直到目标跟踪结束。

【技术特征摘要】
1.一种多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：包括如下步骤：Step1、初始化目标并在其所在的图像中选取目标区域；Step2、利用已训练好的VGG-19网络提取目标区域的第1层和第5层卷积特征作为训练样本，用训练样本训练得到对应的位置滤波器模板；Step3、在新一帧图像的目标区域中提取两层卷积特征得到两个检测样本，分别计算两个检测样本与前一帧图像的目标区域中训练得到的位置滤波器的相关得分，即得到两层特征的响应图；Step4、依据APCE测量方法计算两层特征响应图的权重值，加权融合两层特征的响应图，选取最大值作为目标当前位置；Step5、确定位置后，以当前位置为中心，截取图像不同尺度的样本特征，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值为目标当前尺度；Step6、更新尺度滤波器；Step7、更新位置滤波器；Step8、重复步骤3至7直到目标跟踪结束。2.根据权利要求1所述的多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：所述步骤Step1的具体步骤如下：以目标所在位置为中心，采集一个尺寸为目标2倍大小的图像块作为目标区域。3.根据权利要求1所述的多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：所述步骤Step2具体步骤如下：使用在ImageNet上训练得到的VGG-19网络提取目标区域的第1层和第5层卷积特征，设p表示卷积特征图，f表示采样特征图，采样特征图f中第i个位置的特征向量为fi：其中aij为权重，pj表示卷积特征图中第j个位置的特征向量，通过建立最小化损失函数训练最优滤波器:其中g表示滤波器h的期望输出，λ为正则化系数，l表示维度，l∈{1,…,d}，fl表示在第l维的采样特征，*表示循环相关，将上式转换到频域求解得到频域在第l维的滤波器Hl：其中，Hl、G、F分别为hl、g、f的频域描述，分别表示G、F的共轭复数，其中k∈{1,…,d}，Fk表示在第k维的采样特征，是Fk的共轭复数，Al、B分别为滤波器的分子和分母。4.根据权利要求1所述的多层卷积特征自适应融合的运动目标跟踪方法，其特征在于：所述Step3的具体步骤为：在新一帧的目标区域提取卷积特征作为检测样本z，计算与步骤2训练得到滤波器的相关得分y，即得到该特征的响应图：表示傅里叶反变换，表示Al的共轭复数，Z是z的频域描述，第1和第5卷积层特征分别得到滤...

【专利技术属性】
技术研发人员：尚振宏，王娜，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53