一种结合高低空间频率特征的目标跟踪方法、介质及系统技术方案

本发明专利技术请求保护一种结合高低空间频率特征的目标跟踪方法、介质及系统，包括步骤：S1输入原始视频图像序列，提取真值图和搜索区域图像的高空间频率特征和低空间频率特征；S2将提取的高低频特征进行信息交换；S3利用相关性计算获取目标真值特征和搜索区域特征的相关性图；S4通过区域建议网络得到一组分类特征和一组回归特征，结合分类特征和回归特征进行目标的定位。本发明专利技术结合了高低频特征提取和基于区域建议网络的孪生目标跟踪方法，利用低空间频率特征减少图像中的冗余信息，降低了目标移动过程中产生的冗余信息造成跟踪失败的几率和跟踪框的偏移程度，并且降低了跟踪方法的计算量；将有利于跟踪的精细特征和全局特征进行交换。

A target tracking method, medium and system based on high and low spatial frequency characteristics

【技术实现步骤摘要】
一种结合高低空间频率特征的目标跟踪方法、介质及系统
本专利技术属于计算机视觉
，特别涉及高低空间频率的特征提取的目标跟踪方法。
技术介绍
跟踪是计算机视觉领域的一个基本的任务，在近十年来受到了广泛的关注。它旨在只通过最初帧的目标的位置信息，对后续的目标在一个视频序列中的位置进行定位。跟踪在人机交互，视频标记，自动驾驶等领域具有广泛的应用。目前的跟踪器分为两个分支。其一，是基于相关滤波器的目标跟踪方法。如COT、ECO等方法。相关滤波方法可以进行在线训练和离线的权重更新。结合深度特征后的相关滤波方法能够进一步提升精度。目前，利用深度学习相关滤波方法在OTB数据集上仍然是性能较强的方法之一。另一类跟踪器使用的是较强的深度特征对目标进行定位，并取得了较高的精度。如MDNet、CFNet、SiamFC等方法。一般情况下，这类跟踪器的提取特征的网络部分的权重是不更新的。最近的利用深度特征进行跟踪的方法，都是旨在离线训练一个鲁棒性较强的特征网络参数，再通过在线跟踪的方式获取目标的位置。但是大多数跟踪器均使用AlexNet作为特征网络的提取，在目标的特征表示方面，浅层网络由于参数的限制，其表示能力是不如深层网络的。所以，在特征提取方面，很多跟踪器没有很好地利用深层网络的优势。孪生网络(SiameseNet)方法是目前依靠深度特征进行跟踪的优秀系列方法。但是它没有使用深层次网络对跟踪目提取更加鲁棒的信息。所以，尝试引入ResNet作为特征提取网络代替跟踪方法中的AlexNet网络，使得网络的深度加深，以提高提取特征的丰富性。然而对于跟踪任务来说，提取的特征需要有目标快速变换的细节信息，又需要有目标总体的结构信息。ResNet由于深度较深，最终输出的信息过于丰富，它所提取的最终特征不完全是跟踪任务所需要的，直接替换容易造成跟踪模型的过拟合。目前多种跟踪器已经表明，对于跟踪来说，浅层信息仍然十分重要。如MDNet等方法，使用的特征是通过结合多层特征的方式来增强特征信息，取得了较好的效果。但是，ResNet网络卷积层数较多，如何选取多层特征来增强特征信息是一个难题。为了解决这个问题，将跟踪序列的每一帧图像的特征进行分解。一副自然图像，可以分为一个高空间频率的分量，它用来表示快速变化的细节特征；一个低空间频率的分量，它用描述图像平滑的大体结构。因此，我们对ResNet的卷积部分进行了改进：首先，通过将卷积提取的特征分为高频采样特征和低频采样特征。然后，将每层卷积输出的高频特征和低频特征进行信息交换。通过这种方法将跟踪器的特征提取网络进行优化。虽然跟踪方法众多，但是均有弊端，即使使用深层卷积网络的跟踪方法一节取得了较好的结果，由于深层的ResNet等深层网络会提取过多的细节特征，一方面增加了计算开销，另一方面导致过于细节的特征提取而缺乏整体特征的表示使得深度卷积代替浅层卷积网络效果下降，因此将高低频特征卷积与孪生网络跟踪方法结合起来，优化了卷积提取，并不改变整体特征网络的大体外观结构和功能，在目标跟踪领域具有广泛的应用前景。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种有效基于深度卷积网络特征、并将更深层卷积网络提取特征后跟踪精度下降问题规避的、结合了高低空间频率卷积计算的孪生网络的目标跟踪方法、介质及系统。本专利技术的技术方案如下：一种结合高低空间频率特征的目标跟踪方法，其包括以下步骤：S1、首先输入原始视频图像序列，并根据数据集所提供的第一帧的目标真值图剪切出目标图像真值和搜索区域图像序列，采用高低空间频率卷积对图像序列进行特征提取，得到每层的高频特征分量和低频特征分量，提取的特征作为判断后续跟踪目标的特征；S2、其次，对每层的高频特征分量和低频特征分量进行信息交换，最终输出特征加强后的跟踪序列特征值；S3、再次，根据高低空间频率特征网络提取的目标图像和搜索图像序列特征，利用相关性计算获取目标真值特征和搜索区域特征的相关性图；S4、最后通过区域建议网络进行再处理，得到分类特征和回归特征，将分类特征定位的目标位置通过回归特征参数进行修正，得到所要跟踪的目标位置。进一步的，所述步骤S1中对输入的原始视频图像序列的剪切，是对视频序列第一帧所提出的目标位置进行剪切，以前一帧预测的目标位置2倍区域做搜索区域图像序列进行剪切，这样就可以通过特征提取网络得到所需跟踪目标的特征图和后续跟踪过程中搜索区域的特征图。进一步的，所述步骤S1中的高低空间频率提取特征，是对剪切后的图像的通道特征进行处理的方法，具体包括：首先经过层普通卷积计算，将输入的图像通道扩张为c，c为一般的特征提取网络的卷积操作后产生的特征通道数目，c1为高频卷积处理的通道数，c2为低频卷积处理的通道数，其中，满足c＝c1+c2。即通过对一般卷积网络产生的多通道特征进行分区处理，高频卷积处理方式同一般特征提取相同，低频卷积是对第一层卷积输出进行下采样后，再进行正常卷积操作的方式。进一步的，所述步骤S2中将高低特征进行信息交换，是通过特征提取网络的第一块卷积所得到的特征张量X，将通道总数量c分为c1个通道特征和c2个通道特征，c1个通道特征作为高频卷积的特征分量XH输入，c2个通道特征作为低频卷积的特征分量XL输入，通过卷积计算后，将高频和低频分量的特征输出分解为Y＝{YH，YL}，通过上下采样，统一高低频采样卷积计算输出后的空间分辨率，输出的特征可以表示为：式(1)中，YH→H和YL→L表示高低频卷积计算后，相同空间分辨率的特征信息传递，YH→L和YL→H表示高低频信息交换。进一步的，为了运算新卷积的输出特征张量，设有卷积核W＝{WH→H，WL→H，WL→L，WH→L}，用来负责对输入特征XL和XH进行卷积，因此，用特征计算可以细化为：式(2)中，f(X；W)表示与参数W的卷积，pool(X，2)表示用平均池化作为下采样；a)输出函数f(XH；WH→H)和f(XL；WL→L)为式(1)的YH→H和YL→L的具体计算表示，表示将高频特征和低频特征传递给下一层卷积网络计算；b)通过upsample(f(XL；WL→H)，2)完成高频特征的下采样，将高频信息传递给下一层的低频卷积中。通过f(pool(XH，2)；WH→L)完成低频特征的上采样，将低频信息传递给下一层的高频卷积中。进一步的，所述步骤S3中利用相关性计算获取目标真值特征和搜索区域特征的相关性图，具体包括：使用一个函数fθ(z，x)去比较目标样例图像z和搜索图像x的相似度，通过以下公式输出相关性映射图谱：式(3)中，z表示感兴趣的图像，x表示视频后续帧中的搜索区域，z表示给定目标真值为中心的w×h裁剪，x是目标位置估计结果为中心的更大的裁剪，这两个裁剪输入到相同的卷积网络进行处理，相当于在搜索图像x：上做以模版图像z的穷举搜索。搜索得到的函数fθ(z，x)的响应值越大，所映射的位置为目标的可能性越大。进一步的，所述步骤S4中的区域建议网络是用于监督相关计算后输出的本文档来自技高网...

【技术保护点】
1.一种结合高低空间频率特征的目标跟踪方法，其特征在于，包括以下步骤：/nS1、首先输入原始视频图像序列，并根据原始图像序列所提供的第一帧的目标真值图剪切出目标图像真值和搜索区域图像序列，采用高低空间频率卷积对图像序列进行特征提取，得到每层的高频特征分量和低频特征分量，提取的特征作为判断后续跟踪目标的特征；/nS2、其次，对每层的高频特征分量和低频特征分量进行信息交换，最终输出特征加强后的跟踪序列特征值；/nS3、再次，根据高低空间频率特征网络提取的目标图像和搜索图像序列特征，利用相关性计算获取目标真值特征和搜索区域特征的相关性图；/nS4、最后通过区域建议网络进行再处理，得到分类特征和回归特征，将分类特征定位的目标位置通过回归特征参数进行修正，得到所要跟踪的目标位置。/n

【技术特征摘要】
1.一种结合高低空间频率特征的目标跟踪方法，其特征在于，包括以下步骤：
S1、首先输入原始视频图像序列，并根据原始图像序列所提供的第一帧的目标真值图剪切出目标图像真值和搜索区域图像序列，采用高低空间频率卷积对图像序列进行特征提取，得到每层的高频特征分量和低频特征分量，提取的特征作为判断后续跟踪目标的特征；
S2、其次，对每层的高频特征分量和低频特征分量进行信息交换，最终输出特征加强后的跟踪序列特征值；
S3、再次，根据高低空间频率特征网络提取的目标图像和搜索图像序列特征，利用相关性计算获取目标真值特征和搜索区域特征的相关性图；
S4、最后通过区域建议网络进行再处理，得到分类特征和回归特征，将分类特征定位的目标位置通过回归特征参数进行修正，得到所要跟踪的目标位置。


2.根据权利要求1所述的一种结合高低空间频率特征的目标跟踪方法，其特征在于，所述步骤S1中对输入的原始视频图像序列的剪切，是对视频序列第一帧所提出的目标位置进行剪切，以前一帧预测的目标位置2倍区域做搜索区域图像序列进行剪切，这样就可以通过特征提取网络得到所需跟踪目标的特征图和后续跟踪过程中搜索区域的特征图。


3.根据权利要求1或2所述的一种结合高低空间频率特征的目标跟踪方法，其特征在于，所述步骤S1中的高低空间频率提取特征，是对剪切后的图像的通道特征进行处理的方法，具体包括：首先经过层普通卷积计算，将输入的图像通道扩张为c，c为一般的特征提取网络的卷积操作后产生的特征通道数目，c1为高频卷积处理的通道数，c2为低频卷积处理的通道数，其中，满足c＝c1+c2。即通过对一般卷积网络产生的多通道特征进行分区处理，高频卷积处理方式同一般特征提取相同，低频卷积是对第一层卷积输出进行下采样后，再进行正常卷积操作的方式。


4.根据权利要求3所述的一种结合高低空间频率特征的目标跟踪方法，其特征在于，所述步骤S2中将高低特征进行信息交换，是通过特征提取网络的第一块卷积所得到的特征张量X，将通道总数量c分为c1个通道特征和c2个通道特征，c1个通道特征作为高频卷积的特征分量XH输入，c2个通道特征作为低频卷积的特征分量XL输入，通过卷积计算后，将高频和低频分量的特征输出分解为Y＝{YH，YL}，通过上下采样，统一高低频采样卷积计算输出后的空间分辨率，输出的特征可以表示为：



式(1)中，YH→H和YL→L表示高低频卷积计算后，相同空间分辨率的特征信息传递，YH→L和YL→H表示高低频信息交换。


5.根据权利要求4所述的一种结合高低空间频率特征的目标跟踪方法，其特征在于，为了运算新卷积的输出特征张量，设有卷积核W＝{WH→H，WL→H，WL→L，WH→L}，用来负责对输入特征XL和XH进行卷积，因此，用特征计算可以细化为：



式(2)中，f(X；W)表示与参数W的卷...

【专利技术属性】
技术研发人员：李伟生，伍蔚帆，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50