一种高实时性的多尺度目标跟踪方法技术

本发明专利技术公开了一种具有高度实时性的多尺度目标跟踪方法。该方法包括对目标及其周围背景区域提取快速梯度方向直方图(fhog)特征，通过循环移位模拟生成正负样本，二维高斯函数作为样本标签，岭回归方法训练相关滤波器；后续帧利用滤波器响应特性得到目标位置，采用基于尺度预测与尺度池相结合的方法计算目标尺度；重复训练过程，对相关滤波器进行插值更新。本发明专利技术利用目标历史运动信息，实现对频域运算及尺度估计方式的优化，在保障跟踪精度的同时，可将核相关滤波器(KCF)方法运行效率优化约43％，高度的实时性为相关滤波类目标跟踪方法向嵌入式系统等低运算能力的开发板移植提供保障，可应用于智能监控、航天航空、无人驾驶等领域。

A High Real-Time Multi-Scale Target Tracking Method

【技术实现步骤摘要】
一种高实时性的多尺度目标跟踪方法
本专利技术属于计算机视觉的单目标跟踪领域，特别提出一种高实时性的多尺度目标跟踪方法。
技术介绍
目标跟踪是在图像处理的基础上，融入了自动控制以及信息科学等技术，它能够在每一帧图像中定位目标，并且获得目标的尺寸大小等信息，从而将目标区域从背景区域中分割出来，进而完成在整个视频序列图像中对目标进行跟踪的任务。近些年，判别式跟踪领域研究的热点主要集中基于相关滤波器的跟踪方法改进上。相关滤波原本是一种信号处理方法，通过输入信号经过滤波器后的输出响应，来判断输入信号的相关性。在目标跟踪上，可以通过寻找最大响应，来确定跟踪目标的中心位置。为了实现有效的更新目标模型，快速而准确的尺度估计方法是十分必要的。目前解决尺度计算的方法主要是通过尺度池的方式，即使用平移滤波器在多尺度缩放的图像块上进行目标检测，取响应最大的平移位置及所在尺度。这种方法简单，易于理解，但过于粗糙，导致方法整体复杂度会随所检尺度个数的增加而呈倍数级增长，破坏了核相关滤波跟踪方法本身的高速性能的优越性，从而在嵌入式处理器等一些低运算能力的开发板上运行时不能完成实时性的要求，无法满足跟踪技术的真正落地需求。为了优化上述基于尺度池的目标尺度估计方法，减少其所存在的冗余，提高跟踪方法运行效率。因为计算尺度的增加具有强大的破坏力，故考虑如何降低尺度计算的次数，通过将尺度预测的机制结合到其中，能够在既保障跟踪方法高精确度的同时，提升速度优势。
技术实现思路
本专利技术为了解决目标跟踪过程中，尺度估计效率不高的问题，提出一种高实时性的多尺度目标跟踪方法，保证跟踪高精度的同时提高相关滤波类跟踪目标方法的跟踪速度。为实现上述技术目的，本专利技术采用的技术方案主要包括以下步骤：步骤1，确定感兴趣区域。在初始图像帧中用矩形框选取待跟踪目标，处理目标周围的2.5倍像素区域，将长边尺寸调整至96，较短边按长边改变的比例进行放缩；步骤2，提取特征。对感兴趣区域提取31维快速梯度方向直方图(fhog)特征；步骤3，训练相关滤波跟踪器。将特征向量与二维高斯峰函数转换到频域计算，得到相关滤波器；步骤4，检测目标位置。在下一帧图像中同样如步骤1提取感兴趣区域，利用训练得到的相关滤波跟踪器，响应值最大即为目标所在位置；步骤5，尺度估计。将尺度预测与尺度池相结合，确定目标尺度。尺度估计中，要首先为尺度池内的尺度计算划分优先级。可以将每帧目标尺度的变化分为三种情况：0.95,1,1.05，即小尺度，正常，大尺度。以此分别表示目标变小，不变以及变大的情况。传统的尺度估计方法为，分别取不同尺度的图像块提取特征，与相关滤波器求取响应值，比较响应值，最大者即为最佳尺度。该方法整体复杂度与尺度个数呈倍数级增长，因而对速度影响较大。本专利技术提出的划分优先级方法基于相关滤波器的响应特性，以目标实际变大的情况举例，设得到的响应值为变量R，可以推论出为R(0.95)<R(1)<R(1.05)。故若先计算并比较R(1)和R(1.05)，即可得出实际最大值，无需再次计算对小尺度的响应。同理，反之，若目标实际变小，也无需再次计算大尺度的响应。对于目标实际尺度未发生改变的情况，可以首先随机分到以上情况中一种进行计算，再计算第三种尺度的响应进行比较。本专利技术使用基于统计的方法，利用目标实际运动信息，确认首先计算某种尺度的响应。统计过去10帧的尺度变化情况，哪种尺度变化居多，即在当前帧以该尺度优先计算。无论是哪种情况，均需计算R(1)，即尺度不变时的响应，然后才能进行比较。该统计方法采用创建特殊的循环链表的方式，在常数时间复杂度内完成对过去帧的尺度变化情况的统计，以避免高时间复杂度对跟踪速度造成影响。为了进一步提高跟踪速度，本专利技术在对多帧信息进行统计后，对于尺度几乎无变化的目标，采用隔帧多尺度的方式进行跟踪。即一帧多尺度，多帧单尺度交替进行。既可以及时更新目标尺度信息，又能有效避免每帧都进行多尺度跟踪而浪费时间。本专利技术还对冗余计算做了相关优化，存储并利用特征向量的频域运算，减少核相关滤波器快速傅里叶变换(FFT)的运算次数，优化提高了20％运行效率。本专利技术提出的频域运算及尺度估计方法可以应用于一切相关滤波类跟踪方法中，而不局限于核相关滤波器(KCF)跟踪方法。附图说明图1：方法整体流程图图2：循环链表示意图具体实施方式下面结合附图详细说明本专利技术的具体实施方式。如图1整体流程图所示，本专利技术公开了一种高实时性的多尺度目标跟踪方法，具体包括以下步骤：步骤1，确定感兴趣区域。在初始图像帧中用矩形框选取待跟踪目标，处理目标周围的2.5倍像素区域，将长边尺寸调整至96，较短边按长边改变的比例进行放缩；步骤2，提取特征。对感兴趣区域提取31维快速梯度方向直方图(fhog)特征；步骤3，训练相关滤波跟踪器及冗余优化。将特征向量与二维高斯峰函数转换到频域计算，得到相关滤波器，训练公式如式(1)：其中，α为相关滤波器的隐式系数,k为高斯核函数变量k(x,x)，计算公式如(2)，x为训练图像块特征向量,y为二维高斯函数构成的标签向量，λ为正则化因子。公式(2)中，F-1为FFT的反变换，为x转换到频域的结果，⊙为点积运算，*表示取共轭，σ为带宽。训练中的核函数的两个输入均x，故实际只需对x进行一次FFT即可，此项可减少训练中1/2的FFT计算次数。步骤4，检测目标位置。在下一帧图像中同样如步骤1提取感兴趣区域，利用训练得到的相关滤波跟踪器，检测公式如式(3)：其中，为所有位置的响应值输出，α为步骤3中求得,为高斯核函数变量k(x,z)，计算公式如(4)。其中x为训练图像块特征向量，z测试图像块特征向量。响应值最大即为目标所在位置。检测中核函数的两个输入分别为x和z，和为x和z转换到频域的结果，在多尺度计算环节，要对不同尺度的图像块重复检测过程，即仅改变测试图像块特征向量z，故存储首次尺度运算时的FFT(x),在后续运算中直接调用即可。步骤5，尺度估计。将尺度预测与尺度池相结合，确定目标尺度。在此步骤尺度估计中，首先为尺度池内的尺度计算划分优先级。将每帧目标尺度的变化分为三种情况：0.95,1,1.05，即小尺度，正常，大尺度。以此分别表示目标变小，不变以及变大的情况。本专利技术提出的划分优先级方法基于相关滤波器的响应特性，以目标实际变大的情况举例，设得到的响应值为变量R，可以推论出为R(0.95)<R(1)<R(1.05)。故若先计算并比较R(1)和R(1.05)，即可得出实际最大值，无需再次计算对小尺度的响应。同理，若目标实际变小，也无需再次计算大尺度的响应。对于目标实际尺度未发生改变的情况，可以首先随机分到以上情况中一种进行计算，再计算第三种尺度的响应进行比较。本专利技术使用基于统计的方法，利用目标实际运动信息，确认首先计算某种尺度的响应。统计过去10帧的尺度变化情况，哪种尺度变化居多，即在当前帧以该尺度优先计算。无论是哪种情况，均需计算R(1)，即尺度不变时的响应，然后才能进行比较。该统计方法采用创建特殊的循环链表的方式，在常数时间复杂度内完成对过去帧的尺度变化情况的统计，以避免高时间复杂度对跟踪速度造成影响。循环链表示意图如图2所示，具体包括如下：首先定义节点，每个节点具有双向指针，分别本文档来自技高网...

【技术保护点】
1.一种高实时性的多尺度目标跟踪方法，其特征在于，包括以下步骤：步骤1，确定感兴趣区域；在初始图像帧中用矩形框选取待跟踪目标，提取目标及其周围背景区域；步骤2，提取特征；对感兴趣区域提取快速梯度方向直方图特征；步骤3，训练相关滤波跟踪器；将特征向量与二维高斯峰函数转换到频域计算，得到相关滤波器；步骤4，检测目标位置；在下一帧图像中同样如步骤1提取感兴趣区域，利用训练得到的相关滤波跟踪器，响应值最大即为目标所在位置；步骤5，尺度估计；将尺度预测与尺度池相结合，确定目标尺度。

【技术特征摘要】
1.一种高实时性的多尺度目标跟踪方法，其特征在于，包括以下步骤：步骤1，确定感兴趣区域；在初始图像帧中用矩形框选取待跟踪目标，提取目标及其周围背景区域；步骤2，提取特征；对感兴趣区域提取快速梯度方向直方图特征；步骤3，训练相关滤波跟踪器；将特征向量与二维高斯峰函数转换到频域计算，得到相关滤波器；步骤4，检测目标位置；在下一帧图像中同样如步骤1提取感兴趣区域，利用训练得到的相关滤波跟踪器，响应值最大即为目标所在位置；步骤5，尺度估计；将尺度预测与尺度池相结合，确定目标尺度。2.根据权利要求1所述的一种高实时性的多尺度目标跟踪方法，其特征在于，基于相关滤波器的响应特性，为尺度池内的尺度计算划分优先级；划分尺度优先级的步骤具体包括以下：首先，将每帧目标尺度的变化分为三种情况：0.95,1,1.05，即小尺度，正常，大尺度；以此分别表示目标变小，不变以及变大的情况；目标实际变大时，设得到的响应值为变量R，推论出为R(0.95)<R(1)<R(1.05)；故若先计算并比较R(1)和R(1.05)，得出实际最大值，无需再次计算对小尺度的响应；若目标实际变小，推论出为R(0.95)>R(1)>R(1.05)；故若先计算并比较R(1)和R(0.95)，得出实际最大值，无需再次计算大尺度的响应；若目标实际尺度未发生改变，首先随机分到以上情况中一种进行计算，再计算第三种尺度的响应进行比较；基于统计的方法，利用目标实际运动信息，确认首先计算某种尺度的响应；统计过去10帧的尺度变化情况，哪种尺度变化居多，即在当前帧以该尺度优先计算；注意无论是哪种情况，均需计算R(1)，即尺度不变时的响应，这样才能进行比较；基于统计的方法具体如下：首先定义节点，每个节点具有双向指针，分别指向前后节点，节点内部定义mScale变量，用于记录当前尺度状态，状态分为变大(值为1)、不变(值为0)、变小(值为-1)和默认(值为2)；创建循环链表后，使用指针指向任意节点，每经过一帧，指针下移一个节点，当帧数大于队列长度时，指针指向链表中最初的节...

【专利技术属性】
技术研发人员：王波涛，石梦华，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11