基于特征在线选择的时空相关滤波目标跟踪方法技术

本发明专利技术公开了基于特征在线选择的时空相关滤波目标跟踪方法。采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练；将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。

【技术实现步骤摘要】
基于特征在线选择的时空相关滤波目标跟踪方法
本专利技术属于图像处理
，特别是涉及目标跟踪、人脸识别、在线学习、在线选择及特征融合等，具体是基于特征在线选择的时空相关滤波方法。
技术介绍
目标跟踪是国内外计算机视觉研究的一个重要方向，其在智能驾驶、视频监控、人机交互等方面都有广泛的应用。近年来，由于相关滤波和深度学习等方法的引入，视频目标跟踪算法发展迅速，极大的提高了复杂跟踪环境下目标的跟踪精度。特别是相关滤波和深度学习相结合的目标跟踪算法，利用深度学习框架提升特征在目标跟踪算法中的表现，而且将计算从时域转换到频域极大的降低了计算复杂度，在保持着算法的实时性的同时，大大提高了算法的准确性。在2010年Bolme等人提出了MOSSE算法，这是首次把相关滤波方法引入到目标跟踪中，运行速度超过600帧/s。在MOSSE算法提出之后，很多基于MOSSE算法的相关滤波算法相继提出，例如：KCF算法、DSST算法等，在保持相关滤波类算法实时性的基础上继续提升着算法的准确性。2018年提出的CACF算法在传统的相关滤波框架的基础上加入了感知区域，本文档来自技高网...

【技术保护点】
1.基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤如下；/n步骤一：/n采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练，在保证实时性的同时，提高滤波器应对跟踪环境变化的能力；/n在每帧跟踪图像中，提取k个感知区域特征信息，作为负样本信息加入到时空相关滤波器的训练中，提升滤波器应对背景信息能力，如式1为时空相关滤波器训练公式：/n

【技术特征摘要】
1.基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤如下；
步骤一：
采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练，在保证实时性的同时，提高滤波器应对跟踪环境变化的能力；
在每帧跟踪图像中，提取k个感知区域特征信息，作为负样本信息加入到时空相关滤波器的训练中，提升滤波器应对背景信息能力，如式1为时空相关滤波器训练公式：



其中w为期望得到的相关滤波器，A0为通过循环矩阵得到的特征响应，y表示标准高斯响应输出，Ai表示通过采集目标周围的感知区域，得到的负样本特征响应，λ1、λ2表示对应的控制参数；
步骤二：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；
步骤三：
利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。


2.根据权利要求1所述的基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤二具体操作如下：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；
1.CN特征响应输出计算步骤如下：
(1)PCA降维处理CN特征；
首先将提取到的CN特征采用PCA降维的方法进行处理，将D1维CN特征降维到D2维；通过最小化损失函数，来选择一个最适合每帧的颜色特征降维映射：



其中，为本帧影响因子，如式(3)所示，为前i帧的平滑影响因子，为总的影响因子，αp为当前帧权重系数，αi为第i帧图像权重系数；



其中，Bp为D1×D2的当前帧映射矩阵，[M，N]为当前帧搜索区域的大小，(m，n)为上一帧确定的目标位置，为当前帧D1维的特征图；
(2)计算CN颜色特征的响应输出
经过PCA降维处理，得到降维映射矩阵Bp，将特征图的特征维度降维到D2维，然后将降维后的特征矩阵输入至训练好的CN特征的时空相关滤波器中进行计算，得到CN特征响应输出；最终CN特征响应输出计算方法如式(4)：



其中，fcn(·)为候选区域在滤波器计算下的响应输出，Ω表示计算特征矩阵的像素区域，βt-1为式(1)计算得到的时空相关滤波器的模型参数，表示本帧的CN特征图；
2.HOG特征响应输出计算步骤如下：
对HOG特征直接进行处理，利用训练好的HOG特征的时空相关滤波器，对下一帧图片的候选区域提取的HOG特征进行计算，得到HOG特征的响应输出，计算式如下：



其中fhog(·)为候选区域在滤波器计算下的响应输出，ht-1为式(1)计算得到的HOG特征滤波器模型参数，为本帧HOG特征图。


3.根据权利要求3所述的基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤三具体操作如下：
利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性；
1.特征描述算子的训练
特征描述算子通过线下训练框架，针对HOG特征和CN特征敏感的跟踪环境变化，训练出HOG特征和CN特征的环境变化特征描述算子和环境不变特征描述算子，来提升特征应对跟踪环境变化的能力；
(1)HOG特征
HOG特征根据梯度信息进行定位，跟踪目标的形变和旋转都会改变梯度信息，对跟踪精度造成大的影响；针对HOG特征对旋转目标敏感的情况，对HOG特征预训练的特征描述算子，针对旋转这一跟踪环境变化，训练出旋转变化特征描述算子，同时选取没有旋转情况出现的训练集训练旋转不变特征描述算子，根据跟踪过程中跟踪环境的变化选择适合的特征描述算子，提升HOG特征应对跟踪目标出现旋转的时的抗干扰能力；
(2)CN特征
CN特征是根据颜色信息来对目标进行跟踪，因此受光照变化等因素的影响...

【专利技术属性】
技术研发人员：刘晴，韩浩，唐健，马宁杰，冯维，姜显扬，姚英彪，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33