基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法技术

本发明专利技术涉及一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，通过使用基于相关滤波和图像分割的跟踪方法，结合方向梯度直方图特征和颜色属性特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标当发生遮挡或者旋转等情况而发生外观变化时，本发明专利技术利用图像分割操作周期性地调整目标的外观；另外，本发明专利技术利用基于SI的策略实现高置信度的模型更新策略，使相关滤波模型更加鲁棒，而且，本发明专利技术能有效地满足航拍视频跟踪对算法实时性的要求。

【技术实现步骤摘要】
基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法
本专利技术涉及一种目标跟踪方法，属计算机视觉领域。
技术介绍
目前，航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频，航拍视频具有自身特有的性质。首先，摄像机随无人机一同做高速运动，航拍视频序列图像间存在平移、旋转等变换，且视频中场景复杂多变，目标极易受到遮挡、噪声等干扰；另外，无人机的飞行高度对目标的尺寸会造成很大影响，这些都对航拍视频处理带来了巨大的挑战。近年来，基于相关滤波的跟踪方法大量涌现，并展现了良好的跟踪性能，尤其在处理速度方面可以满足航拍视频目标跟踪问题对实时性的要求，但是，当目标发生旋转或者尺度变化时，大部分传统的基于相关滤波的跟踪算法无法改变跟踪结果的长宽比，以及无法自适应地调整目标的外观，且容易导致引入背景杂质，造成相关滤波模型不稳定。
技术实现思路
要解决的技术问题针对航拍视频中由于运动目标发生旋转或者遮挡，而导致其外观(长宽比、尺度等)发生变化、模型不稳定的问题，本专利技术设计一种鲁棒、高效的航拍视频目标跟踪方法。技术方案一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w1,h1]，其中(x1,y1)表示第一帧目标中心P1的横坐标和纵坐标，[w1,h1]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；步骤2：以目标初始位置中心点(x1,y1)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图xtarget，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据xtarget构造最优相关滤波器在频域上的表示称为目标模型，计算方法如下：其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，Al、B+λ1分别为滤波器Utargetl的分子和分母，与等价，λ1为调整参数；在后续操作中，只需要更新Al、B+λ1即可更新目标模型l表示维度的索引，l∈{1,...,d}；步骤3：以目标初始位置中心点x1,y1为中心提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样，即当s<1或降采样，即当s>1将图像块缩放到[M,N]的大小，并且按照步骤2的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为xscale，再根据xscale构建尺度模型Uscale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉xtarget，具体如下：其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σscale为高斯核的带宽，λ2为调整参数；步骤4：读取第k帧图像，k≥2且起始值为2，若k可以整除20，则转步骤6，即每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(xk-1,yk-1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Ztarget，再利用目标模型计算目标置信图rptarget，计算方法如下：其中，为傅里叶逆变换，可以得到rptarget中的最大响应值valtarget，其对应点：计算最大响应值位置(x″,y″)与rptarget中心的距离，乘以scale，然后与(xk-1,yk-1)相加可以得到新的目标位置(x',y')；步骤5：在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3的方法分别提取这些图像子块的尺度特征图Zscale，利用尺度模型Uscalel计算尺度置信图：更新目标的尺度scale，计算方法如下：scale'＝re_scale×scalescale＝scale'(6)至此，得到了第k帧图像的目标位置(x',y')，更新了目标的尺度scale，以及利用目标模型计算得到的目标置信图rptarget，并转步骤7；步骤6：在第k帧图像中以(xk-1,yk-1)为中心，提取大小为(1.2×scale)×[M,N]的目标搜索区域Patch，利用基于GrowCut的图像分割方法，对Patch进行图像分割处理，并使用3×3的大小的模板块对分割之后得到的二值图进行中值滤波处理得到最终的分割阈值图thre，其中，在Patch中，将以(xk-1,yk-1)为中心的3×3的邻域作为目标种子点，以Patch上、下、左、右最边界的像素作为背景种子点；步骤7：分析thre中包围目标连通域的最小矩形rect，若rect的面积area大于w1×h1×(0.81×scale)且小于w1×h1×(1.44×scale)，将Flag置为1；否则，继续进行；步骤8：若Flag为1，则将rect的中心在第k帧图像中的位置作为目标的位置，记为(xk,yk)，将rect的尺寸作为目标的大小，记为[wk,hk]，并将scale置为1；否则，我们将(x',y')作为第k帧的目标位置，记为(xk,yk)，并以[w1,h1]×scale作为新的目标大小，记为[wk,hk]；步骤9：在第k帧中第以(xk,yk)为中心，wk、hk为宽和高标示出目标的位置，并提取大小为(2.5×wk)×(2.5×hk)的区域，并将其缩放为M×N大小，按照步骤2中的方法对该区域提取特征图，命名为zntarget，同样，也能够提取到最优目标尺度对应的尺度特征向量，命名为znscale；若Flag为0，则首先按照如下方式计算rptarget的稳定性评价指数：如果SI的值小于30，则不更新当前模型，否则按照如下的加权平均的方式更新和Uscale：其中，η、β为每个模型的学习率；若Flag为1，按照下式重新初始化：步骤10：判断是否处理完所有图像，如果是则结束；否则转回步骤4。步骤2中的M＝2.5×w1,N＝2.5×h1。步骤2中的λ1取0.010，步骤3中的λ2设定为0.0001。步骤3中的S设定为33。步骤9中的η、β分别取0.025、0.04。有益效果本专利技术通过使用基于相关滤波和图像分割的跟踪方法，结合方向梯度直方图特征和颜色属性特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标当发生遮挡或者旋转等情况而发生外观变化时，本专利技术利用图像分割操作周期性地调整目标的外观；另外，本专利技术利用基于SI的策略实现高置信度的模型更新策略，使相关滤波模型更加鲁棒，而且，本专利技术能有效地满足航拍视频跟踪对算法实时性的要求。附图说明图1基于相关滤波和图像分割的航拍视频目标跟踪方法流程图具体实施方式现结合实施例、附图对本专利技术作进一步描述：相关滤波的原理是通过傅里叶变换将图像从空间域转换到频域，利用频域的逐像素相乘代替空间域的卷积操作，可以极大地提高运算速度。而图像分割是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣本文档来自技高网...

【技术保护点】
1.一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w1,h1]，其中(x1,y1)表示第一帧目标中心P1的横坐标和纵坐标，[w1,h1]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；步骤2：以目标初始位置中心点(x1,y1)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图xtarget，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据xtarget构造最优相关滤波器

【技术特征摘要】
1.一种基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w1,h1]，其中(x1,y1)表示第一帧目标中心P1的横坐标和纵坐标，[w1,h1]表示目标初始的宽和高，将Flag置为0；其中，Flag为判断是否要更新目标外观的标志位，将目标的尺度记为scale，初始化为1；步骤2：以目标初始位置中心点(x1,y1)为中心，M、N为边长，采样一个目标区域R，对R提取d维特征图xtarget，其中，维度d的构成包括31维方向梯度直方图特征加11维颜色属性特征，根据xtarget构造最优相关滤波器在频域上的表示称为目标模型，计算方法如下：其中，如果不加特殊说明，各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，Al、B+λ1分别为滤波器Utargetl的分子和分母，与等价，λ1为调整参数；在后续操作中，只需要更新Al、B+λ1即可更新目标模型l表示维度的索引，l∈{1,...,d}；步骤3：以目标初始位置中心点x1,y1为中心提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，变量s为图像子块的尺度因子，s∈[0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，然后通过上采样，即当s<1或降采样，即当s>1将图像块缩放到[M,N]的大小，并且按照步骤2的方法分别提取每个子块的特征图，然后将各个特征图矩阵连接之后成为一个S维的特征图，这里将其命名为尺度特征图，记为xscale，再根据xscale构建尺度模型Uscale，计算方法与步骤2中计算的过程类似，用尺度特征图替换掉xtarget，具体如下：其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σscale为高斯核的带宽，λ2为调整参数；步骤4：读取第k帧图像，k≥2且起始值为2，若k可以整除20，则转步骤6，即每20帧实施一次更新外观模板的操作；否则，在第k帧图像中以(xk-1,yk-1)为中心，提取大小为[M,N]×scale的目标搜索区域，并缩放为[M,N]大小，然后通过步骤2中的方法提取特征图，命名为Ztarget，再利用目标模型计算目标置信图rptarget，计算方法如下：其中，为傅里叶逆变换，可以得到rptarget中的最大响应值valtarget，其对应点：计算最大响应值位置(x”,y”)与rptarget中心的距离，乘以scale，然后与(xk-1,yk-1)相加可以得到新的目标位置(x',y')；步骤5：在第k帧图像中以(x',y')为中心，提取S个不同尺度的图像子块，每个子块的大小为scale×[M,N]×s，并按照步骤3...

【专利技术属性】
技术研发人员：李映，薛希哲，董浩，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61