基于相关滤波和显著性检测的航拍视频目标跟踪方法技术

本发明专利技术涉及一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，通过使用基于相关滤波和显著性检测的跟踪方法，结合方向梯度直方图特征和灰度特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标被严重遮挡而导致跟踪失败时，本发明专利技术通过重检测机制，可以再次检测到目标，使得目标能够被长时间持续地跟踪；另外，基于剩余谱理论的显著性检测方法计算简便快捷，可以通过较小的计算代价实现对目标的重检测，能有效地满足航拍视频跟踪对算法实时性的要求。

【技术实现步骤摘要】
基于相关滤波和显著性检测的航拍视频目标跟踪方法
本专利技术涉及一种基于相关滤波和显著性检测的航拍视频目标跟踪方法
技术介绍
目前，航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频，航拍视频具有自身特有的性质。首先，摄像机随无人机一同做高速运动，航拍视频序列图像间存在平移、旋转等变换，且视频中场景复杂多变，目标极易受到遮挡、噪声等干扰；另外，由于无人机有时在几千米甚至上万米的高空飞行，运动目标在图像中占的比例很小，这些都对航拍视频处理带来了巨大的挑战。近年来，基于相关滤波的跟踪方法大量涌现，并展现了良好的跟踪性能，尤其是该类方法所具有的实时性，可以在一定程度上满足航拍视频跟踪问题的要求。但是，当视频中的目标被严重遮挡时，基于相关滤波的现有方法会产生漂移，容易导致跟踪失败，因此无法对航拍视频进行长时跟踪。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，解决航拍视频中由于运动目标被严重遮挡而造成外观模型漂移，从而易导致跟踪失败的问题。技术方案一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x1,y1,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x1,y1表示第一帧目标中心P1的横坐标和纵坐标，w,h表示目标的宽和高；步骤2：以目标初始位置中心点x1,y1确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；根据x构造最优相关滤波器ul，ul在频域上的表示Ul称为目标模板，计算方法如下：其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，Al、B+λ分别为滤波器Ul的分子和分母，λ为调整参数；与Ul等价，在后续操作中，只需要更新Al、B+λ即可更新目标模板Ul；另外，把第一帧目标模板的分子Al记作init_Al，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；因此，λ为调整参数，取0.010进入下述循环处理步骤，直至跟踪结束：步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(xk-1,yk-1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板Ul计算目标置信图responce，计算下式，由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；其中，为傅里叶逆变换；步骤4：当最大响应值mvalue是否大于阈值T1，将(x',y')作为目标在第k帧图像中的位置Pk，其坐标为(xk,yk)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；所述num_lost表示各帧最大响应值连续小于T1的帧数，且num_lost初始值为0；步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置Pk，其坐标为(xk,yk)；其中，T1取值范围为0.15-0.25；步骤6：在当前帧中以(xk,yk)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；对该区域提取d维特征图，命名为zn；若(xk,yk)来自步骤3中的(x',y')，则按照下式得到A_newl、B_new：否则，按照下式得到A_newl、B_new：将A_newl、B_new的值分别赋给Al、B，完成对Al和B的更新；其中：η为模板更新学习率，取0.025；若处理完所有图像则算法结束，否则，k的值加1，转步骤3；步骤7：在当前帧图像中以lock为中心截取图像块Patchk，其中，lock的坐标为(xk-1,yk-1)，Patchk的宽和高分别为符号表示向下取整；若Patchk超出当前帧图像边界，则不对Patchk进行扩展；采用基于剩余谱理论的方法对Patchk进行显著性检测，得到显著图Saliencek；然后使用最大类间方差法对Saliencek进行阈值分割，得到显著性阈值图Thresholdk，得到init个连通域；将质心在Thresholdk边界15个像素以内的连通域排除，得到last个连通域以及它们的质心ceni，ceni在显著性阈值图中的坐标为(ri,ci)；其中，若last为0，则k的值加1，num_lost的值加1，令(xk,yk)＝(xk-1,yk-1)，转步骤3；否则继续进行，其中，1≤i≤last；步骤8：通过下式得到每个质心ceni在第k帧图像中的坐标cen_imi：cen_imi＝(ri,ci)-(midxi,midyi)+(xk-1,yk-1)其中：(midxi,midyi)为Patchk的中心在Patchk中的坐标；无论Patchk的边界是否与第k帧图像的边界重合，都将lock相对于Patchk的位置作为Patchk的中心；步骤9：以cen_imi为中心，在当前帧图像中截取M×N大小的图像块impatchi，若坐标超出图像边界，则将不对impatcih进行扩展，将impatcih调整为M×N大小；对impatchi提取d维特征图，命名为zpatchi，然后与当前的目标模板做相关滤波，再经过傅里叶反变换，得到响应最大值mvaluepatchi；在所有mvaluepatchi中选取最大值mvalue'，若mvalue'大于阈值T2，则以mvalue'对应的cen_imi作为新的目标位置Pk，其坐标为(xk,yk)，并将num_lost和Flag置为0，转步骤6；否则，令(xk,yk)＝(xk-1,yk-1)，num_lost的值加1，k的值加1，Flag的值不变，然后转步骤3；其中，T2取值范围为0.10-0.25；所述提取d维特征图时，维度d的构成包括27维方向梯度直方图特征加1维原始灰度特征，d取28。有益效果本专利技术提出的一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，通过使用基于相关滤波和显著性检测的跟踪方法，结合方向梯度直方图特征和灰度特征，使得跟踪结果对于光照变化、噪声、遮挡等因素具有很强的鲁棒性，尤其是当目标被严重遮挡而导致跟踪失败时，本专利技术通过重检测机制，可以再次检测到目标，使得目标能够被长时间持续地跟踪；另外，基于剩余谱理论的显著性检测方法计算简便快捷，可以通过较小的计算代价实现对目标的重检测，能有效地满足航拍视频跟踪对算法实时性的要求。附图说明图1：基于相关滤波和显著性检测的航拍视频目标跟踪方法流程图具体实施方式现结合实施例、附图对本专利技术作进一步描述：相关滤波的原理是通过傅里叶变换将图像从空间域转换到频域，利用频域的逐像素相乘代替空间域的卷积操作，可以极大地提高运算速度。而图像显著性检测的目的是获得高质量的显著图，显著图反映了图像中不同本文档来自技高网...

【技术保护点】
一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x1,y1,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x1,y1表示第一帧目标中心P1的横坐标和纵坐标，w,h表示目标的宽和高；步骤2：以目标初始位置中心点x1,y1确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；根据x构造最优相关滤波器u

【技术特征摘要】
1.一种基于相关滤波和显著性检测的航拍视频目标跟踪方法，其特征在于步骤如下：步骤1：读取视频中第一帧图像数据，得到目标所在的初始位置信息[x1,y1,w,h]，并赋予该图像数据一个是否要进行重检测的标志位Flag，置为0；其中：x1,y1表示第一帧目标中心P1的横坐标和纵坐标，w,h表示目标的宽和高；步骤2：以目标初始位置中心点x1,y1确定一个目标区域R，R的大小为M×N，其中M＝3×w,N＝3×h；对R提取d维特征图，命名为x；根据x构造最优相关滤波器ul，ul在频域上的表示Ul称为目标模板，计算方法如下：其中：各个大写的变量为相应的小写变量在频域上的表示，高斯滤波模板(m,n)∈{0,...,M-1}×{0,...,N-1}，σ为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，Al、B+λ分别为滤波器Ul的分子和分母，λ为调整参数；与Ul等价，在后续操作中，只需要更新Al、B+λ即可更新目标模板Ul；另外，把第一帧目标模板的分子Al记作init_Al，分母中的B记作init_B；l表示维度的索引，l∈{1,...,d}；因此，λ为调整参数，取0.010进入下述循环处理步骤，直至跟踪结束：步骤3：读取第k帧图像，k≥2且起始值为2；判断Flag值是否为1，若是，则转步骤7；否则，在第k帧图像中以(xk-1,yk-1)为中心，提取大小为M×N的目标搜索区域，若该区域超出当前图像边界，不对其进行扩展，并将其调整为M×N大小；然后对目标搜索区域提取d维特征图，命名为z，再利用目标模板Ul计算目标置信图responce，计算下式，由responce中得到最大响应值mvalue，以及最大响应值对应的坐标(x',y')；其中，为傅里叶逆变换；步骤4：当最大响应值mvalue是否大于阈值T1，将(x',y')作为目标在第k帧图像中的位置Pk，其坐标为(xk,yk)，并将标志num_lost置为0，转步骤6；否则，num_lost的值加1；所述num_lost表示各帧最大响应值连续小于T1的帧数，且num_lost初始值为0；步骤5：当num_lost大于5时，将Flag置为1，转步骤7；否则将(x',y')作为目标在第k帧图像中的位置Pk，其坐标为(xk,yk)；其中，T1取值范围为0.15-0.25；步骤6：在当前帧中以(xk,yk)为中心，w、h为宽和高标示出目标的位置，并提取大小为M×N的区域；若该区域超出当前图像边界，不对其进...

【专利技术属性】
技术研发人员：李映，董浩，林彬，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61