基于相关滤波的抗遮挡目标跟踪方法技术

一种基于相关滤波的抗遮挡目标跟踪方法，在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果，并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。

【技术实现步骤摘要】
基于相关滤波的抗遮挡目标跟踪方法
本专利技术涉及的是一种机器视觉领域的技术，具体是一种基于相关滤波的抗遮挡目标跟踪方法。
技术介绍
目前，目标跟踪是机器视觉领域的热点，其主要分为生成性跟踪器和判别性跟踪器。前者是指对目标的外观建模，在接下来的帧中找到与目标外观相似程度最高的区域作为跟踪结果。这类跟踪器的模型在线构建，一般都能保证实时性(大于等于25fps)，然而容易受到噪声影响并且没有利用背景信息，容易导致跟踪框漂移。后者把跟踪视作一个分类问题，这类跟踪器同时考虑目标和背景信息，通过提取特征和训练分类器，分离目标和背景，然后更新分类器以适应目标变化。然而，判别性跟踪器没有考虑到目标的运动信息和连续帧之间的关系。尽管目标跟踪技术正在不断进步，但至今没有一个完美的跟踪能够实现在所有情况下的鲁棒跟踪。就遮挡而言，生成性跟踪器和判别性跟踪器也不能完美处理目标的全遮挡或者消失。因此一个好的跟踪器必须兼顾生成性和判别性跟踪器的优点，并实时应用于任何情况。
技术实现思路
本专利技术针对现有基于相关滤波的跟踪器均没有很好地解决目标遮挡问题或者仅仅针对目标的部分遮挡(目标遮挡面积小于等于目标总面积50％)和短时全遮挡的缺陷和不足，提出一种针对目标长时间全遮挡情况的基于相关滤波的抗遮挡目标跟踪方法，在LCT(Long-termCorrelationTracking)跟踪器的基础上，加入了一个根据相关滤波响应值变化而设计的遮挡判据和一个重新检测器，本方法跟踪更具鲁棒性和精确性。本专利技术是通过以下技术方案实现的：本专利技术涉及一种基于相关滤波的抗遮挡目标跟踪方法，在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果，并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。所述的LCT跟踪器是指：在第一帧手动选择目标后，在所选区域上训练相关滤波器来对目标外观建模，对于随后的帧，相关滤波器会在上一帧的位置附近对该帧的图像块卷积，卷积后的输出对应一个灰度响应图，该灰度反映了相关程度，灰度值越高，则相关程度越大，在响应图中拥有最大灰度的位置就是目标的新位置。所述的丢失目标，包括：由于形变、亮度变化、快速运动和复杂背景导致跟踪丢失的目标以及由于全遮挡导致跟踪丢失的目标，其中：当当前帧目标外观相关滤波器响应值低于设定阈值，则启动在线分类器进行检测；当最近的连续5帧目标外观相关滤波器响应值满足目标遮挡判据时，则停止LCT跟踪器跟踪并换用重新检测器从后一帧开始进行目标检测，当未检测到目标时进入下一帧，否则将检测到的目标信息，即目标框宽、高和目标框中心位置再次输入LCT跟踪器进行跟踪，最终得到退出遮挡后的跟踪结果。所述的相关滤波器的大小与选择的图像块大小相同，将输入的图像和相关滤波器进行快速傅里叶变换(FastFourierTransform，FFT)转到傅里叶域，在该域中相关操作变为点积，即G＝F⊙H*，其中：F＝F(fim)和H＝F(h)表示为图像fim和滤波器h转至傅里叶域，⊙和*分别为点乘操作和共轭转置；随后使用FFT的逆变换F-1将G变回到空间域，得到响应图。整个过程的计算复杂度仅为O(PlogP)，其中：P为跟踪窗口中的像素数。所述的运动相关滤波器是指：当手动选择的目标框大小为M×N，首先利用循环移位来增加样本数量，得到样本xm,n，其中：(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}；通过岭回归最小化训练图像与回归目标之间的均方误差，得到运动相关滤波器w1∈RM×N，其中：φ表示映射到核空间。根据移位量，给予训练图像高斯标签，当移位量越小，则标签值越接近1，否则接近0，λ为正则化参数。所述的循环移位是指：对于一个n维列向量样本xn,1＝[x1,x2,...,xn]T，P为对x做循环移位的置换矩阵，则移位后的样本为Plx，故获取训练分类器的样本集合{Plx|l＝0,1,...,n-1}，其中：置换矩阵：将n×1向量x的所有移位组合为循环矩阵其中：第一行是原列向量x，第二行是将x中的元素向右移动一位，其他行以此类推。循环移位的目的是循环移位编码了向量的卷积。由于循环特性，每移位n次，可以周期性获得基准样本。同样，可以等效地看成循环矩阵X的前半部分对向量x元素沿正方向移位，后半部分则反向移位。所述的目标的平移估计，通过以下方式得到：通过映射和离散傅里叶变换之后，运动相关滤波器w1的解表示成样本的线性组合，即：w1＝∑m,na(m,n)φ(xm,n)，其中：系数a满足a经离散傅里叶变换后为A，使用高斯核定义核映射φ为k(x,x')＝φ(x)·φ(x')，当处理下一帧时，运动相关滤波器w1会在上一帧的目标位置附近和M×N大小的图像块z进行相关操作，通过离散傅里叶逆变换到空间域后会得到一幅响应图，即其中：表示学习的目标外观特征，取值范围为[0,1]，0表示黑色，1表示白色，在中拥有最大值的位置就是所得到的目标在新一帧中的目标位置。所述的外观相关滤波器是指：在目标框上提取K个尺度图像的HOG特征xhog(K)，通过岭回归最小化训练图像与回归目标之间的均方误差，得到外观相关滤波器w2∈RM×N，其中：y(K)为二值标签，目标框恰好包围目标的标签为1，其余为0。所述的目标的尺度估计，通过以下方式得到：在新的一帧得到目标位置之后，使用外观相关滤波器w2对目标的尺度进行估计，即先将图像块分成K个尺度：每个尺度的图像块大小为sM×sN(s∈S)；随后在每个尺度的图像块上提取HOG特征构建尺度金字塔，在对每一层进行外观相关滤波之后获得K个外观滤波响应图，选择拥有最大值的结果作为目标的最终尺度，即所述的目标跟踪结果包括两个最大的响应值，即运动相关滤波器w1和外观相关滤波器w2的响应值。优选地，所述的运动相关滤波器w1和目标外观特征采用以下方式进行更新：其中：α为更新率，t与t-1分别为当前帧与上一帧，分别为a在当前帧以及上一帧的离散傅里叶变换。使用31bins的HOG特征，8bins的强度特征直方图，8bins亮度通道的非参数局部秩变换，总计拥有47通道特征的特征向量并设定阈值τa：当最大外观相关滤波响应值则w2的更新满足：除此之外，在目标外观特征提取后，使用余弦窗口进行加权，以消除响应图的边界效应。所述的在线分类器采用在线支持向量机，即当LCT跟踪器由于形变、亮度变化、快速运动和复杂背景导致跟丢目标时，利用在线支持向量机的检测结果作为跟踪结果，恢复准确的目标跟踪。所述的在线支持向量机由目标的颜色通道量化为四位特征进行训练，其中：0.5和0.1分别为正样本和负样本的IoU阈值，通过设定外观相关滤波器响应值的阈值τr，当时，激活该在线支持向量机。所述的目标遮挡判据是指：在基于连续5帧f＝{ft-4,ft-3,ft-2,ft-1,ft}图像的最大响应值y＝{yt-4,yt-3,yt-2,yt-1,yt}上，将全遮挡响应值曲线特性与目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化响应值曲线特性对比，设定：目标遮挡判定条件①为连续5帧响应值下降，即yt-4＞yt-3＞yt-2＞yt-1＞yt；目标遮挡本文档来自技高网...

【技术保护点】
1.一种基于相关滤波的抗遮挡目标跟踪方法，其特征在于，在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果，并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。

【技术特征摘要】
1.一种基于相关滤波的抗遮挡目标跟踪方法，其特征在于，在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果，并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。2.根据权利要求1所述的方法，其特征是，所述的丢失目标，包括：由于形变、亮度变化、快速运动和复杂背景导致跟踪丢失的目标以及由于全遮挡导致跟踪丢失的目标，其中：当当前帧目标外观相关滤波器响应值低于设定阈值，则启动在线分类器进行检测；当最近的连续5帧目标外观相关滤波器响应值满足目标遮挡判据时，则停止LCT跟踪器跟踪并换用重新检测器从后一帧开始进行目标检测，当未检测到目标时进入下一帧，否则将检测到的目标信息，即目标框宽、高和目标框中心位置再次输入LCT跟踪器进行跟踪，最终得到退出遮挡后的跟踪结果。3.根据权利要求1所述的方法，其特征是，所述的运动相关滤波器是指：当手动选择的目标框大小为M×N，首先利用循环移位来增加样本数量，得到样本xm,n，其中：(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}；通过岭回归最小化训练图像与回归目标之间的均方误差，得到运动相关滤波器w1∈RM×N，其中：φ表示映射到核空间。根据移位量，给予训练图像高斯标签，当移位量越小，则标签值越接近1，否则接近0，λ为正则化参数。4.根据权利要求3所述的方法，其特征是，所述的循环移位是指：对于一个n维列向量样本xn,1＝[x1,x2,...,xn]T，P为对x做循环移位的置换矩阵，则移位后的样本为Plx，故获取训练分类器的样本集合{Plx|l＝0,1,...,n-1}，其中：置换矩阵：将n×1向量x的所有移位组合为循环矩阵其中：第一行是原列向量x，第二行是将x中的元素向右移动一位，其他行以此类推。5.根据权利要求1所述的方法，其特征是，所述的目标的平移，通过映射和离散傅里叶变换之后，运动相关滤波器w1的解表示成样本的线性组合，即：w1＝∑m,na(m,n)φ(xm,n)，其中：系数a满足a经离散傅里叶变换后为A，使用高斯核定义核映射φ为k(x,x')＝φ(x)·φ(x')，当处理下一帧时，运动相关滤波器w1会在上一帧的目标位置附近和M×N大小的图像块z进行相关操作，通过离散傅里叶逆变换到空间域后会得到一幅响应图，即其中：表示学习的目标外观特征，取值范围为[0,1]，0表示黑色，1表示白色，在中拥有最大值的位置就是所得到的目标在新一帧中的目标位置。6.根据权利要求1所述的方法，其特征是，所述的外观相关滤波器是指：在目标框上提取K个尺度图像的HOG特征xhog(K)，通过岭回归最小化训练图像与回归目标之间的均方误差，得到外观相关滤波器w2∈RM×N，其中：y(K)为二值标签，目标框恰好包围目标的标签为1，其余为0。7.根据权利要求1所述的方法，其特征是，所述的目标的尺度进行估计是指：在新的一帧得到目标位置之后，使用外观相关滤波器w2对目标的尺度进行估计，即先将图像块分成K个尺度：每个尺度的图像块大小为sM×sN(s∈S)；随后在每个尺度的图像块上提取HOG特征构建尺度金字塔，在对每一层进行外观相关滤波之后获得K个外观滤波响应图，选择拥有最大值的结果作为目标的最终尺度，即8.根据权利要求1所述的方法，其特征是，所述的运动相关滤波器w1和目标外观特征采用以下方式进行更新：其中：α为更新率，t与t-1分别为当前帧与上一帧，分别为a在当前帧以及上一帧的离散傅里叶变换。9.根据权利要求1或2所述的方法，其特征是，所述的在线分类器采用在线支持向量机，即当LCT跟踪器由于形变、亮度变化、快速运动和复杂背景跟丢目标时，利用在线支持向量机的检测结果作为跟踪结果，恢复准确的目标跟踪。10.根据权利要求2所述的方法，其特征是，所述的目标遮挡判据是指：在基于连续5帧f＝{ft-4,ft-3,ft-2,ft-1,ft}图像的最大响应值y＝{yt-4,yt-3,yt-2,yt-1,yt}上，将全遮挡响应值...

【专利技术属性】
技术研发人员：肖刚，赵俊豪，张星辰，杜尔·普拉萨德·巴维瑞瑟特，张强，王彦然，刘艺博，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31