一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于全局‑局部及卡尔曼滤波的目标跟踪方法及装置，提高了目标跟踪的鲁棒性和准确率，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰问题。方法包括：获取视频序列；根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到第一位置结果；根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到第二位置结果；根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；若满足，根据第一位置结果和第二位置结果得到最终跟踪位置结果；若不满足，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到最终跟踪位置结果。

A target tracking method and device based on global local and Kalman filter

【技术实现步骤摘要】
一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
本专利技术涉及视觉目标跟踪
，特别是涉及一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置。
技术介绍
视觉目标跟踪是计算机视觉研究中的基础和关键问题，也是很多应用必不可少的基础条件，例如自动驾驶、精确制导、视屏监控和人机交互。目标跟踪技术的基本思想是序列图像中根据目标在视频信息的时空上相关性，确定感兴趣的目标在每一帧的位置和姿态。但是由于部分或者完全遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰，高精度和鲁棒性的视觉目标跟踪仍是一项艰巨的任务。基于相关滤波的跟踪算法通过快速傅里叶变换将滤波器求解的过程转换到频域中，以实现计算的加速。Bolme等人在2010年提出了最小输出平方和误差(MinimumOutputSumofSquareError，MOSSE)算法，首次将相关滤波器引入视觉跟踪中。核化相关过滤器跟踪器(KernelCorrelationFilter，KCF)使用颜色特征(ColorNames，CN)和方向梯度直方图(HistogramofOrientedGridients，HOG)特征组成多通道特征，并使用核技巧将低维特征空间的计算映射到线性可分的高维特征空间。Henriques等提出核化最小二乘法(KernelRegularizedLeastSquares)，提高了在高纬特征空间中分类样本的速度。Bertinetto等利用HOG特征表示目标来训练滤波器，并加入颜色直方图的统计以得到最后的响应，两种特征的融合进一步提升了跟踪的精度。随着卷积神经网络的广泛应用，层次卷积特征跟踪器(HCF)和具有加权卷积响应的相关滤波器(CFWCR)选择使用从VGGNet提取出的深度特征训练滤波器，跟踪性能得到进一步改善。Danelljan等在中对训练样本建立插值模型，将不同分辨率的特征组合获得连续空间分辨率的特征图，并且在利用高斯混合模型将训练集中相似的样本归为一组，避免了对相近帧数的样本过拟合。Li引入多尺度估计模型，这两种方法成为目前常用的尺度估计方案。为了解决边界效应，Danelljan中引入空间正则化项，Alan使用空间可靠性图和通道可靠性图。YangLi采用分块跟踪的方式，提出了一种概率模型来估计顺序蒙特卡洛框架下可靠补丁的分布。尽管深度卷积神经网络需要大规模的数据进行训练，但由于深度特征的强大的特征表征能力使其在基于相关滤波器的跟踪中广泛使用。方法之一是将深度特征直接应用到DCF框架中，例如Hedgeddeeptracking(HDT)和分层卷积跟踪特征(HCF)在多个卷积层上构建相关滤波器，学习连续卷积算子(CCOT)和有效卷积算子(ECO)将不同分辨率的深度特征图进行插值后集成。另外，全卷积孪生网络(SiamFC)使用端到端的学习方式，利用深度特征求目标与模板之间的相似性来进行跟踪。动态孪生网络(DSiam)可以在线学习目标的外观变化，使用连续的视频序列进行训练，提高跟踪的性能。孪生提案网络的高性能视觉跟踪(SiamRPN)将跟踪问题抽象为检测问题，使用了目标检测中常用的区域提案网络(RPN)，可以对目标作更精准的预测。快速的在线对象跟踪和分割：统一方法(SiamMask)在添加了二值掩膜(mask)分支，提出了一个对视频目标跟踪和视频目标分割的统一框架。但是，基于相关滤波的跟踪器通过建立并实时更新一个高效的目标表示模型来进行跟踪，这样会增加大量的计算成本，造成跟踪系统难以满足实时性，其循环采样生成的虚拟样本容易造成边界效应，当目标发生剧烈变化或者被遮挡时容易造成跟踪的漂移和丢失。单模型的一个滤波器难以应对目标的遮挡或者旋转变化，造成跟踪系统的鲁棒性低；而基于孪生网络的目标跟踪以第一帧为模板进行跟踪，且在后续帧中不再更新模板，造成跟踪鲁棒性较差，并且基于孪生网络的跟踪系统具有较高的硬件要求，且网络的训练需要大量的数据，因此，基于孪生网络的跟踪的应用受到了一定程度的限制。
技术实现思路
本专利技术的目的是提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置，提高了目标跟踪的鲁棒性和准确率，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰问题。本专利技术第一方面提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法，包括：获取视频序列，视频序列为连续帧的视频图像；根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果；根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，局部滤波器至少为两个；根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；若满足，则根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；若不满足，则根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。进一步的，根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果，包括：获取视频序列的第一帧视频图像中的目标的目标信息；根据目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；对第t帧视频图像中的目标的候选区域进行划分，得到候选区域图像块，候选区域图像块的大小为第t-1帧中目标大小的两倍，t为大于或等于2的正整数；对候选区域图像块进行去均值处理，得到去均值候选区域图像块；在去均值候选区域图像块采集目标的不同大小的尺度样本，构建得到尺度金字塔模型；利用预先训练的深度卷积神经网络模型对尺度金字塔模型进行卷积特征提取，得到目标的深度卷积特征图；通过消除边界效应余弦窗对深度卷积特征图进行消除边界效应处理；根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；根据相关滤波器计算得到每一个卷积特征的相关滤波响应图；对相关滤波响应图进行加权融合，得到融合响应图；根据融合响应图构建得到基于卷积特征的全局滤波器；根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果。进一步的，根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，包括：获取视频序列的第一帧视频图像中的目标的目标信息，将目标划分为至少两个局部；根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；对第t帧视频图像中的目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，t为大于或等于2的正整数；对候选区域图像块进行去均值处理，得到去均值候选区域图本文档来自技高网...

【技术保护点】
1.一种基于全局-局部及卡尔曼滤波的目标跟踪方法，其特征在于，包括：/n获取视频序列，所述视频序列为连续帧的视频图像；/n根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果；/n根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，所述局部滤波器至少为两个；/n根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性；/n若满足，则根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果；/n若不满足，则根据所述视频序列构建得到卡尔曼滤波器，通过所述卡尔曼滤波器、所述第一位置结果及所述第二位置结果，计算得到所述目标的最终跟踪位置结果。/n

【技术特征摘要】
1.一种基于全局-局部及卡尔曼滤波的目标跟踪方法，其特征在于，包括：
获取视频序列，所述视频序列为连续帧的视频图像；
根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果；
根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，所述局部滤波器至少为两个；
根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性；
若满足，则根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果；
若不满足，则根据所述视频序列构建得到卡尔曼滤波器，通过所述卡尔曼滤波器、所述第一位置结果及所述第二位置结果，计算得到所述目标的最终跟踪位置结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果，包括：
获取所述视频序列的第一帧视频图像中的目标的目标信息；
根据所述目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的所述目标的候选区域进行划分，得到候选区域图像块，所述候选区域图像块的大小为第t-1帧中所述目标大小的两倍，所述t为大于或等于2的正整数；
对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
在所述去均值候选区域图像块采集所述目标的不同大小的尺度样本，构建得到尺度金字塔模型；
利用预先训练的深度卷积神经网络模型对所述尺度金字塔模型进行卷积特征提取，得到所述目标的深度卷积特征图；
通过所述消除边界效应余弦窗对所述深度卷积特征图进行消除边界效应处理；
根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
根据所述相关滤波器计算得到每一个卷积特征的相关滤波响应图；
对所述相关滤波响应图进行加权融合，得到融合响应图；
根据所述融合响应图构建得到基于卷积特征的全局滤波器；
根据当前帧视频图像中的所述目标的目标信息及所述基于卷积特征的全局滤波器，计算得到所述目标的第一位置结果。


3.根据权利要求1所述的方法，其特征在于，所述根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，包括：
获取所述视频序列的第一帧视频图像中的目标的目标信息，将所述目标划分为至少两个局部；
根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的所述目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，所述候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，所述t为大于或等于2的正整数；
对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据所述颜色特征和所述方向梯度直方图特征得到每一个局部的手工特征图；
通过所述消除边界效应余弦窗对所述手工特征图进行消除边界效应处理；
根据所述手工特征图进行自我核相关处理，得到核相关矩阵；
根据预构建的核相关滤波器和所述核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
根据当前帧视频图像中的所述目标的至少两个局部及所述基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
根据所有局部位置结果计算得到所述目标的第二位置结果。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性，包括：
根据所述第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
根据所述第一位置结果和所述第二位置结果，计算得到欧式距离；
判断所述欧式距离是否大于所述可靠圆阈值系数和所述可靠圆半径的乘积；
当所述欧式距离小于或等于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定满足所述目标跟踪可靠性；
当所述欧式距离大于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定不满足所述目标跟踪可靠性。


5.根据权利要求4所述的方法，其特征在于，所述根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果，包括：
根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
当所有的响应最大值都大于所述可靠圆半径时，将所述第一位置结果作为最终跟踪位置结果；
当存在任意一个响应最大值小于或等于所述可靠圆半径时，对所述第一位置结果和所述第二位置结果进行预置权重计算，得到最终跟踪位置结果。


6.一种基于全局-局部及卡尔曼滤波的目标跟踪装置，其特征在于，包括：
视频获取模块，用于获取视频序列，所述视频序列为连续帧的视频图像；
全局滤波模块，用于根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果；
局部滤波模块，用于根据...

【专利技术属性】
技术研发人员：张建明，刘阳，冯文俊，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43