一种融合时间序列信息的目标跟踪方法技术

本发明专利技术公开了一种融合时间序列信息的目标跟踪方法，包括以下步骤：步骤1，输入图像序列，根据第t‑1帧图像中的初始位置p

【技术实现步骤摘要】
一种融合时间序列信息的目标跟踪方法
本专利技术涉及计算机视觉
，特别是涉及一种融合时间序列信息的目标跟踪方法。
技术介绍
计算机视觉是人工智能的主要分支，其主要任务是研究如何让机器可以像人一样理解及感知我们所处的物理世界，进而让机器人可以像人一样对物理世界的变化作出反应。随着诸如高性能图形处理器(GPU)及张量处理器的等硬件设备和并行计算等软件技术的出现，计算机视觉也得到了快速的发展。计算机视觉算法在很多任务上(如目标跟踪、检测)都达到了与人类相当的能力。视觉跟踪技术是计算机视觉领域中一项基础而关键的技术。在智能安防、交通监控、无人驾驶、人机交互及现代化军事等诸多实际问题中都有着广泛而重要的应用。视觉目标跟踪技术的方法主要有三大类：第一类是基于生成模型的视觉跟踪方法。这种方法的主要思想是提取正样本特征构建表观模型，在图中搜索与模型最匹配的区域作为跟踪的结果。但是这种方法主要利用了目标的信息，没有使用到背景信息，因此在处理图像中出现与目标相似的物体时，效果很差。第二类是基于判别模型的视觉跟踪算法。与生成式模型不同的是，判别式模型同时考虑了目标和背景信息，它利用提取的目标和背景信息来训练分类器，在检测时，将分类器与候选样本进行操作得到响应图，将响应图中的最大值作为目标的位置，当确定新的目标位置时，采集新的样本，对分类器进行跟新。第三类是基于深度学习的目标跟踪方法主要是利用深度特征强大的表征能力来进行跟踪。按照利用深度特征的方式可分为基于预训练深度特征的跟踪和基于离线训练特征的跟踪。基于深度特征的视觉跟踪算法在精度上有很大的提升，但算法的实时性仍然有待提高。现有的视觉跟踪技术虽然在跟踪的准确性和高效性都有很大的提高，但仍然存在许多具有挑战性的问题没有解决。这些问题包括如何利用视频序列在时间域的连续性提升表观模型的性能，如何更有效的利用正则项进行空间约束等。因此，针对以上这些问题，亟需提供一种准确性高，速度快的视觉目标跟踪方法。名词解释：HOG特征：是用于目标检测的特征描述器，它是用来计算局部图像梯度方向的统计值。CN颜色特征：是将RGB颜色空间映射到11维颜色属性空间上得到的视觉特征。ADMM算法：交替方向乘子法(ADMM)是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解就得到原问题的全局解。
技术实现思路
本专利技术的目的在于针对现有视觉跟踪技术的缺陷，提出了一种基于自回归建模和自适应空间约束的视觉跟踪方法，该方法在跟踪的精度和成功率上都有明显的提高。本专利技术的目的通过以下技术方案实现：提供了一种融合时间序列信息的目标跟踪方法，包括以下步骤：步骤1，输入图像序列，根据第t-1帧图像中的初始位置pt和尺度st，提取目标的HOG特征和CN颜色特征，将特征进行融合得到目标特征x；步骤2，将目标特征x与余弦窗进行点乘然后进行傅里叶变换；步骤3，用第t-1帧图像的的响应图计算局部响应变量Π、参数及参数步骤4，将第1帧到第t-1帧相关滤波器进行时序建模得到相关滤波器时序模型；步骤5，用最小二乘法求出相关滤波器时序模型的自回归参数；步骤6，求解目标函数计算出相关滤波ft、参数θt及λt；步骤7，在第t帧中的候选区域进行特征提取和预处理得到目标特征x，然后与相关滤波器ft在傅里叶域进行点乘运算操作，得到响应图，通过响应图确定当前帧的目标位置和尺度。进一步的改进，所述步骤1的具体步骤为：输入图像序列，根据t-1帧图像中的目标的初始位置pt和尺度st，提取目标的HOG特征和CN颜色特征；其中：提取HOG特征的具体方法是：首先将图像分成大小相等的图像块即细胞单元；然后计算细胞单元中各个像素的梯度，进行归一化，得到梯度直方图，将这些梯度直方图联合构成HOG特征；提取CN颜色特征的具体步骤是：将RGB颜色空间映射到11维颜色属性空间上即得到CN颜色特征，然后将HOG特征和颜色特征CN进行融合得到目标特征x。进一步的改进，所述步骤2的具体步骤为：将目标特征与余弦窗进行点乘然后进行傅里叶变换其中余弦窗的公式为：其中，xij为原图像片中的像素值；i表示图片中的横坐标，j表示图片中的纵坐标，n表示图片中有多少个像素，π为圆周率。进一步的改进，所述步骤3的具体步骤为：采用以下公式计算局部变化向量Π、参数及局部变化向量Π＝[|Π1|，|Π2|，…，|ΠT],向量Π的第i个元素定义为：式中[ψΔ]代表移位运算，Rit-2表示第t-2帧响应图Rt-2中的第i个元素；t-1表示图像序列为第t-1帧的时刻；Rt-1表示第t-1帧的响应图；T表示向量Π的个数；参数式中用来裁剪响应图的中心部分，u表示为空间正则化矩阵，δ＝0.2；T表示矩阵的行和列；表示T行T列的矩阵，t表示矩阵的行和列，Pt表示t行t列的矩阵；t≤T；参数式中和υ代表的是超参数，设置为域值θ为0.3；当全局响应的变化高于域值θ时，代表响应图中出现异常，如果低于域值θ，相关滤波器的时间约束变松弛；||Π||2表示向量Π的2范数；参数式中Rt-1代表第t-1帧的响应图，max表示取响应图的最大值。进一步的改进，所述步骤4的具体步骤为：在第1帧到第t-1帧利用相关滤波器建立时间序列{f1,f2.f3,…ft-1}，序列数据ft-1大小是M×N×C；ft-1表示第t-1帧的滤波器，M表示滤波器的长度，N表示滤波器的宽度，C表示滤波器的通道数；将相关滤波器进行自回归建模得到：ft＝φft-1+εt式中εt是零均值独立同分布白噪声序列，方差为σ2，且εt与f1,f2,…,ft-1独立；φ表示自回归参数。进一步的改进，所述步骤5的具体步骤为：用最小二乘法，求解ft＝φft-1+εt中的自回归参数模型ft＝φft-1+εt写成S(φ)＝(ft-ft-1φ)T(ft-ft-1φ)＝ftTft-2ftTft-1φ+φTft-1Tft-1φ对上式进行求导，可得因此，参数φ的最小二乘估计为：φ＝(ft-1Tft-1)-1ft-1Tft其中，S(φ)表示目标函数，T表示矩阵的转置。进一步的改进，所述步骤6的具体步骤为：求解目标函数计算出相关滤波ft、优化求解的时间正则项参数θt及参数λt的步骤如下：目标函数为：式中ft-1表示t-1时刻的相关滤波器大小是M×N×C，φ表示当前时刻和前一时刻滤波器的自相关参数大小是m×n×c，m表示自相关参数的长度，n表示自相关参数的宽，c表示自相关参数的维数，为参数，θt代表优化求解的时间正则项参数，为常量,d表示相关滤波器通道的维数，表示维本文档来自技高网...

【技术保护点】
1.一种融合时间序列信息的目标跟踪方法，其特征在于，包括以下步骤：/n步骤1，输入图像序列，根据第t-1帧图像中的初始位置p

【技术特征摘要】
1.一种融合时间序列信息的目标跟踪方法，其特征在于，包括以下步骤：
步骤1，输入图像序列，根据第t-1帧图像中的初始位置pt和尺度st，提取目标的HOG特征和CN颜色特征，将特征进行融合得到目标特征x；
步骤2，将目标特征x与余弦窗进行点乘然后进行傅里叶变换；
步骤3，用第t-1帧图像的的响应图计算局部响应变量Π、参数及参数
步骤4，将第1帧到第t-1帧相关滤波器进行时序建模得到相关滤波器时序模型；
步骤5，用最小二乘法求出相关滤波器时序模型的自回归参数
步骤6，求解目标函数计算出相关滤波ft、参数θt及λt；
步骤7，在第t帧中的候选区域进行特征提取和预处理得到目标特征x，然后与相关滤波器ft在傅里叶域进行点乘运算操作，得到响应图，通过响应图确定当前帧的目标位置和尺度。


2.根据权利要求1所述的一种融合时间序列信息的目标跟踪方法，
其特征在于，所述步骤1的具体步骤为：
输入图像序列，根据t-1帧图像中的目标的初始位置pt和尺度st，提取目标的HOG特征和CN颜色特征；
其中：提取HOG特征的具体方法是：首先将图像分成大小相等的图像块即细胞单元；然后计算细胞单元中各个像素的梯度，进行归一化，得到梯度直方图，将这些梯度直方图联合构成HOG特征；提取CN颜色特征的具体步骤是：将RGB颜色空间映射到11维颜色属性空间上即得到CN颜色特征，然后将HOG特征和颜色特征CN进行融合得到目标特征x。


3.根据权利要求2所述的一种基于融合时间序列信息的目标跟踪方法，其特征在于，所述步骤2的具体步骤为：
将目标特征与余弦窗进行点乘然后进行傅里叶变换
其中余弦窗的公式为：



其中，xij为原图像片中的像素值；i表示图片中的横坐标，j表示图片中的纵坐标，n表示图片中有多少个像素，π为圆周率。


4.根据权利要求3所述的一种融合时间序列信息的目标跟踪方法，其特征在于，所述步骤3的具体步骤为：
采用以下公式计算局部变化向量Π、参数及
局部变化向量Π＝[|Π1|，|Π2|，…，|ΠT|],向量Π的第i个元素定义为：



式中[ψΔ]代表移位运算，表示第t-2帧响应图Rt-2中的第i个元素；t-1表示图像序列为第t-1帧的时刻；Rt-1表示第t-1帧的响应图；T表示向量Π的个数；
参数



式中用来裁剪响应图的中心部分，u表示为空间正则化矩阵，δ＝0.2；T表示矩阵的行和列；表示T行T列的矩阵，t表示矩阵的行和列，Pt表示t行t列的矩阵；t≤T；
参数



式中和υ代表的是超参数，设置为υ＝2×10-5，域值θ为0.3；当全局响应的变化高于域值θ时，代表响应图中出现异常，如果低于域值θ，相关滤波器的时间约束变松弛；||Π||2表示向量Π的2范数；
参数



式中Rt-1代表第t-1帧的响应图，max表示取响应图的最大值。


5.根据权利要求4所述的一种融合时间序列信息的目标跟踪方法，其特征在于，所述步骤4的具体步骤为：
在第1帧到第t-1...

【专利技术属性】
技术研发人员：张振军，白金舟，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43