【技术实现步骤摘要】
本专利技术涉及一种基于稀疏时空约束的相关滤波视觉跟踪方法，属于计算机视觉中的识别。
技术介绍
1、相关滤波(correlation filter,cf)算法基本思路为利用回归模型，将输入的目标模板特征图回归为高斯分布，其响应峰值所对应的位置即为目标当前帧下的位置。相关滤波算法中模板和搜索区域内各样本的相关性可通过快速傅里叶变换加速，这样大大降低了算法的复杂度，是一种高效快速的实时性跟踪算法。
2、但是目标的变形等外观变化的情况会导致目标部分区域外观变化过大，从而影响到相关滤波器对目标和背景的区分能力，如果不对搜索区域内的可靠性进行计算，会产生算法严重漂移的情况，一旦丢失了目标就代表着跟踪过程的失败，极大的影响到算法的跟踪效果。
3、目前相关滤波器的空间可靠性研究基本是通过在优化函数上增加惩罚项来实现，通常的做法是使用倒高斯分布对滤波器进行空间上的加权之后作为惩罚项(如srdcf算法)，从而使得滤波器更加关注于中心区域，也减小了边界效应和背景干扰。2019年的最新研究成果asrcf算法是将这个空间加权窗设为优化变量，再加上时间连续约束项，从而实现滤波器空间加权约束的自适应性。而稀疏先验也在相关滤波跟踪算法的发展历程中出现过，比如将滤波器的1范数(如ladcf算法)作为目标函数的惩罚项，以期望学习到更加稀疏有效的相关滤波器，从某种程度上增加了滤波器的可靠性，对变形区域和复杂背景干扰有一定的抑制作用。但是目前来说，将空间可靠性和稀疏先验相结合的相关滤波算法尚未有人提出。
技术实现思路
1、本专利技术的技术解决问题是：克服现有技术的不足，提供一种基于稀疏时空约束的相关滤波视觉跟踪方法，解决了在面对背景干扰或者目标变形等影响目标外观的问题。
2、本专利技术采用的技术方案为：
3、本专利技术公开了一种基于稀疏时空约束的相关滤波视觉跟踪方法，包括如下步骤：
4、s1：初始化目标模板集合，从视频帧序列中取出视频帧；
5、s2：对取出的视频帧提取目标，形成目标列表；从所述目标列表中按序取出一个目标，对取出的目标及该目标邻域区域计算方向梯度直方图特征和神经网络特征；直到目标列表遍历完毕；
6、s3：将所述目标列表中全部目标的方向梯度直方图特征和神经网络特征组合，得到组合特征；
7、s4：对所述组合特征，利用主成份分析方法降维，得到降维后的组合特征；
8、s5：根据所述目标模板集合构建相关滤波器，利用所述相关滤波器，对所述降维后的组合特征进行相关滤波，得到相关系数；如果该相关系数大于阈值，则利用所述降维后的组合特征更新当前目标模板集合，转入步骤s5；否则，进入步骤s6；
9、s6：判断视频帧序列是否遍历完成，若是，则结束；否则，则返回步骤s1。
10、进一步地，在上述跟踪方法中，对所述降维后的组合特征进行相关滤波，得到相关系数，具体为：
11、建立相关系数l(ft，mt)的计算方程；
12、利用parseval理论和交替方向乘子法，将相关系数l(ft，mt)的计算方程转换为增广拉格朗日等式l(fkt,mt,gkt,sk)；其中，为t帧第k通道的相关滤波器；mt为t帧的空间可靠性稀疏掩模；gkt和sk为第k个通道的中间变量；
13、根据增广拉格朗日等式l(fkt,mt,gkt,sk)，得到相关系数。
14、进一步地，在上述跟踪方法中，第k个通道的中间变量gkt和sk，具体为：
15、设置增广拉格朗日等式中的变量为初始值；
16、利用拉格朗日乘子和收敛关系式，多次迭代得到中间变量sk；
17、根据中间变量sk，利用拉格朗日乘子和收敛关系式，得到变量
18、进一步地，在上述跟踪方法中，所述拉格朗日乘子为：
19、
20、其中，⊙表示张量的对应位置点乘，p为搜索框区域对应二值掩模矩形窗；为t帧第k通道的相关滤波器；sk(n)为第k通道第n次迭代后的拉格朗日乘子，sk(n-1)为相应的第n-1次拉格朗日乘子，初始情况下，取单位阵。gkt表示第t帧第k通道的滤波算子模板化后的中间变量。
21、进一步地，在上述跟踪方法中，所述收敛关系式为：
22、
23、其中，为频域内滤波器在第j个像素上所有通道的值，μ是惩罚项系数，取值0.1，n为滤波器的面积大小；上标h为hermite矩阵，符号^为迭代后的变量稳定值；表示t帧搜索框区域在rgb颜色空间中第k(k∈(r,g,b))通道的区域特征图；yj表示搜索框区域对应的高斯响应图在第j个像素上的值。
24、进一步地，在上述跟踪方法中，所述相关系数l(ft，mt)的计算方程为：
25、
26、其中，上标t为帧序号，下标k为rgb三个颜色通道中的某一个通道；y为搜索框区域对应的高斯响应图；为t帧搜索框区域在rgb颜色空间中第k通道的区域特征图；p为搜索框区域对应二值掩模矩形窗；为t帧第k通道的相关滤波器；hk为rgb颜色空间中第k通道的目标模板集合；mt为t帧的空间可靠性稀疏掩模；mt-1为t-1帧的空间可靠性稀疏掩模；λ1、λ2、λ3分别为惩罚系数；⊙为张量的对应位置点乘，*为卷积操作。
27、进一步地，在上述跟踪方法中，增广拉格朗日等式l(fkt,mt,gkt,sk)，具体为：
28、
29、其中，μ是惩罚项系数，s和g是中间变量，sk为第k个通道的中间变量，s为三个颜色通道中间变量的整合；n为滤波器的面积大小。
30、进一步地，在上述跟踪方法中，t帧第k通道的相关滤波器，具体为：
31、
32、其中，λ1是惩罚稀疏。
33、进一步地，在上述跟踪方法中，t帧的空间可靠性稀疏掩模mt，具体为：
34、
35、其中，ε为常数，conj表示共轭。
36、本专利技术相对现有技术的有益效果为：
37、(1)本专利技术采用了相关滤波的框架，实现了更加稳定可靠和更高精度的目标跟踪效果；
38、(2)本专利技术是为了改善常规相关滤波跟踪技术对于目标形变、背景杂乱、存在一定遮挡的情况下，跟踪效果不佳的问题；
39、(3)本专利技术使用基于稀疏时空约束的优化方法，结合使用vgg深度网络提取的目标特征用于相关滤波框架下的跟踪模板更新策略，可以有效地改善常规相关滤波算法在目标形变、遮挡、背景杂乱情况下模板更新方法不稳健的情况，提升相关滤波跟踪的抗干扰能力。
本文档来自技高网...【技术保护点】
1.一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：对所述降维后的组合特征进行相关滤波，得到相关系数，具体为：
3.根据权利要求2所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：第k个通道的中间变量gkt和sk，具体为：
4.根据权利要求3所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：所述拉格朗日乘子为：
5.根据权利要求4所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：所述收敛关系式为：
6.根据权利要求5所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：所述相关系数L(ft,mt)的计算方程为：
7.根据权利要求6所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：增广拉格朗日等式L(fkt,mt,gkt,sk)，具体为：
8.根据权利要求7所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：t帧第k通道的相关滤波器，具体为
9.根据权利要求8所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：t帧的空间可靠性稀疏掩模mt，具体为：
...【技术特征摘要】
1.一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：对所述降维后的组合特征进行相关滤波，得到相关系数，具体为：
3.根据权利要求2所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：第k个通道的中间变量gkt和sk，具体为：
4.根据权利要求3所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：所述拉格朗日乘子为：
5.根据权利要求4所述的一种基于稀疏时空约束的相关滤波视觉跟踪方法，其特征在于：所...
【专利技术属性】
技术研发人员：雷宁，王越，王磊，李春梅，郭进一，凌龙，冯倩，吴同舟，杨天远，
申请(专利权)人：北京空间机电研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。