一种多模板时空关联的局部反联合稀疏表示目标跟踪方法技术

一种多模板时空关联的局部反联合稀疏目标跟踪方法，属于机器视觉和模式识别领域，旨在挖掘不同模板间的时空关联信息，解决复杂场景下的目标跟踪问题，降低计算复杂度。在粒子滤波框架下，采集候选目标及划分局部图像块，用以构造过完备字典；进行目标模板样本集的初始化及更新，并按获取的帧号对各个模板进行标号；建立时序权重矩阵，作为引导稀疏表示的时序先验信息；利用字典对目标模板集中的所有样本进行加权联合稀疏表示，并将目标函数中的联合稀疏约束项替换为含参数高斯函数进行优化问题求解，得到稀疏表示系数矩阵；根据系数矩阵中非零元素分布的行连续性及权值大小，得到候选目标的重要性打分，从而实现稳定的目标跟踪。

A local inverse combined sparse representation method for target tracking in multi template spatio temporal correlation

Local anti joint sparse target tracking method of a multi template spatial-temporal correlation, which belongs to the field of machine vision and pattern recognition, aimed at mining temporal association information between different templates, solve complex scene target tracking problem, reduce the computational complexity. In the framework of particle filtering, collecting and dividing local candidate image blocks to construct overcomplete dictionary; to initialize and update the target template sample set, and according to the frame number obtained for each template label; a sequential weight matrix, as a guide to the sparse representation of the timing of prior information; using a dictionary of all target samples the template set are weighted combined with sparse representation, and combined with the sparsity constraints in the objective function is replaced with parameters Gauss function to solve the optimization problem, get the sparse representation coefficient matrix; according to the non zero element distribution line continuity and weight coefficient matrix, the importance of the candidate target points, so as to realize the stable target tracking.

【技术实现步骤摘要】
一种多模板时空关联的局部反联合稀疏表示目标跟踪方法
本专利技术涉及机器视觉和模式识别领域，特别是一种多模板时空关联的局部反联合稀疏表示目标跟踪方法。
技术介绍
目标跟踪是计算机视觉领域的重要研究方向，目前已在公共交通智能监控系统、安防系统、人机交互等领域中得到广泛应用。由于跟踪场景复杂，目标表观模型常因受到外界物体的干扰及自身形变的影响发生较大且不可预估的变化，使得实现持续、稳定且鲁棒的目标跟踪面临巨大挑战。为解决上述问题，需要对待跟踪目标建立适当的表示模型，以克服目标在运动过程中的光照变化、尺度变化、局部遮挡等复杂情况。随着压缩感知技术的发展，基于稀疏表示的目标建模方法逐渐成为视觉跟踪中目标表示的一个重要分支。该方法对待跟踪目标在过完备字典上进行稀疏分解，通过较少的非零系数表示目标的主要信息。根据字典的构建方法，可以将基于稀疏表示建模的目标跟踪分为两类：稀疏表示跟踪和反稀疏表示跟踪。前者是利用动态目标模板和琐碎模板构建过完备字典，对每个候选目标分别进行稀疏表示。初始目标模板往往由视频前几帧已确定为正确的待跟踪目标构成，模板中的样本随着跟踪的进行不断更新使表示模型能够适应目标的外观变化。该方法将琐碎模板对候选目标进行表示的部分作为稀疏表示的残差并用来表示各个候选目标相对于模板的变化，跟踪结果由对应最小残差的候选目标确定。这种方法在光照变化等情况下具有较好的跟踪效果，但是当目标发生部分遮挡时，琐碎模板的表示具有二义性，既有可能是目标被遮挡的部分，也有可能是候选区域中包涵的背景，从而造成跟踪漂移甚至跟踪失败。反稀疏表示方法则利用候选目标构建过完备字典，对动态目标模板进行稀疏表示，通过表示系数对候选目标进行相似性度量。该方法不存在琐碎模板表示的二义性，并且也不会因为候选目标数量庞大影响跟踪速度，关键问题是如何在表示模型中充分利用目标模板中的信息从而更精确地度量各个候选目标。基于反稀疏表示的目标建模是一种新方法，由BZhuang等人(2014)提出，他们利用候选目标构造的字典对正模板和负模板分别进行稀疏表示，并通过原子在构建不同正负模板时的权重对他们进行相似性度量。该方法中正负模板的数量总和仍然非常庞大，因此同样需要求解多次稀疏约束的目标函数。随后DWang等人(2015)提出对最新更新的一个目标模板进行稀疏表示，并由稀疏表示系数权重对候选目标进行度量，但是该方法容易引起累计误差，若在一次模板更新中引入错误的模板，该模板会对随后的跟踪结果产生累计偏差。目前采用的基于稀疏表示的跟踪方法，不仅琐碎模板存在二义性，而且在粒子滤波框架下，为保证搜索阶段获取到目标的正确位置，对候选目标的采集数量非常庞大，因此该跟踪方法需要求解大量基于稀疏约束的目标函数，无法保证跟踪的实时性，同时在模板的在线学习更新中，没有考虑到提取模板时的时序信息；基于反稀疏表示的跟踪方法，同样需要求解多次稀疏约束的目标函数，计算复杂，且容易产生累计偏差。
技术实现思路
基于以上技术问题，本专利技术提供了一种多模板时空关联的局部反联合稀疏表示目标跟踪方法,旨在挖掘不同模板间的时空关联信息，从而解决目标在局部遮挡、光照变化、尺度变化等复杂场景下的跟踪问题，同时降低了计算复杂度。本专利技术的技术方案如下：一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，所述方法包括以下步骤：步骤1:对每一帧输入图像中目标的状态进行手动标定，得到每一帧图像的目标模板tm(x,y,m)，依次对M帧输入图像进行手动标定，得到目标模板集x与y表示坐标，s表示目标的状态，M表示目标模板个数，m表示目标模板序号，即时序标号，m∈[1,M]；步骤2:根据目标模板集中第M个目标模板的状态，利用目标的运动模型对第c帧图像进行粒子采样，获取N个候选目标fn(x,y)，形成候选目标集c为需要进行目标跟踪的当前帧，N表示候选目标总个数，n表示候选目标的序号，n∈[1,N]；步骤3:将每一个候选目标fn(x,y)划分为K个图像块，得到候选目标局部图像块N个候选目标局部图像块构成候选目标局部图像块集采用相同方式将每一个目标模板tm(x,y,m)划分为K个图像块，得到目标模板局部图像块M个标模板局部图像块构成目标模板局部图像块集k表示图像块的序号，K表示图像块的个数，k∈[1,K]；步骤4：根据目标模板局部图像块与候选目标局部图像块的余弦距离及目标模板对应的时序标号m计算时序权重矩阵步骤5：将候选目标局部图像块集中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成一系列子字典Dk；将目标模板局部图像块集中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成局部目标模板样本集Tk；步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩阵构建目标函数，即局部加权反联合稀疏表示模型，将目标函数中的l0,2范数约束用含参数高斯函数Fσ(X)替换为平滑l0,2范数项进行优化求解，得到稀疏表示系数矩阵步骤7:利用稀疏系数矩阵得到候选目标fn(x,y)的贡献指示性值筛选出重要候选目标集r表示重要候选目标的个数，th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]。步骤8:对重要候选目标集中重要候选目标的状态sIP(i)进行加权打分，决定最终的跟踪结果步骤9:更新目标模板，重复上述步骤进行第c+1帧图像的跟踪。进一步的，目标的状态sm用6个变量进行表示{xm,ym,θm,sm,αm,φm}，其中xm表示目标状态的横坐标、ym表示纵坐标、θm表示旋转角度、sm表示尺度、αm表示纵横比和φm表示歪斜度，目标模板的时序标号m由目标模板对应的帧号由小到大进行排列确定。进一步的，第c帧的状态利用运动模型进行更新，采用的公式如下：式中，{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态，{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态，grand是一组满足高斯分布的随机数(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度。进一步的，对候选目标fn(x,y)和目标模板tm(x,y,m)均采用相同尺寸滑窗以相同步长划分成K个图像块，K表示图像块的个数；进一步的，所述步骤4中，计算时序权重矩阵的公式为：式中，为第n个候选目标的第k个图像块，为第m个目标模板的第k个图像块，δ表示归一化常数。进一步的，所述步骤5中，子字典Dk的构建方式如下：式中，k表示图像块的序号，K表示图像块的个数，n表示候选目标的序号，N表示候选目标的总个数，表示将第n个候选目标中第k个图像块根据像素点排列位置按列展开得到的列向量；局部目标模板样本集Tk由目标模板局部图像块集中k值相同的图像块构成，其中表示将第m个目标模板的第k个图像块根据像素点排列位置按列展开得到的列向量。进一步的，所述步骤6中，目标函数为：式中，W表示时序权重矩阵由[W1,W2,...,Wk]构成，其中Wk表示对第k个目标模板图像块集进行加权反联合稀疏表示时对应的时序权重矩阵，Dk表示子字典，Tk表示局部目标模板样本集，X为稀疏表示系数矩阵由[X1,X2,...,Xk]构成，其中Xk表示不同目标模板中k值相同的图像块构成的表本文档来自技高网...

【技术保护点】
一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤1:对每一帧输入图像中目标的状态

【技术特征摘要】
1.一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤1:对每一帧输入图像中目标的状态进行手动标定，得到每一帧图像的目标模板tm(x,y,m)，依次对M帧输入图像进行手动标定，得到目标模板集x与y表示坐标，s表示目标的状态，M表示目标模板个数，m表示目标模板序号，即时序标号，m∈[1,M]；步骤2:根据目标模板集中第M个目标模板的状态，利用目标的运动模型对第c帧图像进行粒子采样，获取N个候选目标fn(x,y)，形成候选目标集c为需要进行目标跟踪的当前帧，N表示候选目标总个数，n表示候选目标的序号，n∈[1,N]；步骤3:将每一个候选目标fn(x,y)划分为K个图像块，得到候选目标局部图像块N个候选目标局部图像块构成候选目标局部图像块集采用相同方式将每一个目标模板tm(x,y,m)划分为K个图像块，得到目标模板局部图像块M个标模板局部图像块构成目标模板局部图像块集k表示图像块的序号，K表示图像块的个数，k∈[1,K]；步骤4：根据目标模板局部图像块与候选目标局部图像块的余弦距离及目标模板对应的时序标号m计算时序权重矩阵步骤5：将候选目标局部图像块集中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成一系列子字典Dk；将目标模板局部图像块集中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成局部目标模板样本集Tk；步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩构建目标函数，即局部加权反联合稀疏表示模型，将目标函数中的l0,2范数约束用含参数高斯函数Fσ(X)替换为平滑l0,2范数项进行优化求解，得到稀疏表示系数矩阵步骤7:利用稀疏系数矩阵得到候选目标fn(x,y)的贡献指示性值筛选出重要候选目标集r表示重要候选目标的个数，th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]。步骤8:对重要候选目标集中重要候选目标的状态sIP(i)进行加权打分，决定最终的跟踪结果步骤9:更新目标模板，重复上述步骤进行第c+1帧图像的跟踪。2.根据权利要求1所述的一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述步骤1中，目标的状态sm用6个变量进行表示{xm,ym,θm,sm,αm,φm}，其中xm表示目标状态的横坐标、ym表示纵坐标、θm表示旋转角度、sm表示尺度、αm表示纵横比和φm表示歪斜度，目标模板的时序标号m由目标模板对应的帧号由小到大进行排列确定。3.根据权利要求1所述的一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述步骤2中，第c帧的状态利用运动模型进行更新，采用的公式如下：式中，{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态，{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态，grand是一组满足高斯分布的随机数(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度。4.根据权利要求1所述的一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述步骤3中，对候选目标fn(x,y)和目标模板tm(x,y,m)均采用相同尺寸滑窗以相同步长划分成K个图像块，K表示图像块的个数。5.根据权利要求1所述的一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，其特征在于，所述步骤4中，计算时序权重矩阵的公式为：...

【专利技术属性】
技术研发人员：彭真明，李美惠，陈科，潘翯，陈颖频，王晓阳，孙伟嘉，任丛雅旭，卓励然，蒲恬，张萍，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51