本发明专利技术公开了一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法，其步骤如下：初始化字典；采用双向SIFT流技术评估目标运动位移：对相邻两帧图像中的所有像素点采用SIFT流技术进行特征匹配，采用点轨迹滤波机制，建立跟踪目标中像素点的可靠运动轨迹集合，依据可靠点对的集合，确定跟踪目标的运动状态；获取观测样本集合；依据稀疏表示理论，计算稀疏外观模型的稀疏系数矩阵；获得观测样本的重构误差；字典模板更新；重复上述操作实现大位移运动目标的跟踪。本发明专利技术对动态摄像机下目标存在帧间运动大位移时能够有效地实现持续性跟踪，实现了帧间存在大运动位移目标的精确跟踪，提高了在复杂场景下跟踪的适应能力。
【技术实现步骤摘要】
本专利技术涉及动态摄像机下视频目标持续跟踪的
，尤其涉及一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法。
技术介绍
在传统视频跟踪方法研究中，大部分研究者给定了一个运动平滑性假设条件，也就是说目标在视频帧间的运动变化是连续且光滑的。然而，在实际跟踪场景中，往往会因为摄像机视野切换或晃动、视频帧被抽取、目标快速运动和低帧率视频采集等客观因素的存在，导致目标在视频帧间产生了大的运动位移，破坏了传统研究方法的假定条件，引起现有大量目标跟踪算法的执行失败。为了适应跟踪目标这种异常的运动行为，保证算法能够持续地跟踪兴趣目标，必须提出一种新的视频目标跟踪算法。针对上述问题，很多研究者提出了一些研究思路：(1)基于检测方法的目标跟踪，旨在利用检测手段搜索整个状态空间以覆盖不同的运动位移，这类方法的优点是能够在特定的场景下适应大位移运动目标的跟踪问题，但其易遭遇局部最优化问题，而且扩大的搜索范围会导致大量的背景信息有待处理，如果出现背景复杂的场景跟踪这类方法容易失败；(2)基于多尺度和分层策略的目标跟踪，旨在利用多尺度和分层策略使得目标运动在高尺度或高层空间下再次满足平滑性条件；这类方法的优点是简单易操作，但其适合于目标帧间运动位移不太大的情况下，而且严重依赖分解的层数或尺度数目；(3)基于多运动模型的目标跟踪，旨在通过预先设计的运动模型并借助其能够容忍各种运动位移量而实现有效跟踪，这类方法的优点是直接从目标运动入手能够精确实现不确定运作状态的评估，但是该类方法严重依赖精确的运动模型，在现实中因为目标运动的不确定性其难以广义化；(4)基于马尔科夫链蒙特卡罗(Markov-chainMonteCarlo，MCMC)的目标跟踪，旨在通过不同的重要性采样方法提供能够覆盖目标所有运动状态以解决目标的大位移运动问题。该类方法的优点是能够处理目标的多模态分布和目标丢失再跟踪的问题，但该类方法需要先验信息，而且容易陷入局部最优化。因此，研究一种基于双向SIFT流运动评估的目标稀疏跟踪新方法，能够直接从帧间运动场出发评估目标运动位移的程度，不需要任何先验信息；能够避免局部陷入问题，这将给大位移目标持续性跟踪方法研究指引一个新的研究方向；通过对该技术的深入研究能够尽可能地减少目标持续性跟踪技术的约束条件，大大促进跟踪方法的实际应用化进程。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法，将扩展SIFT流方法引入到视频目标跟踪问题中，结合稀疏外观表示理论通过在线学习实现外观模型的实时更新，对动态摄像机下目标存在帧间运动大位移时能够有效地实现持续性跟踪，实现了帧间存在大运动位移目标的精确跟踪，提高了在复杂场景下跟踪的适应能力。为了达到上述目的，本专利技术的技术方案是：将SIFT流方法引入到跟踪问题中，提出双向SIFT流运动评估方法，利用其特性可以实现对目标帧间的大运动位移进行预测；采用稀疏表示理论描述目标外观，有效地提高了外观模型对部分遮挡和光线变化等环境因素的容忍度；观测样本采样有效性的提高，能够构建良好的字典矩阵，再通过字典学习，保证了外观模型的鲁棒性。本专利技术中提出的双SIFT流运动评估策略，能够保证目标帧间产生大位移时，获得好的观测样本集合，从而跟踪能够适应目标在帧间存在大运动位移的情况。一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法，其步骤如下：步骤1：初始化字典：读取第一帧图像数据信息以及目标在第一帧内给定的状态参数，在目标初始位置处稠密采样产生目标模板T1,T2,…,Tn，选择单位矩阵Im作为琐屑模板，将琐屑模板压缩为G*J的大小，再拉伸为m维列向量，构造初始的字典其中，DT表示字典模板，Tj表示第j个目标的正样本，j＝1,…,n，n表示模板的数目，G和J分别表示琐屑模板的宽度和高度，m表示向量的维数，表示实数域；步骤2：采用双向SIFT流技术评估目标运动位移：新一帧图像到来时，依据双向SIFT流技术评估目标在上一帧图像和新一帧图像之间的运动位移量，其包括的主要内容为：(1)对相邻两帧图像中的所有像素点采用SIFT流技术进行特征匹配，相邻两帧图像中的所有像素点匹配问题转换成采用置信度传播方法求解下式的最优化问题：其中，wk(p)＝(uk(p),vk(p))是像素点p＝(x,y)从第k-1到k帧的位移向量，u,v分别表示水平和垂直方向，x,y表示点p在图像中的坐标值，sk(p)是像素点p在第k帧图像内的SIFT特征向量；N表示在构建马尔科夫随机场时邻域结构边的数目，α是一个像素在两帧间运动位移量的惩罚因子，β表示代价项的增长率，d是一个截断因子，p,q分别表示第k-1帧和k帧中对应的两个像素点；(2)依据目标在第k-1帧内的状态信息，获得目标所组成的像素点集合采用SIFT流算法获得像素点集合在第k帧图像中的预测点集合再对预测点集合中所有点做反方向的SIFT流算法处理；依据SIFT流前后一致性评估参数ErorFB，对预测点集合进行滤波，获得可靠像素点集合Pk，同时获得k-1帧内相匹配的点的集合Pk-1，构建帧间目标上的可靠匹配像素点对集合预测点集合的滤波准则如下：当ErorFB≤ThFB时，该像素点保留，否则，该像素点滤除；其中，表示k-1帧目标包含的像素点的集合，表示在第k帧内对应的预测点的集合，表示对集合进行滤波后跟踪目标所包含的像素点集合，表示集合Pk在k-1帧图像内对应的像素点的集合，m表示像素点的数目；ThFB为置信度传播方法对像素点进行前后一致性评估所能够容忍的最大误差阈值；(3)依据可靠匹配像素点对集合Pk,k-1确定跟踪目标在帧间的运动状态：下一帧内目标的位移量通过可靠点对之间位移量的中值获得，目标的尺度通过前后两帧内两点间距离比值的中值确定，目标的宽度和高度通过上帧内目标尺寸和尺度值共同确定；步骤3：获取观测样本集合：对新的一帧图像，依据步骤2的运动评估策略获得新一帧图像中目标的预测状态，对其进行高斯采样获得候选样本集合，同样将这些候选样本压缩为G*J的大小，再拉伸为m维列向量，构造观测矩阵Y＝[y1,…,yl]，其中y1,…,yl为观测样本，l为候选样本模板的个数；步骤4：观测样本的一般线性表示形式：yi＝DTαi+ε＝αi1d1+αi2d2+…+αindn+εi,i＝1,2,…,l；其中，DT＝[d1,d2…dn]是正样本构造的字典模板，εi表示残差项，αi＝[αi1,αi2,…,αin]是第i个观测样本的线性表示的分解系数；步骤5：依据稀疏表示理论，计算稀疏外观模型的稀疏系数矩阵，系数αi的求解可以转换成以下的最小化问题：通过L1范数最小化方式对上式进行求解；其中，||·||2和||·||1分别代表2范数和1范数，λ为正则化因子；步骤6：获得观测样本的重构误差：结合步骤5求解出来的系数αi和字典DT，求解每个观测模板在这种外观模型表示下的重构误差值：选择重构误差最小的观测样本[x,y,width,high]作为目标的跟踪结果；其中，width,high分别表示跟踪目标的宽度和高度；构建似然函数，确定最佳候选样本：依据获得的稀疏系数计算每个观测样本yi的重构误差，建立似然函数来说明观测样本是跟踪目标的可能性，似然函数表示为exp本文档来自技高网...
【技术保护点】
一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法，其特征在于，其步骤如下：步骤1：初始化字典：读取第一帧图像数据信息以及目标在第一帧内给定的状态参数，在目标初始位置处稠密采样产生目标模板T1,T2,…,Tn，选择单位矩阵Im作为琐屑模板，将琐屑模板压缩为G*J的大小，再拉伸为m维列向量，构造初始的字典其中，DT表示字典模板，Tj表示第j个目标的正样本，j＝1,…,n，n表示模板的数目，G和J分别表示琐屑模板的宽度和高度，m表示向量的维数，表示实数域；步骤2：采用双向SIFT流技术评估目标运动位移：新一帧图像到来时，依据双向SIFT流技术评估目标在上一帧图像和新一帧图像之间的运动位移量，其包括的主要内容为：(1)对相邻两帧图像中的所有像素点采用SIFT流技术进行特征匹配，相邻两帧图像中的所有像素点匹配问题转换成采用置信度传播方法求解下式的最优化问题：Ek(wk(p))=Σp||sk(p)-sk-1(p)||1+1/α2Σp(uk2(p)+vk2(p))+Σ(p,q)∈Nmin(β|uk(p)-uk(q)|,d)+min(β|vk(p)-vk(q)|,d)]]>其中，wk(p)＝(uk(p),vk(p))是像素点p＝(x,y)从第k‑1到k帧的位移向量，u,v分别表示水平和垂直方向，x,y表示点p在图像中的坐标值，sk(p)是像素点p在第k帧图像内的SIFT特征向量；N表示在构建马尔科夫随机场时邻域结构边的数目，α是一个像素在两帧间运动位移量的惩罚因子，β表示代价项的增长率，d是一个截断因子，p,q分别表示第k‑1帧和k帧中对应的两个像素点；(2)依据目标在第k‑1帧内的状态信息，获得目标所组成的像素点集合采用SIFT流算法获得像素点集合在第k帧图像中的预测点集合再对预测点集合中所有点做反方向的SIFT流算法处理；依据SIFT流前后一致性评估参数ErorFB，对预测点集合进行滤波，获得可靠像素点集合Pk，同时获得k‑1帧内相匹配的点的集合Pk‑1，构建帧间目标上的可靠匹配像素点对集合预测点集合的滤波准则如下：当ErorFB≤ThFB时，该像素点保留，否则，该像素点滤除；其中，表示k‑1帧目标包含的像素点的集合，表示在第k帧内对应的预测点的集合，表示对集合进行滤波后跟踪目标所包含的像素点集合，表示集合Pk在k‑1帧图像内对应的像素点的集合，m表示像素点的数目；ThFB为置信度传播方法对像素点进行前后一致性评估所能够容忍的最大误差阈值；(3)依据可靠匹配像素点对集合Pk,k‑1确定跟踪目标在帧间的运动状态：下一帧内目标的位移量通过可靠点对之间位移量的中值获得，目标的尺度通过前后两帧内两点间距离比值的中值确定，目标的宽度和高度通过上帧内目标尺寸和尺度值共同确定；步骤3：获取观测样本集合：对新的一帧图像，依据步骤2的运动评估策略获得新一帧图像中目标的预测状态，对其进行高斯采样获得候选样本集合，同样将这些候选样本压缩为G*J的大小，再拉伸为m维列向量，构造观测矩阵Y＝[y1,…,yl]，其中y1,…,yl为观测样本，l为候选样本模板的个数；步骤4：观测样本的一般线性表示形式：yi＝DTαi+ε＝αi1d1+αi2d2+…+αindn+εi,i＝1,2,…,l；其中，DT＝[d1,d2…dn]是正样本构造的字典模板，εi表示残差项，αi＝[αi1,αi2,…,αin]是第i个观测样本的线性表示的分解系数；步骤5：依据稀疏表示理论，计算稀疏外观模型的稀疏系数矩阵，系数αi的求解可以转换成以下的最小化问题：min||yi-Dαi||22+λ||αi||1,]]>通过L1范数最小化方式对上式进行求解；其中，||·||2和||·||1分别代表2范数和1范数，λ为正则化因子；步骤6：获得观测样本的重构误差：结合步骤5求解出来的系数αi和字典DT，求解每个观测模板在这种外观模型表示下的重构误差值：ei=||yi-DTαi||22,i=1,2,...,l]]>选择重构误差最小的观测样本[x,y,width,high]作为目标的跟踪结果；其中，width,high分别表示跟踪目标的宽度和高度；构建似然函数，确定最佳候选样本：依据获得的稀疏系数计算每个观测样本yi的重构误差，建立似然函数来说明观测样本是跟踪目标的可能性，似然函数表示为exp(‑Π*ei)，Π表示比例因子；利用最大似然函数估计，获得最佳的目标候选样本作为跟踪结果；步骤7：字典模板DT更新：依据置信度阈值方法确定字典模板的更新形式；重复步骤2‑7的操作实现大位移运动目标的跟踪。...
【技术特征摘要】
1.一种基于双向SIFT流运动评估的大位移目标稀疏跟踪方法，其特征在于，其步骤如下：步骤1：初始化字典：读取第一帧图像数据信息以及目标在第一帧内给定的状态参数，在目标初始位置处稠密采样产生目标模板T1,T2,…,Tn，选择单位矩阵Im作为琐屑模板，将琐屑模板压缩为G*J的大小，再拉伸为m维列向量，构造初始的字典其中，DT表示字典模板，Tj表示第j个目标的正样本，j＝1,…,n，n表示模板的数目，G和J分别表示琐屑模板的宽度和高度，m表示向量的维数，表示实数域；步骤2：采用双向SIFT流技术评估目标运动位移：新一帧图像到来时，依据双向SIFT流技术评估目标在上一帧图像和新一帧图像之间的运动位移量，其包括的主要内容为：(1)对相邻两帧图像中的所有像素点采用SIFT流技术进行特征匹配，相邻两帧图像中的所有像素点匹配问题转换成采用置信度传播方法求解下式的最优化问题：Ek(wk(p))=Σp||sk(p)-sk-1(p)||1+1/α2Σp(uk2(p)+vk2(p))+Σ(p,q)∈Nmin(β|uk(p)-uk(q)|,d)+min(β|vk(p)-vk(q)|,d)]]>其中，wk(p)＝(uk(p),vk(p))是像素点p＝(x,y)从第k-1到k帧的位移向量，u,v分别表示水平和垂直方向，x,y表示点p在图像中的坐标值，sk(p)是像素点p在第k帧图像内的SIFT特征向量；N表示在构建马尔科夫随机场时邻域结构边的数目，α是一个像素在两帧间运动位移量的惩罚因子，β表示代价项的增长率，d是一个截断因子，p,q分别表示第k-1帧和k帧中对应的两个像素点；(2)依据目标在第k-1帧内的状态信息，获得目标所组成的像素点集合采用SIFT流算法获得像素点集合在第k帧图像中的预测点集合再对预测点集合中所有点做反方向的SIFT流算法处理；依据SIFT流前后一致性评估参数ErorFB，对预测点集合进行滤波，获得可靠像素点集合Pk，同时获得k-1帧内相匹配的点的集合Pk-1，构建帧间目标上的可靠匹配像素点对集合预测点集合的滤波准则如下：当ErorFB≤ThFB时，该像素点保留，否则，该像素点滤除；其中，表示k-1帧目标包含的像素点的集合，表示在第k帧内对应的预测点的集合，表示对集合进行滤波后跟踪目标所包含的像素点集合，表示集合Pk在k-1帧图像内对应的像素点的集合，m表示像素点的数目；ThFB为置信度传播方法对像素点进行前后一致性评估所能够容忍的最大误差阈值；(3)依据可靠匹配像素点对集合Pk,k-1确定跟踪目标在帧间的运动状态：下一帧内目标的位移量通过可靠点对...
【专利技术属性】
技术研发人员：张焕龙，钱晓亮，陈虎，吴青娥，贺振东，刁智华，王延峰，
申请(专利权)人：郑州轻工业学院，
类型：发明
国别省市：河南;41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。