一种基于螺旋视觉‑运动模型的视频跟踪方法技术

本发明专利技术公开了一种基于螺旋视觉‑运动模型的视频跟踪方法，该方法将视频目标跟踪描述为一个类螺旋型过程，设计一个收敛性迭代模型寻求最优跟踪结果以解决这一跟踪难题；为了发挥视觉型跟踪方法与运动型跟踪方法各自的优势，将视觉型跟踪模型与运动型跟踪模型相结合，配合协作，优势互补；将每个迭代过程分为视觉分类、运动估计与风险分析三个学习步骤，并根据各自的表现做出相应修正；整个视频跟踪被设计为一个通过周期性迭代将分别来自于视觉层与运动层上的弱分类器组合成一个强分类器的过程。

A method for tracking the visual spiral motion model based on video

The invention discloses a method for tracking the visual spiral motion model based on the video, the video target tracking is described as a kind of spiral type process, the design of a convergent iterative model to find the optimal tracking results to solve the tracking problem; in order to play advantage of visual tracking method and tracking methods and their respective sports visual tracking, tracking model and motion model are combined with the collaboration, complementary advantages; each iteration process is divided into visual classification, motion estimation and risk analysis of the three steps to learn according to their own table now make the corresponding correction; the video tracking is designed as a through periodic iteration will come from in the visual layer and motion layer on the weak classifiers is combined into a strong classifier process.

【技术实现步骤摘要】
一种基于螺旋视觉-运动模型的视频跟踪方法
本专利技术涉及一种基于螺旋视觉-运动模型的视频跟踪方法，属于视频目标跟踪

技术介绍
在实际生活中，在银行、ATM自动取款机、交通信号灯、高速公路、公交车站、地铁站、机场、码头等公共场所或重要设施场所设立视频监控摄像头对行人行为进行实时监视是十分必要的。此外，在追踪通缉犯时，为了减轻繁琐的人工工作量，需要在无人监守的视频监测系统中对复杂环境下的行人和车辆进行实时跟踪与人脸识别，并对其进行行为分析。因此，对移动物体进行有效的检测和跟踪在监视公共运输及重要资产的问题上起到极其关键的作用。21世纪是一个充满了机遇和挑战的时代，对信息提取、检测、交流等领域的发展提出了更高的要求，从而对视频目标跟踪也提出了与日俱增的要求。视频跟踪是一种对摄像机采集到的视频图像序列中感兴趣目标进行追踪和定位的过程，它能够挖掘出图像所包含的时间域和空间域上的特征信息，对感兴趣的运动目标进行特征提取、捕捉和跟踪，从而计算出运动目标在每一帧图像中的二维坐标位置或运动参数，这些收集到的信息可用来实现更高层的视觉任务，如目标形态行为识别、运动模式分析、图形理解等。视频目标跟踪是计算机视觉研究的核心课题之一，计算机视觉是一种用计算机替代人眼和人脑感知和理解外界的学科，目前是非常前沿的研究领域之一，它融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术。随着计算机和存储成本的大幅下降，高端计算机和高质量视频摄影机的不断普及，以及视频跟踪技术越来越广阔的市场前景，人们对自动视频分析能力的需求不断提升，从而更加关注视频目标跟踪算法，这也使得大量关于视频目标跟踪技术的文献在近几年中先后涌现。虽然视频跟踪技术获得了广泛的研究并取得了长足的进步，但是现实环境中许多情况的发生都会影响视频图像中对目标的可靠跟踪，如三维空间投影到二维平面所造成的信息缺失，图像中不可避免的噪声，目标自身在运动过程中的旋转、缩放、扭曲等复杂变化，加上背景的拥簇、复杂物体移动、外物遮挡和光线变化等，因此设计出能够在各种复杂环境下准确、快速、稳定地跟踪视频目标的方法，仍然是一项极具挑战性的任务和急需解决的课题。视频跟踪方法可分为视觉型与运动型方法。前者利用视频目标的视觉表观特征在每一帧视频中独立地进行定位跟踪，忽略了帧与帧之间的关联性，因此对目标视觉表观特征的变化具有高敏感性。相反后者着重于利用帧间信息对目标的运动状态进行估计，但容易在跟踪中积累误差。由于存在各自的优缺点，单独的视觉型与运动型方法都无法实现稳健、可靠的跟踪，本专利技术提出的视觉-运动模型能够有效解决上述难题。此外，视频目标跟踪问题实质是一个极小化求解问题，该问题具有数值不稳定性，是个非确定性问题，现有视频跟踪方法具有自上而下的结构特点，因此存在低灵活性、误差积累和漂移问题，本专利技术提出的类螺旋型方法能够有效解决上述难题。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于螺旋视觉-运动模型的视频跟踪方法，为了解决视频目标跟踪这一非确定性问题，与传统自上而下结构的跟踪方法不同的是，本专利技术从发挥视觉型跟踪方法与运动型跟踪方法各自优势的思想出发，将视觉型跟踪模型与运动型跟踪模型相结合，配合协作，优势互补。此外，将视频目标跟踪描述为一个类螺旋型过程，设计一个收敛性迭代模型寻求最优跟踪结果以解决视频目标跟踪这一非确定性难题。将每个迭代过程分为视觉分类、运动估计与风险分析三个学习步骤，并根据各自的表现做出相应修正。将整个视频跟踪设计成一个通过周期性迭代将分别来自于视觉层与运动层上的弱分类器组合成一个强分类器的过程。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于螺旋视觉-运动模型的视频跟踪方法，其特征在于，包括以下步骤：步骤1)输入每帧测试图像。步骤2)在步骤1)中输入的测试图像的前一帧图像目标位置周围提取候选样本图像块，其中，第一帧图像目标位置由手工框定。步骤3)利用压缩跟踪原理，将步骤2)中取得的候选样本图像块进行高维向量压缩映射，得到低维的压缩特征向量。步骤4)通过朴素贝叶斯分类器对步骤3)中得到的压缩特征向量计算分类器响应值，并计算最大响应值，对应的候选样本框位置记为视觉层跟踪结果，并更新分类器参数。步骤5)通过步骤3)中得到的压缩特征向量计算视觉层误差率。步骤6)根据步骤4得到的视觉层跟踪结果利用卡尔曼滤波器计算运动层跟踪结果。步骤7)通过步骤6)得到的运动层跟踪结果计算运动层误差率。步骤8)计算步骤4得到的视觉层跟踪结果与模板间的欧氏距离，以及步骤6)得到的运动层跟踪结果与模板间的欧氏距离，并分别计算出视觉层似然函数与运动层似然函数。步骤9)通过步骤8)得到的视觉层似然函数与运动层似然函数分别计算视觉层权值与运动层权值。步骤10)通过步骤9)得到视觉层权值与运动层权值以及步骤5)得到的视觉层误差率与步骤7)得到的运动层误差率计算风险，当迭代过程中的风险函数减少值小于阈值时，停止迭代。步骤11)将步骤10)停止迭代得到的运动层跟踪结果作为该迭代过程的最终运动层跟踪结果。步骤12)在步骤11)得到的最终运动层跟踪结果周围提取正负样本，为下一帧跟踪做准备。所述步骤2)中提取候选样本图像块方法为：其中，k为迭代次数，x(k)为位置坐标，为上一次迭代的运动层跟踪结果，γ为样本参数，Xγ表示候选样本图像块。所述步骤3)中计算低维的压缩特征向量步骤如下：步骤3-1)根据提取到的候选样本图像块，通过类哈尔小波滤波器计算候选样本图像块的多尺度高维图像特征向量表示n维实数。步骤3-2)通过一个随机矩阵表示m×n维实数，将h压缩为压缩特征向量v＝Φh其中，m远小于n(即|m±n|/n≈1)，随机矩阵Φ定义为：Φij为矩阵Φ的第i行第j列的元素，s＝n/4。所述步骤4)中计算分类器最大响应值步骤如下：步骤4-1)将第i个候选样本图像块的压缩特征向量表示为v(i)＝{v1(i),…,vm(i)}，假设v(i)中的每个元素vj(i)，j＝1,…,m相互独立，并用朴素贝叶斯分类器对其进行建模，则第k次迭代过程中v(i)的分类器响应值S(k)(i)为：其中，p(y(k)＝1)＝p(y(k)＝0)，y(k)∈{0,1}表示正负样本标签，表示第k次迭代得到的vj(i)，和分别表示正负后验概率，假设分类器中的条件分布是高斯分布：步骤4-2)计算分类器最大响应值：S(k)(im)＝argmaxiS(k)(i)并将该最大响应值S(k)(im)对应的候选样本框位置记为视觉层跟踪结果其对应的候选样本图像块为第im个候选样本图像块。步骤4-3)更新分类器参数方法为：正高斯参数通过和的方式更新，其中学习参数λ>0，μ1(k)和σ1(k)为积累高斯均值和方差。负高斯参数更新方式同正高斯分布。所述步骤5)中计算视觉层误差率步骤如下：步骤5-1)通过下式计算第i个候选样本图像块的误差error(k)(i)：步骤5-2)将第im个候选样本图像块的归一化误差率定义为视觉层误差率所述步骤6)利用卡尔曼滤波器计算运动层跟踪结果步骤如下：步骤6-1)在卡尔曼滤波器的预测阶段，计算状态和误差协方差：其中，F为状态矩阵，P为状态估计误差的协方差矩阵，Q为系统噪声协方差，k表示本文档来自技高网...

【技术保护点】
一种基于螺旋视觉‑运动模型的视频跟踪方法，其特征在于，包括以下步骤：步骤1)输入每帧测试图像；步骤2)在步骤1)中输入的测试图像的前一帧图像目标位置周围提取候选样本图像块，其中，第一帧图像目标位置由手工框定；步骤3)利用压缩跟踪原理，将步骤2)中取得的候选样本图像块进行高维向量压缩映射，得到低维的压缩特征向量；步骤4)通过朴素贝叶斯分类器对步骤3)中得到的压缩特征向量计算分类器响应值，并计算最大响应值，对应的候选样本框位置记为视觉层跟踪结果，并更新分类器参数；步骤5)通过步骤3)中得到的压缩特征向量计算视觉层误差率；步骤6)根据步骤4)得到的视觉层跟踪结果利用卡尔曼滤波器计算运动层跟踪结果；步骤7)通过步骤6)得到的运动层跟踪结果计算运动层误差率；步骤8)计算步骤4得到的视觉层跟踪结果与模板间的欧氏距离，以及步骤6)得到的运动层跟踪结果与模板间的欧氏距离，并分别计算出视觉层似然函数与运动层似然函数；步骤9)通过步骤8)得到的视觉层似然函数与运动层似然函数分别计算视觉层权值与运动层权值；步骤10)通过步骤9)得到视觉层权值与运动层权值以及步骤5)得到的视觉层误差率与步骤7)得到的运动层误差率计算风险，当迭代过程中的风险函数减少值小于阈值时，停止迭代；步骤11)将步骤10)停止迭代得到的运动层跟踪结果作为该迭代过程的最终运动层跟踪结果；步骤12)在步骤11)得到的最终运动层跟踪结果周围提取正负样本，为下一帧跟踪做准备。...

【技术特征摘要】
1.一种基于螺旋视觉-运动模型的视频跟踪方法，其特征在于，包括以下步骤：步骤1)输入每帧测试图像；步骤2)在步骤1)中输入的测试图像的前一帧图像目标位置周围提取候选样本图像块，其中，第一帧图像目标位置由手工框定；步骤3)利用压缩跟踪原理，将步骤2)中取得的候选样本图像块进行高维向量压缩映射，得到低维的压缩特征向量；步骤4)通过朴素贝叶斯分类器对步骤3)中得到的压缩特征向量计算分类器响应值，并计算最大响应值，对应的候选样本框位置记为视觉层跟踪结果，并更新分类器参数；步骤5)通过步骤3)中得到的压缩特征向量计算视觉层误差率；步骤6)根据步骤4)得到的视觉层跟踪结果利用卡尔曼滤波器计算运动层跟踪结果；步骤7)通过步骤6)得到的运动层跟踪结果计算运动层误差率；步骤8)计算步骤4得到的视觉层跟踪结果与模板间的欧氏距离，以及步骤6)得到的运动层跟踪结果与模板间的欧氏距离，并分别计算出视觉层似然函数与运动层似然函数；步骤9)通过步骤8)得到的视觉层似然函数与运动层似然函数分别计算视觉层权值与运动层权值；步骤10)通过步骤9)得到视觉层权值与运动层权值以及步骤5)得到的视觉层误差率与步骤7)得到的运动层误差率计算风险，当迭代过程中的风险函数减少值小于阈值时，停止迭代；步骤11)将步骤10)停止迭代得到的运动层跟踪结果作为该迭代过程的最终运动层跟踪结果；步骤12)在步骤11)得到的最终运动层跟踪结果周围提取正负样本，为下一帧跟踪做准备。2.根据权利要求1所述的一种基于螺旋视觉-运动模型的视频跟踪方法，其特征在于：所述步骤2)中提取候选样本图像块方法为：其中，k为迭代次数，x(k)为位置坐标，为上一次迭代的运动层跟踪结果，γ为样本参数，Xγ表示候选样本图像块。3.根据权利要求1所述的一种基于螺旋视觉-运动模型的视频跟踪方法，其特征在于：所述步骤3)中计算低维的压缩特征向量步骤如下：步骤3-1)根据提取到的候选样本图像块，通过类哈尔小波滤波器计算候选样本图像块的多尺度高维图像特征向量表示n维实数；步骤3-2)通过一个随机矩阵表示m×n维实数，将h压缩为压缩特征向量v＝Φh其中，m远小于n，随机矩阵Φ定义为：Φij为矩阵Φ的第i行第j列的元素，s＝n/4。4.根据权利要求1所述的一种基于螺旋视觉-运动模型的视频跟踪方法，其特征在于：所述步骤4)中计算分类器最大响应值步骤如下：步骤4-1)将第i个候选样本图像块的压缩特征向量表示为v(i)＝{v1(i),…,vm(i)}，假设v(i)中的每个元素vj(i)，j＝1,…,m相互独立，并用朴素贝叶斯分类器对其进行建模，则第k次迭代过程中v(i)的分类器响应值S(k)(i)为：其中，p(y(k)＝1)＝p(y(k)＝0)，y(k)∈{0,1}表示正负样本标签，表示第k次迭代得到的vj(i)，和分别表示正负后验概率，假设分类器中的条件分布是高斯分布：步骤4-2)计算分类器最大响应值：S(k)(im)＝argmaxiS(k)(i)并将该最大响应值S(k)(im)对应的候选样本框位置记为视觉层跟踪结果其对应的候选样本图像块为第im个候选样本图像块；步骤4-3)更新分类器参数方法为：正高斯参数通过和的方式更新，其中学习参数λ>0，μ1(k)和σ1(k)为积累高斯均值和方差；负高斯参数更新方式同正高斯分布。5.根据权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：云霄，孙彦景，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32