面向低帧率视频的目标跟踪方法技术

本发明专利技术公开了一种面向低帧率视频的目标跟踪方法，其包含主要的步骤如下：(1)将目标区域用融合主颜色及其空间分布特征的方法表示；(2)对候选区域与目标区域采用基于交叉颜色比例的匹配准则进行相似度匹配；(3)采用一种基于参数积分图的适应值函数来表征样本粒子与目标模板的匹配程度；(4)利用一种模拟生物群智能的退火粒子群优化框架来搜索低帧率视频所引起的突变运动。本发明专利技术实现了有效的目标跟踪方法，相对于其他经典低帧率跟踪算法，实验结果表明该发明专利技术更加有效和鲁棒。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其是一种。
技术介绍
在很多的实际的机器视觉应用中，可利用的资源都是受限制的(例如嵌入式可 视系统)。所以，在视频采集的过程中就会产生一些低巾贞率(Low Frame Rate)视频,具体的 原因有如下两种1)由于视频采集硬件的延时或传输带宽的限制，使得视频采集过程或传 输过程掉帧；2)由于CPU处理能力或存储容量的限制，对所采集的视频数据在时间维上进 行下采样，从而提高处理速率或降低存储量。由于低帧率视频数据每秒钟显示的图像数据少于10帧，导致其连续的图像帧中 目标物体的表观或运动存在很大的突变。然而，大多经典的跟踪算法都是基于目标状态的 连续性假设，即假定目标物体的运动和表观在连续图像帧间的变化很小。例如，粒子滤波算 法采用在前一帧的跟踪结果的基础上来预测当前帧图像中的粒子；基于迭代优化的跟踪算 法，如KLT (Kanade-Lucas-Tomasi)、模板匹配算法和均值漂移算法也同样将基于前一巾贞的 跟踪结果作为当前帧迭代优化的初始值。因此，上述经典的跟踪算法在面向低帧率视频的 应用中无法获得令人满意的结果。国内外直接针对低帧率视频下目标跟踪的研究较少，其中Porikli等人对均值漂 移算法进行了拓展，在背景减除的基础上对运动显著区域采用多核的均值漂移算法，从而 克服了由低帧率所引起的运动不连续性以及不可预测的问题。Li等人提出一种级联粒子滤 波算法来解决低帧率视频下目标运动突变的问题，该算法通过检测器来学习不同时序周期 上的特征，并将检测器的响应作为重要性分布融入到粒子滤波算法，实现对低帧率人脸视 频的有效跟踪。Carrano等人目标运动的可能性区域通过背景减除获得，然后结合下列四种 特征相关性系数、平均像素强度、速度差和角度差，来实现目标模型与运动可能性区域的 匹配。另外，Zhang等人采用连续图像帧间的差分图来预测目标的运动突变，然后利用预测 的结果来指导粒子滤波中的样本传播过程。总而言之，国内外现有的研究都是将低帧率视 频看成目标物体的运动突变。然而，在实际应用中，低帧率视频所引入的不仅仅是目标物体 的运动突变，还伴随着目标表观的巨大变化。因此，要实现低帧率视频下得鲁棒跟踪，需要 同时从目标物体的表观模型和运动搜索框架两个方面着手，使其符合低帧率视频的特性。
技术实现思路
为了克服低帧率视频所带来的目标表观和运动突变的问题，本专利技术提出从以下三 个方面着手来建立一个鲁棒的面向低帧率视频的目标跟踪系统1)目标表示；2)模型匹 配；3)运动搜索。首先，提出融合主颜色及其空间分布的表观模型和交叉颜色比例的匹配 准则，使得模型有效地处理目标表观和光线的突变；其次，提出基于生物群智能的运动搜索 方法，从而对运动突变进行有效地跟踪。为了实现上述的目的，本专利技术采用了以下的技术方案建立一个鲁棒的面向低帧率视频的目标跟踪系统，包括以下的步骤I.融合主顔色及其空间分布信息的目标表观及其更新，主要有以下步骤第一歩，将目标区域像素从RGB转换到rgl顔色空间，再计算像素顔色的欧氏距 离，从而建立目标区域像素间的权重图矩阵；第二歩，利用所建立像素间的图结构，对像素采用主导集聚类算法可依次获得目 标区域的主颜色模式，当剰余像素个数小于一定的阈值，则聚类结束，并认为剰余像素为噪 声；第三步，提取落在每个主颜色模式内所有像素的包括权重、均值和方差的空间分 布信息，而且所有像素点的空间位置需要进行中心化处理(为了消除绝对位置的影响)；第四步，在每ー帧跟踪结束之后，对主颜色模式及其空间分布信息进行更新；2.在完成对目标区域模板的“主顔色+空间”表示后，当跟踪系统获得一个候选区 域时，需要对候选区域与目标模型进行相似度匹配。本专利技术就提出了基于交叉顔色比例的 匹配准则，基本步骤如下第一歩，在给定目标模板的主颜色模式上利用最近邻算法确定候选区域的主顔色 模式，再计算各自主顔色模式间的交叉比例矩阵；第二步，根据所建立的不同交叉比例矩阵，计算两个矩阵间的平方和距离作为颜 色模式的匹配误差；第三步，根据目标模板中主顔色的空间分布信息，计算候选区域中对应颜色模式 的空间匹配误差，并与颜色匹配误差进行融合；3.在应用退火粒子群优化框架前，需要定义ー个适应值函数来表征样本粒子与目 标模板的匹配程度。为了避免在适应值评价过程中多次计算图像的重复区域，本专利技术设计 一种基于參数积分图的适应值快速计算方法，具体实现步骤如下第一歩，根据粒子群优化算法中的最大限制速度參数来确定潜在样本粒子所能覆 盖的最大区域；第二步，根据目标模板的主颜色模式和最近邻算法确定该图像区域中每个像素属 于哪个主颜色模式，从而获得整个图像区域像素的标签；第三步，针对每ー个像素，记录其标签和空间參数形成ー个5维向量，并计算该5 维向量的积分图；第四步，对于给定样本粒子的对应区域，根据积分图查找该区域的模型參数，井根 据匹配准则计算该粒子的适应值；4.对于由低帧率视频所引起的突变运动，本专利技术设计ー种模拟生物群智能的退火 粒子群优化框架来捜索。其主要步骤如下第一歩，对上ー帧图像跟踪收敛后的个体最优粒子进行时序上的随机传播，以提 高样本粒子的多祥性，由于个体最优粒子的紧致性，所以不需要对粒子进行重采样；第二步，对样本粒子进行退火优化迭代，在迭代过程中需要通过适应值评价更新 粒子群的个体最优粒子和群体最优粒子，用以指导粒子群的进化迭代过程；第三步，对进化的粒子进行收敛性判断，并输出跟踪结果；本专利技术的有益效果是I、本专利技术所提出的跟踪算法是ー种面向低帧率视频的目标跟踪的方法；〔0028〕 2、本专利技术提出一种融合主颜色及其空间分布信息的目标表观模型，采用主导集 聚类算法获得目标区域的主颜色模式，该算法可根据样本的“紧致性”自动决定类的个数， 产生层次清晰的聚类类别，从而保留最具判别性的颜色模式，剔除噪声像素的影响，并且该 算法的计算量小，容易满足实时性需求。同时提取主颜色在空间位置中的分布模式，既可以 保留颜色模型的适应性，又提高了模型的判别性。〔0029〕 3、本专利技术提出一种交叉颜色比例的匹配准则，该准则较其他准则(如 811511:1:51(311511*75^系数、如116狀卜匕让丨一!'散度等)更为鲁棒，具体表现以下两个方面该 准则采用颜色比例可有效消除光照变化的影响计算距离时将每个颜色模式对所有其 他颜色模式考虑进来，可减轻背景噪声像素和遮挡部分像素的影响。〔0030〕 4本专利技术提出的退火粒子群优化框架是一个基于分布重要性采样的过程，通过粗 采样和细采样两个步骤将图像观测信息加入到采样过程中，从而得到的采样结果逼近直接 采样于最佳重要性分布的结果，也很好的解决了突然运动的搜索问题。〔0031〕 5^本专利技术提出一种基于积分图的适应值快速计算方法避免了在评价过程中多次 计算图像的重复区域。每个像素只需一次匹配计算，即使运动搜索的迭代次数增加了，也不 会增加计算复杂度。附图说明〔0032〕 下面结合附图和实施例对本专利技术进一步说明。〔0033〕 图1是本专利技术的跟踪系统的整体框架；具体实施例方式〔0034〕 下面通过实施例对本专利技术进行具体的描述，只用于对本专利技术进行进一步说明，不 能理解为对本专利技术保护范围的限定，该领域的技术人员可根据上述专利技术的内容对本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：张笑钦，
申请(专利权)人：温州大学，
类型：发明
国别省市：