一种耦合目标检测与数据关联的实时在线多目标跟踪方法技术

本发明专利技术为一种耦合目标检测与数据关联的在线多目标跟踪方法，用于实时跟踪视频中的多个感兴趣目标，属于计算机视觉和视频监控技术领域。本发明专利技术从目标检测器提供的中间结果出发，通过引入序贯轨迹先验，实现目标跟踪并优化目标检测结果，能有效缓解目标检测器检测结果不精确的问题；本发明专利技术采用最大后验估计的概率框架计算目标和检测结果之间的关联代价，提高了数据关联的准确性，能有效处理目标之间的相互干扰；本发明专利技术在目标检测和数据关联之间建立了紧密的联系，使得两者成为两个相互促进的过程，提高了多目标跟踪的性能。

【技术实现步骤摘要】

本专利技术涉及一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于快速定位视频中感兴趣的目标，并实时恢复其运动轨迹，属于计算机视觉和视频监控

技术介绍
视觉多目标跟踪是计算机视觉领域许多高层视觉任务的重要基础技术，如场景理解、事件检测、行为识别等，在视频监控、人机交互、辅助驾驶等系统有广泛的应用。基于检测的多目标跟踪方法是视觉多目标跟踪的主流方法之一，其思路是使用目标检测器在视频的每一帧图像中获取检测结果，然后采用数据关联的方式将检测结果关联成完整的目标轨迹。根据处理视频数据的方式不同，基于检测的多目标跟踪方法可分为在线和离线两大类。在线方法是逐帧地处理视频数据，每一时刻的数据关联发生在现有目标轨迹和新获取的检测结果之间。离线方法是对一个视频段或整个视频同时进行处理，利用多个时刻的检测结果进行全局的数据关联，寻求最优的目标轨迹。离线方法同时考虑了多帧数据，因此对检测结果出现误检、漏检的情况不敏感。离线方法在实际应用中存在的问题主要是优化过程耗时，计算效率低，而且不能直接用于在线获取和处理视频数据场合，如最常见的智能监控摄像机或智能体育摄像机的视频流。相比之下，在线方法更符合实时在线实际应用的要求，但其性能很大程度上受限于目标检测的结果。场景中复杂背景、目标之间近距离交互、光照变化、频繁遮挡等因素都容易引起检测结果的不准确，进而影响跟踪的精度。本专利技术建立目标检测与数据关联之间的紧密联系，突破了目前已有技术受到目标检测性能的限制，实现高效、鲁棒的在线多目标跟踪。
技术实现思路
本专利技术设计了一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于实时在线跟踪视频中多个感兴趣的目标。本专利技术包含如下步骤：步骤一：对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检测器输出的中间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为“正”的检测窗口，用一系列矩形区域表示。步骤二：从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数据，使用最大后验估计寻找最优的目标检测结果；步骤三：根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率；步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代价最小的数据关联；步骤五：根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标出现和已有目标消失的情况；若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤波器(KalmanFilter)对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度；另外，若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除；若有检测结果长时间未与已有目标获得关联，则使用匈牙利算法进行数据关联，形成轨迹片段，若形成较长的轨迹片段，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予一个初始置信度；判断跟踪是否结束，若不是则转步骤一继续下一视频帧的跟踪。有益效果：本专利技术与已有多目标跟踪方法相比，具有以下有益效果：1、本专利技术通过引入序贯轨迹先验，从目标检测器提供的中间结果出发，在跟踪过程中同时优化了目标检测结果，能有效缓解目标检测器检测结果不精确的问题；2、本专利技术采用最大后验估计的概率框架计算目标和检测结果之间的关联代价，提高了数据关联的准确性，能有效处理目标之间的相互干扰；是传统方法的一种突破。3、本专利技术在目标检测和数据关联之间建立了紧密的联系，使得两者成为两个相互促进的过程，提高了多目标跟踪的性能。附图说明图1是本专利技术提出的序贯轨迹先验的示意图；图2是本专利技术的多目标跟踪方法的流程图。具体实施方式本专利技术主要设计一种耦合目标检测和数据关联的实时在线多目标跟踪方法。通过从已有目标轨迹包含的历史信息中提取了一种序贯轨迹先验，同时作用于目标检测和数据关联这两个关键任务，并在两者之间建立了紧密的联系，进而大大提高了多目标跟踪的性能。本专利技术将目标检测器输出的中间结果作为观测数据，在跟踪过程中通过最大后验估计获得针对多目标跟踪任务最优的目标检测结果。与已有技术不同的是，本专利技术在目标检测与多目标跟踪之间建立了紧密的联系，而不是将其视为与跟踪完全独立的过程，能够有效地缓解跟踪精度受限于目标检测器性能的问题。本发明同时提出利用已有目标轨迹中的先验信息指导数据关联，在计算目标与检测结果之间的匹配程度的基础上，使用最大后验估计的概率框架计算数据关联的后验概率，能够有效地处理目标之间的相互干扰。此外，本专利技术在最大后验估计这个统一的概率框架下求解目标检测和数据关联问题，通过序贯轨迹先验建立两者之间的联系，实现了目标检测和数据关联的联合优化。下面描述本专利技术的多目标跟踪方法的框架，具体为序贯轨迹先验在概率模型中的形式化定义。然后通过具体实施例详细描述本专利技术的实施方式。1.多目标跟踪方法框架给定时刻t之前获得的观测数据以目标轨迹和目标检测为随机变量，本专利技术采用基于贝叶斯估计的概率框架建模多目标跟踪问题，形式化为最大化目标轨迹和目标检测的联合后验概率：其中和分别表示时刻tt之前最优的目标轨迹和目标检测结果。显然直接优化公式(1)中的目标函数是不可行的，考虑到在线跟踪的特点，采用顺序优化的方式展开目标函数。具体地，每一个时刻t的目标轨迹和目标检测的优化，都以当前时刻的图像观测和前一时刻的轨迹优化结果为条件，表示为其中和分别表示t时刻最优的目标轨迹和目标检测结果，第二个等式使用了条件概率的定义。传统的在线多目标跟踪方法通过相互独立的目标检测和数据关联求解式(2)的目标函数，目标检测的优化与数据关联没有联系，实际上获得的优化结果并不是式(2)中所述问题的最优解。本专利技术引入一种序贯轨迹先验求解式(2)，采用最大后验估计的概率框架将问题分解为两个由序贯轨迹先验紧密联系在一起的最大后验估计问题，表示为其中序贯轨迹先验由检测先验和关联先验两部分组成，将同时作用于目标检测和数据关联两个过程，使得检测结果的优化会受到跟踪结果的影响，同时目标跟踪又依赖于检测结果。进一步地，序贯轨迹先验在最大后验估计的框架下，本文档来自技高网...

【技术保护点】
一种耦合目标检测与数据关联的在线多目标跟踪方法，其特征在于具体实施步骤如下：步骤一：对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检测器输出的中间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为“正”的检测窗口，用一系列矩形区域表示；步骤二：从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数据，使用最大后验估计寻找最优的目标检测结果；步骤三：根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率；步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代价最小的数据关联；步骤五：根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标出现和已有目标消失的情况；若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤波器对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度；另外，若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除；若有检测结果长时间未与已有目标获得关联，则使用匈牙利算法进行数据关联，形成轨迹片段，若形成较长的轨迹片段，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予一个初始置信度；判断跟踪是否结束，若不是则转步骤一继续下一视频帧的跟踪。...

【技术特征摘要】
1.一种耦合目标检测与数据关联的在线多目标跟踪方法，其特征在于具体实施步骤如下：
步骤一：对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检测器输出的中
间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为“正”的检测窗口，用一系
列矩形区域表示；
步骤二：从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数据，使用最大
后验估计寻找最优的目标检测结果；
步骤三：根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据
关联的后验概率；
步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代
价最小的数据关联；
步骤五：根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标出现和已有
目标消失的情况；若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤波器对当前时刻的目
标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获
得了新的观测数据，亦即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进
行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度；另外，若一个目标
在长时间内持续没有获得关联数...

【专利技术属性】
技术研发人员：贾云得，杨敏，裴明涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11