一种基于遮挡分层的多目标跟踪方法技术

本发明专利技术公开了一种基于遮挡分层的多目标跟踪方法，包括：构建背景场景，在背景场景上进行分割处理获得背景场景的层次模型，对当前帧图像和背景场景进行背景差分处理提取前景区域的形位参数，确定当前帧图像中前景区域和上一帧图像中目标关联关系，若一个前景区域与一个目标关联，则用单目标跟踪方法获得该目标在当前帧图像中的状态，若一个前景区域与多个目标关联，则用马尔可夫链蒙特卡洛采样方法获得多个目标在当前帧图像中的状态，若一个前景区域不与任何目标关联，则认为该前景区域为新进目标。本发明专利技术解决了多目标跟踪中由于目标间遮挡以及目标与背景遮挡导致的跟踪失败问题，适用于开放式环境下依赖于目标跟踪技术的智能视频监控系统。

A multi target tracking method based on occlusion hierarchy

The invention discloses a multi target tracking method based on hierarchical occlusion include: the background of constructing scene segmentation, hierarchical model to obtain the background scene in the background scene, processing foreground areas extraction of geometric parameters of background subtraction for the current frame image and the background scene, determine the current frame image and the foreground region object is associated with an image frame, if a foreground and a target associated with single target tracking method to obtain the target in the current state of the image, if a foreground region and multiple target association, with the Markov Montecalo sampling method to obtain multiple targets in the current state of the image. If a foreground region is not associated with any target association, believes that the prospects for the new target area. The invention solves the problem of tracking failure caused by occlusion between targets and background occlusion in multi-target tracking, and is suitable for intelligent video surveillance system under the open environment, which relies on target tracking technology.

【技术实现步骤摘要】
一种基于遮挡分层的多目标跟踪方法
本专利技术属于模式识别领域，更具体地，涉及一种基于遮挡分层的多目标跟踪方法。
技术介绍
视频目标跟踪一直是计算机视觉研究领域的热点和难点问题，目的是为了检索出视频序列中所有目标的运动轨迹，进而为后续计算机视觉系统更高级识别性能提供有效保障，对加快基于目标跟踪技术的交通管理自动化、智能化具有很高的实用价值。然而多目标跟踪技术的发展却遇到了多方面的制约，其中遮挡问题是多目标跟踪应用中普遍存在的现象，遮挡问题包括多个目标间的相互遮挡以及背景与目标之间遮挡，同时，多目标跟踪技术还需解决运动目标个数不确定的问题，这些问题对目标跟踪算法准确跟踪目标带来很大影响，甚至严重影响视频监控系统的有效性。
技术实现思路
针对现有技术的以上缺陷，本专利技术提供了一种基于遮挡分层的多目标跟踪方法，其目的在于解决现有技术中由于遮挡问题导致多目标跟踪失败的技术问题。为实现上述目的，本专利技术提供了一种基于遮挡分层的多目标跟踪方法，包括以下步骤：(1)对前N帧图像进行背景建模处理，获得背景场景；(2)对背景场景进行分割处理，获得背景场景的层次模型；(3)对第N+1帧图像和背景场景进行背景差分处理，提取第N+1帧图像中各前景区域的形位参数，并根据第N+1帧图像中各前景区域的形位参数提取第N+1帧图像中各目标的形位参数和模板特征，并根据第N+1帧图像中各目标的形位参数和背景场景的层次模型提取第N+1帧图像中各目标之间的遮挡层次关系以及第N+1帧图像中各目标与背景场景的层次模型之间的遮挡层次关系；(4)对第t帧图像和背景场景进行背景差分处理，获得第t帧图像中各前景区域的形位参数；根据第t帧图像中各前景区域的形位参数和第t-1帧图像中各目标的形位参数获得第t帧图像中各前景区域与第t-1帧图像中各目标的关联关系；(5)根据所述第t帧图像中各前景区域与第t-1帧图像中各目标的关联关系判断第t帧图像中各前景区域所关联目标的数量；若第t帧图像中一个前景区域与第t-1帧图像中一个目标关联，根据第t-1帧图像中该目标的形位参数、第t帧图像中该前景区域的形位参数、背景场景的层次模型以及该目标在第t-1帧图像中的特征模板进行单目标跟踪处理获得该目标在第t帧视频图像中的状态；若第t帧图像中一个前景区域与第t-1帧图像中多个目标关联，根据第t-1帧图像中多个目标的形位参数、第t帧图像中该前景区域的形位参数、背景场景的层次模型以及多个目标在第t-1帧图像中的特征模板进行马尔可夫链蒙特卡洛采样处理获得第t帧图像中多目标的状态；若第t帧图像中一个前景区域与第t-1帧图像中任何一个目标都不关联时，提取位于第t帧图像中该前景区域的各目标的状态；(6)将各目标在第t帧图像的状态作为各目标在t帧图像的跟踪结果，并利用各目标在第t帧图像的状态以及各目标在第t-1帧图像中的特征模板更新各目标在第t帧图像中的特征模板；(7)判断帧次序t是否等于视频的总帧数量M，若是，则终止，否则，令t＝t+1，进入步骤(4)；其中，N+2≤t≤M，M为视频的总帧数量。本专利技术提供的基于遮挡分层的多目标跟踪方法，针对当前帧图像中前景区域与上一帧图像中各目标的关系，判断目标间是否存在遮挡关系以及判断目标是否为新进入的目标，对目标间存在遮挡关系的情况，采用马尔可夫链蒙特卡罗采样方法获得相互遮挡的多个目标在当前帧的跟踪结果，对目标间不存在遮挡关系的情况，采用单目标跟踪方法获得该目标在当前帧的跟踪结果，对于新进入当前帧的目标，获得目标的状态，作为该目标的跟踪结果。本专利技术能够解决目标与目标之间遮挡、目标与背景场景之间遮挡以及新进入目标三种情况下的多目标跟踪问题。优选地，步骤(4)包括以下子步骤：(41)对第t帧图像和背景场景进行背景差分处理，获得第t帧图像中各前景区域的形位参数；(42)根据第t帧图像中各前景区域的形位参数和第t-1帧图像中各目标的形位参数判断第t帧图像中前景区域和第t-1帧图像中各目标的重叠情况；若第t帧图像中前景区域和第t-1帧图像中目标的重叠区域面积与第t-1帧图像该目标的区域面积比值超过10％，则第t帧图像中该前景区域与第t-1频图像中该目标关联，否则第t帧图像中该前景区域与第t-1频图像中该目标不关联；(43)遍历第t帧图像中所有前景区域和第t-1帧图像中所有目标，获得第t帧图像中各前景区域与第t-1帧图像的各目标的关联关系。优选地，步骤(5)中若第t帧图像中一个前景区域与第t-1帧图像中一个目标关联时，获得该目标在第t帧图像中的状态包括以下子步骤：(511)对第t-1帧图像中该目标的形位参数进行多次随机采样获得位于该第t帧图像中前景区域中的多个粒子，并对各粒子的形位参数和背景场景的层次模型进行随机组合获得各粒子与背景场景的层次模型所有可能遮挡层次关系；(512)根据每个粒子与背景场景的层次模型的遮挡层次关系，提取每个粒子在该遮挡层次关系下的非遮挡区域，用在每个粒子在该遮挡层次关系下的非遮挡区域获得每个粒子在该遮挡层次关系下的模板特征；(513)根据各粒子在不同遮挡层次关系下的模板特征与该目标在第t-1帧图像中的模板特征获得各粒子在不同遮挡层次关系下的观测似然概率，并以观测似然概率最大的粒子的形位参数作为第t帧图像中该目标的形位参数，以观测似然概率最大的粒子与背景场景的层次模型的遮挡关系作为该目标在t帧图像中与背景场景的层次模型的遮挡层次关系，并将该目标在第t帧图像中形位参数和该目标在t帧图像中与背景场景的层次模型的遮挡层次关系作为该目标在第t帧图像中的状态。本专利技术中提供的单目标跟踪方法获得单个目标在当前帧图像中跟踪结果，通过对背景场景进行分割处理，获得背景场景的层次模型，并利用背景差分法获得每帧图像的前景区域和目标，并对目标的形位参数进行随机采样，在当前帧图像前景区域中产生多个粒子，通过对每帧图像中每个粒子与背景场景的层次模型之间遮挡关系的随机组合，推理各粒子与背景场景的层次模型的遮挡情况，并根据各粒子与背景场景的层次模型的遮挡情况提取粒子的非遮挡区域，用于确定该粒子相对于该目标的观测似然概率，以观测似然概率最大的粒子状态作为该目标在当前帧中跟踪状态。优选地，根据公式更新在第t帧图像中第i个目标的模板特征，其中，为第t帧图像中利用目标非遮挡区域提取的第i个目标的模板特征，γi为第i个目标的非遮挡区域占第i个目标的百分比，为第t-1帧图像中第i个目标的模板特征，1≤i≤L，L为第t帧图像中目标的总数量。优选地，步骤(5)中若第t帧图像中一个前景区域与第t-1帧图像中多个目标关联时，获得多个目标在第t帧图像中的状态包括以下子步骤：(521)根据第t-1帧图像中多个目标的状态获得第t-1帧图像中多个目标之间的遮挡层次关系以及第t-1帧图像中多个目标与背景场景的层次模型之间的遮挡层次关系；根据第t-1帧图像中多个目标之间的遮挡层次关系、第t-1帧图像中多个目标与背景场景的层次模型之间的遮挡层次关系以及第t-1帧图像中多个目标的形位参数获得第t帧图像中多个目标的初始状态；(522)随机更新第r个更新后的多个目标在第t帧图像中的状态中一个状态参数，获得第r+1个更新后的多个目标在第t帧图像中的状态；并根据第r+1个更新后的多个目标在第t帧图像中的状态、第r个更新本文档来自技高网...

【技术保护点】
一种基于遮挡分层的多目标跟踪方法，其特征在于，包括以下步骤：(1)对前N帧图像进行背景建模处理，获得背景场景；(2)对所述背景场景进行分割处理，获得背景场景的层次模型；(3)对第N+1帧图像和所述背景场景进行背景差分处理，提取第N+1帧图像中各前景区域的形位参数，并根据所述第N+1帧图像中各前景区域的形位参数提取第N+1帧图像中各目标的形位参数和模板特征，并根据所述第N+1帧图像中各目标的形位参数和所述背景场景的层次模型获得第N+1帧图像中各目标之间的遮挡层次关系以及第N+1帧图像中各目标与背景场景的层次模型之间的遮挡层次关系；(4)对第t帧图像和所述背景场景进行背景差分处理，获得第t帧图像中各前景区域的形位参数；根据所述第t帧图像中各前景区域的形位参数和第t‑1帧图像中各目标的形位参数获得第t帧图像中各前景区域与第t‑1帧图像中各目标的关联关系；(5)根据所述第t帧图像中各前景区域与第t‑1帧图像中各目标的关联关系判断第t帧图像中各前景区域所关联目标的数量；若第t帧图像中一个前景区域与第t‑1帧图像中一个目标关联，根据第t‑1帧图像中该目标的形位参数、第t帧图像中该前景区域的形位参数、所述背景场景的层次模型以及该目标在第t‑1帧图像中的特征模板进行单目标跟踪处理获得该目标在第t帧视频图像中的状态；若第t帧图像中一个前景区域与第t‑1帧图像中多个目标关联，根据第t‑1帧图像中多个目标的形位参数、第t帧图像中该前景区域的形位参数、所述背景场景的层次模型以及所述多个目标在第t‑1帧图像中的特征模板进行马尔可夫链蒙特卡洛采样处理获得第t帧图像中多目标的状态；若第t帧图像中一个前景区域与第t‑1帧图像中任何一个目标都不关联时，提取位于第t帧图像中该前景区域的各目标的状态；(6)将所述各目标在第t帧图像的状态作为各目标在t帧图像的跟踪结果，并利用所述各目标在第t帧图像的状态以及各目标在第t‑1帧图像中的特征模板更新各目标在第t帧图像中的特征模板；(7)判断帧次序t是否等于视频的总帧数量M，若是，则终止，否则，令t＝t+1，进入步骤(4)；其中，N+2≤t≤M，M为视频的总帧数量。...

【技术特征摘要】
1.一种基于遮挡分层的多目标跟踪方法，其特征在于，包括以下步骤：(1)对前N帧图像进行背景建模处理，获得背景场景；(2)对所述背景场景进行分割处理，获得背景场景的层次模型；(3)对第N+1帧图像和所述背景场景进行背景差分处理，提取第N+1帧图像中各前景区域的形位参数，并根据所述第N+1帧图像中各前景区域的形位参数提取第N+1帧图像中各目标的形位参数和模板特征，并根据所述第N+1帧图像中各目标的形位参数和所述背景场景的层次模型获得第N+1帧图像中各目标之间的遮挡层次关系以及第N+1帧图像中各目标与背景场景的层次模型之间的遮挡层次关系；(4)对第t帧图像和所述背景场景进行背景差分处理，获得第t帧图像中各前景区域的形位参数；根据所述第t帧图像中各前景区域的形位参数和第t-1帧图像中各目标的形位参数获得第t帧图像中各前景区域与第t-1帧图像中各目标的关联关系；(5)根据所述第t帧图像中各前景区域与第t-1帧图像中各目标的关联关系判断第t帧图像中各前景区域所关联目标的数量；若第t帧图像中一个前景区域与第t-1帧图像中一个目标关联，根据第t-1帧图像中该目标的形位参数、第t帧图像中该前景区域的形位参数、所述背景场景的层次模型以及该目标在第t-1帧图像中的特征模板进行单目标跟踪处理获得该目标在第t帧视频图像中的状态；若第t帧图像中一个前景区域与第t-1帧图像中多个目标关联，根据第t-1帧图像中多个目标的形位参数、第t帧图像中该前景区域的形位参数、所述背景场景的层次模型以及所述多个目标在第t-1帧图像中的特征模板进行马尔可夫链蒙特卡洛采样处理获得第t帧图像中多目标的状态；若第t帧图像中一个前景区域与第t-1帧图像中任何一个目标都不关联时，提取位于第t帧图像中该前景区域的各目标的状态；(6)将所述各目标在第t帧图像的状态作为各目标在t帧图像的跟踪结果，并利用所述各目标在第t帧图像的状态以及各目标在第t-1帧图像中的特征模板更新各目标在第t帧图像中的特征模板；(7)判断帧次序t是否等于视频的总帧数量M，若是，则终止，否则，令t＝t+1，进入步骤(4)；其中，N+2≤t≤M，M为视频的总帧数量。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤(4)包括以下子步骤：(41)对第t帧图像和背景场景进行背景差分处理，获得第t帧图像中各前景区域的形位参数；(42)根据所述第t帧图像中各前景区域的形位参数和所述第t-1帧图像中各目标的形位参数判断所述第t帧图像中前景区域和所述第t-1帧图像中各目标的重叠情况；若所述第t帧图像中前景区域和所述第t-1帧图像中目标的重叠区域面积与第t-1帧图像该目标的区域面积比值超过10％，则第t帧图像中该前景区域与第t-1频图像中该目标关联，否则第t帧图像中该前景区域与第t-1频图像中该目标不关联；(43)遍历第t帧图像中所有前景区域和第t-1帧图像中所有目标，获得第t帧图像中各前景区域与第t-1帧图像的各目标的关联关系。3.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤(5)中若第t帧图像中一个前景区域与第t-1帧图像中一个目标关联时，获得该目标在第t帧图像中的状态包括以下子步骤：(511)对第t-1帧图像中该目标的形位参数进行多次随机采样获得位于该第t帧图像中前景区域中的多个粒子，并对各粒子的形位参数和背景场景的层次模型进行随机组合获得各粒子与背景场景的层次模型所有可能遮挡层次关系；(512...

【专利技术属性】
技术研发人员：桑农，项俊，高常鑫，王金，张士伟，李乐仁瀚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42