基于上下文信息的视频遮挡检测系统及方法技术方案

本发明专利技术提供了一种基于上下文信息的视频遮挡检测系统及方法，该系统包括：目标跟踪器，目标跟踪器是基于KCF(核化相关滤波器)的一个变体，加入了估计目标尺度变化的模块；背景跟踪器，将背景分块并进行分别跟踪；遮挡检测器，根据目标跟踪器和背景跟踪器提供的目标和背景位置信息，将背景分为三类：A，与目标不重叠；B，被目标遮挡；C，遮挡目标。根据遮挡目标的背景的个数(即C类背景个数)判断遮挡是否发生；模板更新器，模板更新器的更新策略如下：根据遮挡检测器提供的信息，计算C类背景的个数；如果此数量超过预设的阈值，则判断当前帧的目标被遮挡，停止对目标模板的更新，否则采用插值的方式更新目标模板。本发明专利技术能准确判断遮挡的发生而不会误判。

Video occlusion detection system and method based on context information

The present invention provides a video occlusion detection system and method based on context information. The system includes a target tracker, a target tracker based on a variant of the KCF (nuclear related filter), adding a module to estimate the change of the target scale, and the background tracker, block and track the background, and the occlusion detection. The sensor, according to the target and background location information provided by the target tracker and the background tracker, divides the background into three categories: A, not overlapping with the target; B, target occlusion; C, occlusion target. Determine whether occlusion occurs according to the number of backgrounds of the occlusion target (the number of C class background); the update strategy of the template update device and the template update is as follows: according to the information provided by the occlusion detector, the number of the C class background is calculated; if the number exceeds the predetermined threshold, the target of the current frame is obscured and the target is stopped. Update the template, otherwise update the target template by interpolation. The invention can accurately judge the occurrence of occlusion without misjudgement.

【技术实现步骤摘要】
基于上下文信息的视频遮挡检测系统及方法
本专利技术涉及一种检测系统及方法，具体地，涉及一种基于上下文信息的视频遮挡检测系统及方法。
技术介绍
一个典型的目标跟踪系统一般可分为五个部分：运动模型(MotionModel)部分、特征提取(FeatureExtractor)部分、观测模型(ObservationModel)部分、模型更新(ModelUpdater)部分、集成后处理(EnsemblePost-processor)部分。在视频序列的第一帧，目标的大小和位置由包围目标的边界框给出，这些信息用来初始化观测模型。从第二帧开始的每一帧依次到来，首先由运动模型根据目标可能的位置生成诸多候选者，这些候选者经过特征提取后，由观测模型给出每一个的是目标的概率。具有最大概率成为目标的候选者被断定为是新的目标所在。然后模型更新部分决定是否进行对观测模型的更新，若是则进行模型更新操作。最后，集成后处理部分对可能存在的多个跟踪的结果做综合处理产生最终结果。在目标跟踪领域内得到广泛认可和使用的测试集中一共有50个视频序列，每个视频序列的每一帧中目标都被以边界框(包括位置和尺度)的形式标记出来作为groundtruth。为了更全面地测试和评价跟踪算法，每个序列都有若干个属性标签，表明该序列对跟踪算法的要求。属性标签一共分为11类，分别是：亮度变化(IlluminationVariation,IV)、尺度变化(ScaleVariation,SV)、遮挡(Occlusion,OCC)、变形(Deformation,DEF)、运动模糊(MotionBlur,MB)、快速移动(FastMotion,FB)、平面内旋转(InPlaneRotation,IPR)、平面外旋转(OutofPlaneRotation,OPR)、从视野中消失(OutofView,OV)、背景庞杂(BackgroundClutter,BC)、低分辨率(LowResolution,LR)。测试方法包括One-PassEvaluation(OPE)、TemporalRobustnessEvaluation(TRE)、SpatialRobustnessEvaluation(SRE)三种。OPE是传统的测试方法，运行算法一次得到最终结果。从原测试序列中随机分割得到20个长度不同的子序列，在这些子序列上运行跟踪算法，这种测试方法称为TRE。将第一帧目标包围框做轻微的平移或尺度变化后作为初始帧运行跟踪算法，相当于在空间上加入扰动，这种测试方法称为SRE。TRE和SRE是为了测试算法在时间和空间上的鲁棒性。运行跟踪算法得到跟踪结果后，应当将结果表示成目标的边界框的形式。通过与groundtruth对比得到的准确度图(PrecisionPlot)和成功率图(SuccessPlot)用来评价算法的性能。准确度图以跟踪结果与groundtruth的中心位置的距离(像素数)为横轴，以百分率为纵轴，百分率表示距离小于横轴确定的阈值的帧所占的比例。不同的距离阈值对应不同的比例，此对应关系即为准确度图。通常以20个像素为排序标准，即比较不同的跟踪算法的跟踪偏差小于20个像素的帧的比例。成功率图着重考察跟踪结果和groundtruth的重叠率(OverlapScore,OS)，即二者交集(重叠)的区域内像素数占二者并集(总区域)内像素数的比例，用公式表达为如式(1)：其中rt和rg分别是跟踪结果和groundtruth的边界框，∪和∩分别表示求并集和交集，|·|表示对应边界框内的像素个数。重叠率大于某个阈值则认为该帧跟踪成功，阈值分布为0～1，对应到不同的成功率，成功率和阈值的对应关系即为成功率图。在对不同的跟踪算法做排序时，排序依据是成功率图中的曲线下的面积(AreaUnderCurve,AUC)。现有的多数跟踪算法未考虑目标被遮挡的情况，即不进行目标是否被遮挡的检测和判断，默认目标不会被遮挡，在任何情况下均进行目标模板的更新学习。少数考虑了遮挡的算法并不能准确区分目标被遮挡和目标的外表变化这两种情况，因此对跟踪效果的提升没有明显贡献。当目标被遮挡时，跟踪算法的目标模板更新模块应当停止更新以保持目标模板不变而不受遮挡的影响。与此相反，当目标的外表或形状发生变化时，目标模板应当及时更新以捕捉目标的变化。因此目标模板能否正确更新的关键是区分遮挡和目标的外形变化。现存的算法在进行遮挡检测时仅将注意力置于目标上，而对目标而言，被遮挡和外表变化没有区别，因此这些算法无法准确区分遮挡和外表变化。遮挡的经典定义是：若前一帧中的点在下一帧中无法被观测到，则发生了遮挡。这种定义面临的困难是，两帧之间对应点的检测不可靠，且计算量很大，不适合具有实时性要求的目标跟踪任务。本专利技术提出了一个新的遮挡的定义方式：如果在前一帧中属于背景的点在当前帧中进入了目标的边界框内部，则发生了遮挡。这个定义方式能够成功区分遮挡和目标形变，将检测重点放到了背景和目标的空间和时间关系上。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于上下文信息的视频遮挡检测系统及方法，其融入了时空上下文信息，将背景信息考虑在内，利用了遮挡和外表变化的本质区别，即遮挡是背景和目标同时参与的一种现象，而目标的外形变化与背景信息无关，因此本专利技术能准确判断遮挡的发生而不会误判。根据本专利技术的一个方面，提供一种基于上下文信息的视频遮挡检测系统，其特征在于，包括：目标跟踪器，目标跟踪器是基于KCF(核化相关滤波器)的一个变体，加入了估计目标尺度变化的模块；背景跟踪器，将目标周围的背景分为多个小块并分别跟踪，得到每个背景块的位置和跟踪可信度，为遮挡检测器提供判断是否发生遮挡所需的信息；遮挡检测器，根据目标跟踪器和背景跟踪器提供的目标和背景位置信息，对背景进行分类：第一背景分类，与目标不重叠；第二背景分类，被目标遮挡；第三背景分类，遮挡目标；根据第三背景分类的背景个数判断遮挡是否发生；模板更新器，模板更新器的更新策略如下：根据遮挡检测器提供的信息，计算第三背景分类的背景个数；如果此数量超过预设的阈值，则判断当前帧的目标被遮挡，停止对目标模板的更新，否则采用插值的方式更新目标模板。优选地，所述目标跟踪器输出当前帧中目标的边界框，其模板是否更新由遮挡检测器和模板更新器的决策决定。优选地，所述模板更新器同时对背景块进行更新。本专利技术还提供一种基于上下文信息的视频遮挡检测方法，其特征在于，包括以下步骤：当前帧到来后，目标跟踪器估计当前帧中目标的位置和大小得到目标的边界框；背景跟踪器跟踪目标周围的背景块，得到每个背景块的位置和跟踪可信度信息；遮挡检测器根据一定的指标对背景块进行分类，并根据分类结果情况判断当前帧中的目标是否被遮挡；模板更新器根据遮挡信息对目标模板进行更新，并决定每个背景块是否进行继续跟踪或重新生成；目标跟踪器得到的目标边界框作为跟踪结果输出。与现有技术相比，本专利技术具有如下的有益效果：本专利技术融入了时空上下文信息，将背景信息考虑在内，利用了遮挡和外表变化的本质区别，即遮挡是背景和目标同时参与的一种现象，而目标的外形变化与背景信息无关，因此本专利技术能准确判断遮挡的发生而不会误判。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其本文档来自技高网...

【技术保护点】
1.一种基于上下文信息的视频遮挡检测系统，其特征在于，包括：目标跟踪器，目标跟踪器是基于KCF的一个变体，加入了估计目标尺度变化的模块；背景跟踪器，将目标周围的背景分为多个小块并分别跟踪，得到每个背景块的位置和跟踪可信度，为遮挡检测器提供判断是否发生遮挡所需的信息；遮挡检测器，根据目标跟踪器和背景跟踪器提供的目标和背景位置信息，对背景进行分类：第一背景分类，与目标不重叠；第二背景分类，被目标遮挡；第三背景分类，遮挡目标；根据第三背景分类的背景个数判断遮挡是否发生；模板更新器，模板更新器的更新策略如下：根据遮挡检测器提供的信息，计算第三背景分类的背景个数；如果此数量超过预设的阈值，则判断当前帧的目标被遮挡，停止对目标模板的更新，否则采用插值的方式更新目标模板。

【技术特征摘要】
1.一种基于上下文信息的视频遮挡检测系统，其特征在于，包括：目标跟踪器，目标跟踪器是基于KCF的一个变体，加入了估计目标尺度变化的模块；背景跟踪器，将目标周围的背景分为多个小块并分别跟踪，得到每个背景块的位置和跟踪可信度，为遮挡检测器提供判断是否发生遮挡所需的信息；遮挡检测器，根据目标跟踪器和背景跟踪器提供的目标和背景位置信息，对背景进行分类：第一背景分类，与目标不重叠；第二背景分类，被目标遮挡；第三背景分类，遮挡目标；根据第三背景分类的背景个数判断遮挡是否发生；模板更新器，模板更新器的更新策略如下：根据遮挡检测器提供的信息，计算第三背景分类的背景个数；如果此数量超过预设的阈值，则判断当前帧的目标被遮挡，停止对目标模板的更新，否则采用插值的方式更新目标模板。2.根据权利要...

【专利技术属性】
技术研发人员：乔宇，钮小光，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31