In this paper, a dynamic background suppression method based on multi-scale spatiotemporal consistency is proposed. First, the MS histogram features of the super pixel are counted. Then the dynamic background region based on the histogram k nearest neighbor feature and the difference degree of the local optical flow direction is used to obtain the dynamic background region of the visual frequency frame. More dynamic background regions, using the spatio-temporal information of video frame sequence, carry out graph cut (graph cut analysis) for the region that has been detected as the dynamic background, and expand the detection area. After that, the significant values of the super pixels which are detected as the dynamic background regions are suppressed; after the suppression is completed, the time of the video frame sequence is combined. In addition, we do graph cut analysis again for Motion Saliency Saliency Map, which further suppresses the remaining dynamic background area. The invention can detect moving objects accurately from video, and can suppress dynamic region better in dynamic video, which has the characteristics of high detection rate, good robustness, and anti dithering interference.
【技术实现步骤摘要】
一种基于多尺度时空一致性的动态背景抑制方法
本专利技术涉及一种自底向上的多尺度时空一致性显著性检测方法对相机中的动态背景区域进行有效抑制。
技术介绍
视频显著性检测是当前计算机视觉、模式识别领域一个非常热门的研究方向,他对很多具体应用包有很大的帮助,包括物体追踪、视频监控、交通控制、入侵检测等。一方面,尽管近年来对视频显著检测的研究取得了非常大的成果,但一般视频场景中的动态背景通常会对视频显著性的检测造成较大的干扰。另一方面,尽管传统意义上的自顶向下的背景建模方法已经能够对固定相机中的动态背景区域进行有效的抑制,但对于缺乏位置映射信息的非固定相机视频而言,传统的背景建模方法仍然很难辅助视频显著性检测来对动态背景区域进行抑制。因此,目前迫切需要一种不依赖于背景建模的视频显著性策略来对非固定相机视频中的显著性前景物体进行正确检测并对动态背景进行有效抑制。在近些年最先进的视频显著性检测方法通常均采用自底向上的显著性检测方法,即采用基于差异度比对的方法来分别计算颜色显著性以及运动显著性,并通过各种互补融合的方式获得视频显著性检测结果。不同于自顶向下的背景建模策略方法,自底向上的视频显著性检测的一大优势在于:由于其并不依赖于帧间的位置映射信息,其对视频显著性检测这一问题并不需要区分输入视频到底是来自于固定相机还是非固定相机。遗憾的是,对于移动缓慢的显著性前景物体而言,其计算得到的运动显著性往往要低于快速且重复移动的非显著性动态背景,从而使得融合后的视频显著性检测结果中存在大量的假阳性检测结果,并且目前尚不存在相关问题的具体解决方案。
技术实现思路
本专利技术解决的技术问 ...
【技术保护点】
一种基于多尺度时空一致性的动态背景抑制方法,其特征在于,包括:步骤(1)、统计超像素的MS直方图特征:首先将视频帧序列通过光流分析得到Motion Saliency(MS)Map,然后对视频帧的每一帧分别进行超像素分割,基于Motion Saliency Map中的信息以及超像素内像素的RGB颜色分布对视频帧的每一帧的每一个超像素统计一个MS直方图;超像素的MS直方图是基于其显著性值并且与其内部像素的RGB颜色分布关联后的一个统计结果;步骤(2)、获取超像素的直方图K‑最近邻特征(Hist‑KNN特征):在步骤(1)的基础上,对视频帧的每一帧的每一个超像素,在其的一个欧式距离小于d1附近的邻域,使用显著性值信息作为条件寻找最近邻超像素点,构造出该超像素的一个直方图K‑最近邻特征;步骤(3)、基于局部光流方向差异度的动态背景区域检测:对视频帧的每一帧的每一个超像素,对其的一个欧式距离小于d2附近的邻域的所有超像素点,进行局部光流方向差异度统计;每一个超像素是许多像素点的集合,将它看作一个局部区域,通过统计局部光流方向差异度,也就是邻域超像素之间的光流距离差异度,就可以知道在欧式距离小于d ...
【技术特征摘要】
1.一种基于多尺度时空一致性的动态背景抑制方法,其特征在于,包括:步骤(1)、统计超像素的MS直方图特征:首先将视频帧序列通过光流分析得到MotionSaliency(MS)Map,然后对视频帧的每一帧分别进行超像素分割,基于MotionSaliencyMap中的信息以及超像素内像素的RGB颜色分布对视频帧的每一帧的每一个超像素统计一个MS直方图;超像素的MS直方图是基于其显著性值并且与其内部像素的RGB颜色分布关联后的一个统计结果;步骤(2)、获取超像素的直方图K-最近邻特征(Hist-KNN特征):在步骤(1)的基础上,对视频帧的每一帧的每一个超像素,在其的一个欧式距离小于d1附近的邻域,使用显著性值信息作为条件寻找最近邻超像素点,构造出该超像素的一个直方图K-最近邻特征;步骤(3)、基于局部光流方向差异度的动态背景区域检测:对视频帧的每一帧的每一个超像素,对其的一个欧式距离小于d2附近的邻域的所有超像素点,进行局部光流方向差异度统计;每一个超像素是许多像素点的集合,将它看作一个局部区域,通过统计局部光流方向差异度,也就是邻域超像素之间的光流距离差异度,就可以知道在欧式距离小于d2的范围内,这些局部区域的光流的一致性;每一个超像素的光流能够通过光流分析得到,是一个二维向量,每个值分别代表了图像直角坐标系x,y方向上的光流大小;一个超像素点和周围超像素点的光流差别越大,通过计算得到的局部光流方向差异度值也越大,其越有可能是动态背景;通过设定阈值T1,认为大于这个阈值的超像素对应的区域为动态背景区域;步骤(4)、基于直方图K-最近邻特征的动态背景区域检测:在步骤(2)的基础上,每一个超像素获得一个Hist-KNN特征,对当前帧的每一个超像素,在其相邻帧的一个欧式距离小于d3附近的邻域,进行其动态程度分析;若一个超像素点和相邻帧邻域超像素点的Hist-KNN特征差异越大,通过计算得到邻域Hist-KNN特征差异度值也越大,其越有可能是动态背景;通过设定阈值T2,认为大于这个阈值的超像素对应的区域为动态背景区域;步骤(5)、图割分析扩大动态背景区域:在步骤(3)、(4)中已经检测到了动态背景区域,根据视频帧具有的时空性,进一步抑制在步骤(3)、(4)中未检测出来的动态背景区域;具体包括:将整段视频中的所有超像素点构造成一张具有结点和边的图(graph),然后使用图割分析(graph-cut),求解一个最大流-最小割问题,找到一个动态背景和前景的划分,扩大检测到的动态背景区域,之后对检测为动态背景的区域的显著性值进行抑制。步骤(6)、对MotionSaliencyMap图割分析:为了将动态背景中存在的一些非动态部分去除,使用步骤(5)中构造的图(graph),将结点的值替换为经步骤(5)抑制后的显著性值,再次利用图割分析就可以得到最终抑制结果。2.根据权利要求...
【专利技术属性】
技术研发人员:李帅,李韵潇,郝爱民,秦洪,赵沁平,
申请(专利权)人:北京航空航天大学,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。