一种基于多尺度时空一致性的动态背景抑制方法技术

本文发明专利技术提出了一种基于多尺度时空一致性的动态背景抑制方法，首先统计超像素的MS直方图特征；然后采用基于直方图k‑最近邻特征及局部光流方向差异度的动态背景区域检测来初步的获取视频帧的动态背景区域；为了消除更多的动态背景区域，利用视频帧序列的时空信息，对已经检测为动态背景的区域进行graph‑cut(图割分析)，将检测区域扩大；之后，对检测为动态背景区域的超像素点的显著性值进行抑制；抑制完成之后，结合视频帧序列的时空联系，对Motion Saliency Map再次进行图割分析，这样能进一步抑制剩余的动态背景区域。本发明专利技术能够从视频中准确的检测出运动物体，并能够在动态视频中较好的抑制动态区域，具有检测速率高，鲁棒性好，抗抖动干扰等特点。

A dynamic background suppression method based on multi-scale spatiotemporal consistency

In this paper, a dynamic background suppression method based on multi-scale spatiotemporal consistency is proposed. First, the MS histogram features of the super pixel are counted. Then the dynamic background region based on the histogram k nearest neighbor feature and the difference degree of the local optical flow direction is used to obtain the dynamic background region of the visual frequency frame. More dynamic background regions, using the spatio-temporal information of video frame sequence, carry out graph cut (graph cut analysis) for the region that has been detected as the dynamic background, and expand the detection area. After that, the significant values of the super pixels which are detected as the dynamic background regions are suppressed; after the suppression is completed, the time of the video frame sequence is combined. In addition, we do graph cut analysis again for Motion Saliency Saliency Map, which further suppresses the remaining dynamic background area. The invention can detect moving objects accurately from video, and can suppress dynamic region better in dynamic video, which has the characteristics of high detection rate, good robustness, and anti dithering interference.

【技术实现步骤摘要】
一种基于多尺度时空一致性的动态背景抑制方法
本专利技术涉及一种自底向上的多尺度时空一致性显著性检测方法对相机中的动态背景区域进行有效抑制。
技术介绍
视频显著性检测是当前计算机视觉、模式识别领域一个非常热门的研究方向，他对很多具体应用包有很大的帮助，包括物体追踪、视频监控、交通控制、入侵检测等。一方面，尽管近年来对视频显著检测的研究取得了非常大的成果，但一般视频场景中的动态背景通常会对视频显著性的检测造成较大的干扰。另一方面，尽管传统意义上的自顶向下的背景建模方法已经能够对固定相机中的动态背景区域进行有效的抑制，但对于缺乏位置映射信息的非固定相机视频而言，传统的背景建模方法仍然很难辅助视频显著性检测来对动态背景区域进行抑制。因此，目前迫切需要一种不依赖于背景建模的视频显著性策略来对非固定相机视频中的显著性前景物体进行正确检测并对动态背景进行有效抑制。在近些年最先进的视频显著性检测方法通常均采用自底向上的显著性检测方法，即采用基于差异度比对的方法来分别计算颜色显著性以及运动显著性，并通过各种互补融合的方式获得视频显著性检测结果。不同于自顶向下的背景建模策略方法，自底向上的视频显著性检测的一大优势在于：由于其并不依赖于帧间的位置映射信息，其对视频显著性检测这一问题并不需要区分输入视频到底是来自于固定相机还是非固定相机。遗憾的是，对于移动缓慢的显著性前景物体而言，其计算得到的运动显著性往往要低于快速且重复移动的非显著性动态背景，从而使得融合后的视频显著性检测结果中存在大量的假阳性检测结果，并且目前尚不存在相关问题的具体解决方案。
技术实现思路
本专利技术解决的技术问题是：通过将直方图K-最近邻特征及局部光流方向差异度加入到显著性运动检测中，抑制了动态背景的同时，较好地保留了前景物体；在进行判断是否为动态背景时考虑了一个邻域，所以此方法具有一定的抗相机抖动、视角变化的能力；使用graph-cut的良好时空扩散性多次且充分利用了视频帧的时空连续性信息，对动态背景区域进行时空一致性增强；利用了直方图K-最近邻特征及局部光流方向变化两种信息，因为动态背景与静态背景以及显著运动物体的这两种信息在相邻帧变化幅度不同，即不同帧间的显著性前景区域所对应的光流场存在较强的时空一致性约束，并且其相邻的颜色拓扑结构也较动态背景区域更为稳定。从而使我们的方法能够在固定相机视频以及非固定相机视频中很好地处理动态背景。本专利技术采用的技术方案为：一种基于多尺度时空一致性的动态背景抑制方法，包括以下六个步骤：步骤(1)、统计超像素的MS直方图特征：首先将视频帧序列通过光流分析得到MotionSaliency(MS)Map，然后对视频帧的每一帧分别进行超像素分割，基于MotionSaliencyMap中的信息以及超像素内像素的RGB颜色分布对视频帧的每一帧的每一个超像素统计一个MS直方图；超像素的MS直方图是基于其显著性值并且与其内部像素的RGB颜色分布关联后的一个统计结果；步骤(2)、获取超像素的直方图K-最近邻特征(Hist-KNN)：在步骤(1)的基础上，对视频帧的每一帧的每一个超像素，在其的一个欧式距离小于d1附近的邻域，使用显著性值信息作为条件寻找最近邻超像素点，构造出该超像素的一个直方图K-最近邻特征；步骤(3)、基于局部光流方向差异度的动态背景区域检测：对视频帧的每一帧的每一个超像素，对其的一个欧式距离小于d2附近的邻域的所有超像素点，进行局部光流方向差异度统计；每一个超像素是许多像素点的集合，将它看作一个局部区域，通过统计局部光流方向差异度，也就是邻域超像素之间的光流距离差异度，就可以知道在欧式距离小于d2的范围内，这些局部区域的光流的一致性；每一个超像素的光流能够通过光流分析得到，是一个二维向量，每个值分别代表了图像直角坐标系x,y方向上的光流大小；一个超像素点和周围超像素点的光流差别越大，通过计算得到的局部光流方向差异度值也越大，其越有可能是动态背景；通过设定阈值T1，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(4)、基于直方图K-最近邻特征的动态背景区域检测：在步骤(2)的基础上，每一个超像素获得一个Hist-KNN特征，对当前帧的每一个超像素，在其相邻帧的一个欧式距离小于d3附近的邻域，进行其动态程度分析，若一个超像素点和相邻帧邻域超像素点的Hist-KNN特征差异越大，通过计算得到邻域Hist-KNN特征差异度值也越大，其越有可能是动态背景。通过设定阈值T2，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(5)、图割分析扩大动态背景区域：在步骤(3)、(4)中已经检测到了动态背景区域；根据视频帧具有的时空性，为了进一步抑制在步骤(3)、(4)中未检测出来的动态背景区域，将整段视频中的所有超像素点构造成一张具有结点和边的图(graph)，然后使用图割分析(graph-cut)，求解一个最大流-最小割问题，找到一个动态背景和前景的划分，扩大检测到的动态背景区域，之后对检测为动态背景的区域的显著性值进行抑制；步骤(6)、对MotionSaliencyMap图割分析：为了将动态背景中存在的一些非动态部分去除，使用步骤(5)中构造的图(graph)，将结点的值替换为经步骤(5)抑制后的显著性值，再次利用图割分析就可以得到最终抑制结果。进一步的，步骤(1)该方法利用了超像素点内包含的所有像素点的RGB值分布以及该超像素点在MotionSaliencyMap中的显著性值(下文简述为超像素显著性值)两种信息，使得求出的特征具有较好的判别力。其具体步骤包括：将RGB颜色空间的每一个通道划分成n个分组，每个分组为一个bin，那么共n3个bin。对超像素包含的所有像素点按照其RGB颜色值进行统计，如果某个像素点属于某个bin，那么该bin中的值需要累加该超像素显著性值一次，即最终直方图的任意一个bin中存放的值都是对应超像素显著值的整数倍，当某个bin没有任何一个像素点对应时，该bin的值为零。统计时还应一并记录每个bin最终累加的次数。由上述过程最后统计出来的直方图，其实就是一个n3向量，是具有一定的区分能力的特征。因为每一个超像素内的所有像素点的RGB分布是不同的，而且每一个超像素的显著性值也是不同的，自然最后通过像素点RGB分布累加出来的特征也是不同的。进一步的，步骤(2)中所述的获取超像素直方图K-最近邻特征，具体步骤如下：对每一帧的每一个超像素，如果一个邻域内的超像素点与其的显著性值之差小于其显著性值的S％，则该超像素点将被视作其的一个最近邻；对其所有最近邻的MS直方图特征按对应bin加权求和，并除以对应bin的所有累加次数的加权和，权值为最近邻与其超像素的颜色距离。对于每一帧的每一个超像素最终都会得到其对应的新的n3维向量，把它叫做该超像素点的直方图K-最近邻特征(Hist-KNN)，对于每一帧来说，若该帧被划分成N个超像素，则有N个Hist-KNN向量。该步骤进行了权值和最近邻寻找条件的设计，设计原理为当两个超像素点RGB颜色距离越近或它们显著性值的差越小时，它们两个所对应的区域越有可能属于同一个物体。能避免异常情况的干扰，增强了鲁棒性。进一步的，步骤(3)中所述的基于局部光流方向差异度的动态背景区域检本文档来自技高网...

【技术保护点】
一种基于多尺度时空一致性的动态背景抑制方法，其特征在于，包括：步骤(1)、统计超像素的MS直方图特征：首先将视频帧序列通过光流分析得到Motion Saliency(MS)Map，然后对视频帧的每一帧分别进行超像素分割，基于Motion Saliency Map中的信息以及超像素内像素的RGB颜色分布对视频帧的每一帧的每一个超像素统计一个MS直方图；超像素的MS直方图是基于其显著性值并且与其内部像素的RGB颜色分布关联后的一个统计结果；步骤(2)、获取超像素的直方图K‑最近邻特征(Hist‑KNN特征)：在步骤(1)的基础上，对视频帧的每一帧的每一个超像素，在其的一个欧式距离小于d1附近的邻域，使用显著性值信息作为条件寻找最近邻超像素点，构造出该超像素的一个直方图K‑最近邻特征；步骤(3)、基于局部光流方向差异度的动态背景区域检测：对视频帧的每一帧的每一个超像素，对其的一个欧式距离小于d2附近的邻域的所有超像素点，进行局部光流方向差异度统计；每一个超像素是许多像素点的集合，将它看作一个局部区域，通过统计局部光流方向差异度，也就是邻域超像素之间的光流距离差异度，就可以知道在欧式距离小于d2的范围内，这些局部区域的光流的一致性；每一个超像素的光流能够通过光流分析得到，是一个二维向量，每个值分别代表了图像直角坐标系x,y方向上的光流大小；一个超像素点和周围超像素点的光流差别越大，通过计算得到的局部光流方向差异度值也越大，其越有可能是动态背景；通过设定阈值T1，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(4)、基于直方图K‑最近邻特征的动态背景区域检测：在步骤(2)的基础上，每一个超像素获得一个Hist‑KNN特征，对当前帧的每一个超像素，在其相邻帧的一个欧式距离小于d3附近的邻域，进行其动态程度分析；若一个超像素点和相邻帧邻域超像素点的Hist‑KNN特征差异越大，通过计算得到邻域Hist‑KNN特征差异度值也越大，其越有可能是动态背景；通过设定阈值T2，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(5)、图割分析扩大动态背景区域：在步骤(3)、(4)中已经检测到了动态背景区域，根据视频帧具有的时空性，进一步抑制在步骤(3)、(4)中未检测出来的动态背景区域；具体包括：将整段视频中的所有超像素点构造成一张具有结点和边的图(graph)，然后使用图割分析(graph‑cut)，求解一个最大流‑最小割问题，找到一个动态背景和前景的划分，扩大检测到的动态背景区域，之后对检测为动态背景的区域的显著性值进行抑制。步骤(6)、对Motion Saliency Map图割分析：为了将动态背景中存在的一些非动态部分去除，使用步骤(5)中构造的图(graph)，将结点的值替换为经步骤(5)抑制后的显著性值，再次利用图割分析就可以得到最终抑制结果。...

【技术特征摘要】
1.一种基于多尺度时空一致性的动态背景抑制方法，其特征在于，包括：步骤(1)、统计超像素的MS直方图特征：首先将视频帧序列通过光流分析得到MotionSaliency(MS)Map，然后对视频帧的每一帧分别进行超像素分割，基于MotionSaliencyMap中的信息以及超像素内像素的RGB颜色分布对视频帧的每一帧的每一个超像素统计一个MS直方图；超像素的MS直方图是基于其显著性值并且与其内部像素的RGB颜色分布关联后的一个统计结果；步骤(2)、获取超像素的直方图K-最近邻特征(Hist-KNN特征)：在步骤(1)的基础上，对视频帧的每一帧的每一个超像素，在其的一个欧式距离小于d1附近的邻域，使用显著性值信息作为条件寻找最近邻超像素点，构造出该超像素的一个直方图K-最近邻特征；步骤(3)、基于局部光流方向差异度的动态背景区域检测：对视频帧的每一帧的每一个超像素，对其的一个欧式距离小于d2附近的邻域的所有超像素点，进行局部光流方向差异度统计；每一个超像素是许多像素点的集合，将它看作一个局部区域，通过统计局部光流方向差异度，也就是邻域超像素之间的光流距离差异度，就可以知道在欧式距离小于d2的范围内，这些局部区域的光流的一致性；每一个超像素的光流能够通过光流分析得到，是一个二维向量，每个值分别代表了图像直角坐标系x,y方向上的光流大小；一个超像素点和周围超像素点的光流差别越大，通过计算得到的局部光流方向差异度值也越大，其越有可能是动态背景；通过设定阈值T1，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(4)、基于直方图K-最近邻特征的动态背景区域检测：在步骤(2)的基础上，每一个超像素获得一个Hist-KNN特征，对当前帧的每一个超像素，在其相邻帧的一个欧式距离小于d3附近的邻域，进行其动态程度分析；若一个超像素点和相邻帧邻域超像素点的Hist-KNN特征差异越大，通过计算得到邻域Hist-KNN特征差异度值也越大，其越有可能是动态背景；通过设定阈值T2，认为大于这个阈值的超像素对应的区域为动态背景区域；步骤(5)、图割分析扩大动态背景区域：在步骤(3)、(4)中已经检测到了动态背景区域，根据视频帧具有的时空性，进一步抑制在步骤(3)、(4)中未检测出来的动态背景区域；具体包括：将整段视频中的所有超像素点构造成一张具有结点和边的图(graph)，然后使用图割分析(graph-cut)，求解一个最大流-最小割问题，找到一个动态背景和前景的划分，扩大检测到的动态背景区域，之后对检测为动态背景的区域的显著性值进行抑制。步骤(6)、对MotionSaliencyMap图割分析：为了将动态背景中存在的一些非动态部分去除，使用步骤(5)中构造的图(graph)，将结点的值替换为经步骤(5)抑制后的显著性值，再次利用图割分析就可以得到最终抑制结果。2.根据权利要求...

【专利技术属性】
技术研发人员：李帅，李韵潇，郝爱民，秦洪，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11