基于变化检测和帧差累积的视频对象分割方法技术

本发明专利技术公开了一种基于变化检测和帧差累积的视频对象分割方法，首先使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有边缘信息；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新的视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的对象不规则运动造成的视频对象内部缺失和背景显露。分割速度、分割效果、适用范围及可移植性均有了很大的改善。

【技术实现步骤摘要】
基于变化检测和帧差累积的视频对象分割方法
本专利技术涉及一种视频对象提取中的处理方法，特别涉及一种基于变化检测和帧差累积的视频对象分割方法。在保证分割效果和速度的前提下，改变了传统变化检测需要多次试验获取帧差阈值的缺点，充分考虑了像素邻域的信息，更为准确的获取视频对象。帧差累计应用一段时间内的信息，解决了运动对象不规则运动所带来的局部运动对象缺失问题，基于不连续性检测的Kirsch边缘检测算子得到当前帧中连通的完整图像边缘信息并二值化，三种方法结合应用，使该方法更具有实用性和推广性。
技术介绍
基于对象的视频分割是实现MPEG-4基于内容的编码和交互功能的关键，伴随着MPEG-4标准基于内容编码技术的推广，视频对象分割技术已经成为当前研究的热点。目前，基于对象的视频分割在视频监控，人机交互，军事，通讯等领域都有着极为广泛的应用前景。尽管近年来人们对视频对象分割进行了广泛的研究，但是仍没有完全解决这个问题。视频对象分割方法按照是否需要人工参于分割过程分为自动分割（参见ThomasMeier,KingN.Ngan.Automaticsegmentationofmovingobjectsforvideoobjectplanegeneration[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，1998,8(5):525-538)和半自动分割（参见MunchurlKim,J.G.Jeon,J.S.Kwak,M.H.Lee,C.Ahn.Movingobjectsegmentationinvideosequencesbyuserinteractionandautomaticobjecttracking[J].ImageandVisionComputing,2001,19(5):245-260）。按照应用领域不同主要包括：时域分割方法，空域分割方法及时空融合分割方法。时域分割方法利用视频序列的时序属性，通过相邻帧的时域变化来检测运动目标。常用的方法有帧间差分法和背景差分法。帧间差分法（参见ZhanCH.Animprovedmovingobjectdetectionalgorithmbasedonframedifferenceandedgedetection[A].InternationalConferenceonImageandGraphics[C],2007:519-523）；方法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，但是不能提取出对象的完整区域，只能提取出边界，依赖于选择的帧间差的时间间隔。背景差分法（参见OlivierBarnich,MarcVanDroogenbroeck.Auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEETransactionsonImageProcessing,2011,20(6):1709-1723）；其原理和方法设计简单根据实际情况确定阈值进行处理，所得结果直接反映了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信息，但是背景更新的计算量比较大容易产生离散噪声点，受光线、天气等外界条件变化的影响较大。光流（参见JarealA,VenkateshKS.Anewcolorbasedopticalflowa1gorithmforenvironmentmappingusingamobilerobot[A].IEEEInternationalSymposiumonIntelligentControl[C].2007:567-572）；携带了目标的运动信息，在场景信息未知情况下，能很好地检测出运动对象，检测准确度高，但光流法计算量大一般不能被应用于实时处理场景。空域分割方法（参见JaimeS.Cardoso,JorgeC.S.Cardoso,LuisCorte-Real.Object-basedspatialsegmentationofvideoguidedbydepthandmotioninformation[A].IEEEWorkshoponMotionandVideoComputing[C].2007.）；利用图像的颜色、亮度、纹理以及边缘信息等空域属性来提取视频对象。时空融合分割方法（Ahmed,R.,Karmakar,G.C.,Dooley，L.S.Incorporationoftextureinformationforjointspatio-temporalprobabilisticvideoobject[A].IEEEInternationalConferenceonImageProcessing[C].2007,6,293-296）；是现在最常用的分割方法，该方法结合视频序列的时域信息及空域信息。两种信息相互融合得到相对准确的分割结果。然而无论是采用哪种方法来分割运动对象，显露背景和对象的不规则运动（运动对象或者其某一部分在一段时间内静止）都会造成分割准确度的下降。在运动分析中，显露背景和因对象的不规则运动造成的静态前景区域易被错误地检测为前景或是背景，从而造成分割准确度的下降。
技术实现思路
：本专利技术提出了一种基于变化检测和帧差图像累积的视频对象分割方法，首先利用高斯滤波对各帧视频图像进行高斯平滑滤波，然后使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的由不规则运动（运动对象或者其某一部分在一段时间内静止）引起的视频对象内部缺失和显露背景的问题，分割速度、分割效果、适用范围及可移植性均有了很大的改善。本专利技术要解决的技术问题是：1、当直接通过帧间差分获取运动对象的变化区域时，需要通过多次实验获取帧差法的阈值，对噪声和光线变化敏感且获取完整的运动区域存在严重缺失的问题；2、视频对象不规则运动（运动对象或者其某一部分在一段时间内静止）产生的遮挡（覆盖/显露）问题。3、Kirsch边缘检测算子获取视频对象边界存在不连续性。本专利技术解决其技术问题所采用的技术方案：基于变化检测和帧差图像累积的视频对象分割方法，包括以下步骤：步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行经过对称帧距变化区域相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；步骤二：对原始视频的每一帧用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边本文档来自技高网...

【技术保护点】
一种基于变化检测和帧差累积的视频对象分割方法，该视频对象分割方法的特征在于：时域分割利用t显著性检验检测帧间变化，不需要根据繁琐的实验数据设定阈值，根据t分布表查找获得最优阈值，不需要知道视频内噪声的方差，因此避免了噪声参数的估计；在帧差累积阶段提出了有效模板和记忆掩膜的概念和两者的使用及其形成方法；空域分割利用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子获得完整精细的连通边缘，该视频对象分割方法的具体步骤如下：步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；步骤二：对原始视频的每一帧采用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割；步骤三：采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。...

【技术特征摘要】
1.一种基于变化检测和帧差累积的视频对象分割方法，该基于变化检测和帧差累积的视频对象分割方法的特征在于：时域分割利用t显著性检验检测帧间变化，不需要根据繁琐的实验数据设定阈值，根据t分布表查找获得最优阈值，不需要知道视频内噪声的方差，因此避免了噪声参数的估计；在帧差累积阶段提出了有效模板和记忆掩膜的概念和两者的使用及其形成方法；空域分割利用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子获得完整精细的连通边缘；该视频对象分割方法的具体步骤如下：步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，并进一步整合形成记忆掩膜，完成视频对象的时域分割；具体步骤如下：(1)、设视频序列灰度化后第n帧为Fn(x,y)，经过高斯滤波平滑过后为Gn(x,y)；(2)、视频序列内每帧图像噪声记为Nn(x,y)，方差记为故可将视频序列中第n帧灰度图像Gn(x,y)表示为：其中为视频图像的实际值；根据上式，可得差分图像:设D(x,y)＝Nn(x,y)-N(n-k)(x,y)，其中Nn(x,y)与N(n-k)(x,y)是概率密度相同并且相互独立的随机变量，故D(x,y)仍为加性零均值高斯噪声随机变量，方差为由于各个像素点的噪声是互相独立的，如果窗内所有不为零的帧差值都是由噪声引起的，这些值的均值μ应该为零，所以根据概率论知识进行假设检验，设位置(x,y)为背景，即零假设H0：H0:μ＝0；在噪声方差未知的情况下，采用t显著性检验检测，根据邻域窗内的像素点构造统计测试量t：其中，Ad(n)和s分别为邻域窗口内的样本均值和样本方差，p为邻域窗口内的像素点总数；根据显著性测试理论，阈值由给定的显著性水平α和t所服从的分布决定：显著性水平α的选择与具体视频序列中的摄像机噪声强度相关，根据设定的显著性水平α，若成立，则该邻域窗口的中心像素点属于m(n)；初始运动变化区域可表示为：经过对称帧距变化区域相与操作，可将视频对象运动不明显部分包含在内，得到完整的运动变化区域；(3)、时域定区间帧差累积计算:对于包含内部纹理具有高度的一致性的视频对象或视频对象在某个时间段静止或运动缓慢，仅使用上述(1)、(2)两步所述变化检测方法不能检测到完整的运动区域，导致在时空滤波时，无法得到精确的运动目标边界轮廓，从而在最终的视频对象提取中造成目标局部缺失；应用时域定区间帧差累积方法，能够有效解决目标局部缺失问题；时域定区间帧差累积方法利用视频序列各帧间在时间域的相关性及目标运动的连续性，不但综合考虑在某段时间内，各像素出现的次数即在给定时间段内，出现次数频繁的部分作为有效模板出现在整个运动时段内；而且充分考虑了视频对象在一段时间上的运动连贯性，即充分挖掘了一个整体区块上的时间信息；设给定时间段长度为l，在该时间段中包含...

【专利技术属性】
技术研发人员：祝世平，高洁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：