本发明专利技术公开了一种基于六边形网格整像素运动估计及五帧背景对齐的动背景下视频对象提取方法，包括如下步骤：首先将K-2帧、K-1帧、参考帧K、K+1帧与K+2帧分成8×8宏块，根据宏块判断准则对宏块进行筛选；对筛选后的宏块采用六边形网格整像素运动估计方法进行块匹配，分别得到上述四帧相对于参考帧的运动矢量场，并通过最小二乘法计算全局运动参数；对第K-2帧、K-1帧、K+1帧与K+2帧分别进行运动补偿，使该四帧与参考帧背景对齐，并得到四帧的重建帧；对重建帧K-2'、K-1'、K+1'、K+2'及参考帧分别采用Sobel算子提取边缘信息，计算相对于参考帧边缘的帧差，最大方差阈值二值化；分别对连续五帧前两帧和后两帧得到的帧差进行与运算；最后进行或运算并做后处理，实现动背景下视频对象的快速有效分割。
【技术实现步骤摘要】
本专利技术涉及一种视频分割中的处理方法，特别涉及一种基于六边形网格整像素运动估计及五帧背景对齐的动背景下视频对象提取方法。
技术介绍
对于动态视频序列中运动对象的提取，由于摄像机产生的全局运动使得在静背景下的分割方法，如帧差或者背景差分等方法不适用于动背景下的分割，即不能够准确地将运动对象提取出来，因此针对动背景下的分割问题必须首先消除摄像机运动所造成的全局运动的影响，通过全局运动估计和补偿技术，将问题转化成静背景下的分割问题，进而应用·静背景下广泛的分割方法实现动背景下的准确、有效分割。全局运动估计是指估计由摄像机运动引起的序列背景区域的运动规律，求解出相应数学运动模型中的多个参数。全局运动补偿是在根据运动估计所得到的全局运动参数，在当前帧和前一帧之间作一个相应的背景对齐的映射变换。这样在准确的补偿之后就可以采用帧差或背景差等方法消除背景区域，突出感兴趣的具有局部运动的前景区域(参见杨文明.时空融合的视频对象分割.浙江浙江大学，2006)。对于动背景下的运动对象分割问题，目前国际上已有相当多的学者做了大量的研究工作。如利用改进的分水岭算法将运动补偿后的视频帧分割成不同的灰度区域，通过光流计算得到序列的运动信息，最后，将运动信息和分割的区域按一定的准则综合得到对象模板，达到对视频对象的准确定位(参见张庆利.一种基于运动背景的视频对象分割算法.上海大学学报(自然科学版)，2005，11(2):111-115.)。如建立四参数运动放射模型来描述全局运动，采用块匹配方法进行参数估计，结合Horn-Schunck算法检测出运动目标并应用卡尔曼滤波对运动目标的质心位置等信息进行跟踪，实现了动态场景中运动对象的检测与跟踪。(参见施家栋.动态场景中运动目标检测与跟踪.北京理工大学学报，2009，29(10) :858-876.)。另一种采用非参数核密度估计的方法，首先采用匹配加权的全局运动估计补偿算法消除动态场景下背景运动的影响，然后估计各像素属于前景与背景的概率密度并结合形态学等算法进行处理，实现了动背景下运动对象的准确、有效分割。(参见马志强.一种动态场景下运动对象分割新算法.计算机工程与科学，2012，34(4) :43-46.)。为了解决动背景下的分割问题，本专利技术方法实现了一种采用宏块预判断、块匹配、摄像机六参数仿射模型、最小二乘法等全局运动估计及补偿方法，并通过五帧背景对齐结合边缘信息等实现动背景分割。实验证明，该方法实现了动背景视频序列中视频对象的提取，并且提取精度得到明显提高。
技术实现思路
本专利技术要解决的技术问题是如何减少块匹配的运算时间，如何实现动背景下视频对象的准确提取。本专利技术解决其技术问题所采用的技术方案是一种基于六边形网格整像素运动估计及五帧背景对齐的动背景下视频对象提取方法，包括以下步骤(I)将第K-2帧、第K-I帧、参考帧K帧、第K+1帧与第K+2帧分别分成8X8宏块，根据纹理信息对该五帧中所有宏块进行预判断、筛选；(2)对上述筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配，分别以第K-2帧、第K-I帧、第K+1帧与第K+2帧作为当前帧，以第K帧作为参考帧，得到该四帧相对于参考帧K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型； (3)对第K-2帧进行运动补偿，使第K-2帧与第K帧背景对齐，得到重建帧K_2’，按照同样的方法对第K-I帧、第K+1帧与第K+2帧进行运动补偿，使第K-I帧、第K+1帧及第K+2帧分别与第K帧背景对齐，并得到重建帧K-1’、重建帧K+1’及重建帧K+2’ ；(4)对重建帧K-2’、K-1’、K+1’、K+2’及参考帧K帧分别采用Sobel算子提取边缘信息，并分别计算其相对于参考帧K边缘的帧差屯、d2、d3、d4，采用最大方差阈值方法进行二值化；(5)分别对连续五帧前两帧和后两帧得到的帧差二值化结果进行与运算；对得到的与运算结果采用或运算及形态学、中值滤波等进行后处理，实现动背景下视频对象的快速有效分割。所述步骤(I)中对于当前第K-2帧、第K-I帧、第K+1帧、第K+2帧与参考帧K帧中分成的8X8宏块进行预判断及筛选，具体步骤如下由于在下述步骤中应用最小二乘法计算全局运动参数的时候，很多误差大的宏块被直接删除，如果能够在最小二乘法运算之前将误差大的宏块剔除，将显著的提高运算速度，并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息，也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发，根据设定的阈值对于宏块进行筛选抑或保留，当宏块的信息量小于该阈值时，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块；当信息量大于该阈值时，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算。其主要步骤如下第一步将每一帧分成8X8子块，经试验证明，若采用分成16X16子块的形式则计算量过大，若分成4x4子块则块匹配等方法不够精确，故采用8X8子块的形式；第二步采用Sobel算子得到每一帧的梯度图，将梯度信息作为宏块剔除的判断依据；_ 8] |V/(.t, j)| = mag(Vf(x, y)) = +Gv2其中|V/(x，_v)|表示该点的梯度信息，Gx、Gy分别表示偏导数。第三步计算每一个宏块的梯度量；以8x8子块为例，其梯度信息量为 I-S J=S |V/(x,>08xS| = EEIV/(x，>，)l ^=I ./=1第四步确定宏块预断的阈值，一般保留所有宏块的40%，根据这个确定的值，对所有宏块的梯度量进行排序，确定保留40%下宏块筛选的最佳阈值T ；第五步完成对于宏块的筛选，若其梯度信息量>T，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算；若其梯度信息量〈T，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块。所述步骤(2)中的分别以K-2巾贞、K-I巾贞、K+1巾贞、K+2帧作为当前帧，以K帧作为参考帧，对筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配，并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型，其具体步骤如下(i)块匹配准则SAD本部分采用SAD块匹配准则，该准则不仅能够找到最佳匹配点，并且计算量小、耗时短。权利要求1.应用于一种基于六边形网格整像素运动估计及五帧背景对齐的动背景下视频对象提取方法，其特征在于包括以下步骤 (1)将第K-2帧、第K-I帧、参考帧K帧、第K+1帧与第K+2帧分别分成8X 8宏块，根据纹理信息对该五帧中所有宏块进行预判断、筛选； (2)对上述筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配，分别以第K-2帧、第K-I帧、第K+1帧与第K+2帧作为当前帧，以第K帧作为参考帧，得到该四帧相对于参考帧K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型； (3)对第K-2帧进行运动补偿，使第K-2帧与第K帧背景对齐，得到重建帧K-2’，按照同样的方法对第K-I帧、第K+1帧与第K+2帧进行运动补偿，使第K-I帧、第K+1帧及第K+2帧分别与第K帧背景对齐，并得到重建帧K-1’、重建帧K+1’及重建帧K+2’ ； (4)对重建帧K本文档来自技高网...
【技术保护点】
应用于一种基于六边形网格整像素运动估计及五帧背景对齐的动背景下视频对象提取方法，其特征在于包括以下步骤：（1）将第K？2帧、第K？1帧、参考帧K帧、第K+1帧与第K+2帧分别分成8×8宏块，根据纹理信息对该五帧中所有宏块进行预判断、筛选；（2）对上述筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配，分别以第K？2帧、第K？1帧、第K+1帧与第K+2帧作为当前帧，以第K帧作为参考帧，得到该四帧相对于参考帧K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型；（3）对第K？2帧进行运动补偿，使第K？2帧与第K帧背景对齐，得到重建帧K？2“，按照同样的方法对第K？1帧、第K+1帧与第K+2帧进行运动补偿，使第K？1帧、第K+1帧及第K+2帧分别与第K帧背景对齐，并得到重建帧K？1“、重建帧K+1“及重建帧K+2“；（4）对重建帧K？2“、K？1“、K+1“、K+2“及参考帧K帧分别采用Sobel算子提取边缘信息，并分别计算其相对于参考帧K边缘的帧差d1、d2、d3、d4，采用最大方差阈值方法进行二值化；（5）分别对连续五帧前两帧和后两帧得到的帧差二值化结果进行与运算；对得到的与运算结果采用或运算及形态学、中值滤波等进行后处理，实现动背景下视频对象的快速有效分割。...
【技术特征摘要】
【专利技术属性】
技术研发人员：祝世平，郭智超，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。