基于运动特征的Ｈ．２６４压缩域实时视频对象分割方法技术

本发明专利技术涉及一种基于运动特征的Ｈ．２６４压缩域实时视频对象分割方法。本方法是：在对运动矢量场进行空域归一化后，再对归一化的运动矢量场进行加权中值滤波，然后基于运动矢量场的幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法按照运动特征相似性将其分割成多个对象。经ＭＰＥＧ－４测试序列的实验结果表明，在一台ＣＰＵ为双核２．０ＧＨｚ，内存为９００Ｍ的计算机上处理ＣＩＦ格式的视频序列，平均每帧的处理时间为１５ｍｓ，足以满足大多数实时应用３０ｆｐｓ的要求，而且具有良好的分割质量。鉴于本发明专利技术提出的方法仅使用了运动矢量场信息，因此它也可适用于光流场的运动对象分割。

【技术实现步骤摘要】

本专利技术涉及到一种基于H.264压縮域的视频对象实时分割方法，压縮域分割可免除 对压縮视频的完全解码，仅通过熵解码提取出的运动矢量用作分割所需的运动特征。此 外，与现有方法截然不同的是，本方法采用基于运动矢量场的幅度、散度和旋度三个运 动特征，再结合改进的统计区域生长方法将视频序列中的不同对象进行分割，可比现有 的基于R264压縮域的视频对象分割方法计算量进一步降低。由于该方法只使用了运动 矢量场信息，因此它同样可适用于基于光流场的运动对象分割。技术背景以前的视频对象分割的研究大多集中在象素域，近年来基于压縮域的运动对象分割 开始受人关注。这不仅是因为当前的大多数视频序列已经压缩为某种格式，直接在此压 縮域内进行运动对象分割，可免除对压縮视频进行完全解码；而且，在压縮域内处理的 数据量要比象素域少很多，可使计算量显著减少；加之，从压縮视频中仅通过熵解码提 取出的运动矢量和DCT系数，可直接用作分割所需的运动特征和纹理特征。因此，从压 縮域分割运动对象具有快速的特点，可解决传统的象素域分割方法难于满足实时性分割 的要求，从而可解决以往象素域分割因分割速度过慢而不能解决很多有实时性要求的应 用场合。随着越来越多的应用都以新的编码标准H.264取代MPEG-2，因此压縮域的分割也开 始从MPEG压縮域转向H.264压縮域。由于H.264压縮域中I帧的DCT系数是在块的空间预 测残差上进行变换的，不能直接用作分割的纹理特征。因此，运动矢量是在R264压縮 域进行视频对象分割唯一可直接使用的特征。目前在H.264压縮域，Zeng等首先提出一 种基于块的MRF模型从稀疏运动矢量场中分割运动对象的方法，根据各个块运动矢量的 幅值赋予各个块不同类型的标记，通过最大化MRF的后验概率标记出属于运动对象的 块。但是，这种方法分割的准确度不高，计算量也较大。Liu等提出了基于匹配矩阵的 运动对象实时分割方法，首先通过运动矢量后向投影得到累积的运动矢量场，然后对累 积运动矢量场进行全局运动补偿，同时采用快速的统计区域生长方法按照运动相似性将 其分割成多个区域。利用上述两方面结果，采用基于匹配矩阵的运动对象分割方法分割 出运动对象。但是在这个方法中，有两个方面的问题仍然未能很好的解决。 一是未能采 用有效的滤波方法将奇异的运动矢量滤除，同时保留运动矢量场的主要细节信息；二是 未能充分利用运动矢量场的特征来分割视频运动对象。
技术实现思路
本专利技术的目的在于针对已有技术存在的缺陷，提供一种基于运动特征的H. 264压縮 域实时视频对象分割方法，分割所用的唯一信息是从H.264压缩视频中提取出的基于 4x4块均匀采样的运动矢量场。本方法比此前的H.264压縮域视频对象分割方法在计算 量上更为减少，以充分达到实时运动对象分割的目的。为达到上述的目的，本专利技术的构思是如图1所示，从输入的H.264压縮视频流提取运动矢量并归一化，然后进行加权中 值滤波去除奇异的运动矢量。基于运动矢量场的三个运动特征幅度、散度和旋度，采用 改进的统计区域生长方法将运动对象分割出来。基于上述构思，本专利技术的技术方案是-一种基于运动特征的H.264压缩域实时视频对象分割方法，其特征在于对运动矢量 场进行空域归一化，获得归一化运动矢量场；再对归一化的运动矢量场进行加权中值滤 波，去除奇异的运动矢量。然后基于运动矢量场的幅度、散度和旋度三个运动特征，采 用改进的统计区域生长方法按照运动特征的相似性将其分割成多个对象。其步骤是a. 运动矢量场归一化从H.264视频中提取出运动矢量场并进行空域上的归一化；b. 加权中值滤波将滤波窗口内的所有运动矢量乘以加权系数，再对这些运动矢量 进行中值滤波；C.基于运动矢量场幅度、散度和旋度的对象分割基于幅度、散度和旋度三个运动 特征，采用改进的统计区域生长方法将滤波后的运动矢量场分割成多个具有相似运动特 征的对象。上述中的运动矢量场归一化的步骤是-将凡尺寸大于4x4的各个宏块运动矢量直接赋给该宏块所覆盖的所有4x4块，实 现空域归一化。上述中的加权中值滤波的步骤是(1) 计算iVxJV窗口内所有运动矢量的平均运动矢量；(2) 计算iVx7V窗口内每个运动矢量与平均运动矢量的相关系数，并以此作为加权系数；(3) 将7VxiV窗口内的所有运动矢量乘以加权系数，再进行中值滤波。 上述中的基于运动矢量场幅度、散度和旋度的对象分割的步骤是基于幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法将滤波后的运 动矢量场分割成多个具有相似运动特征的对象，详细步骤如下(1) 计算运动矢量场的三个运动特征幅度M、散度D和旋度C，即(M,A。；(2) 将(M,D,Q映射到红R、绿G、蓝B颜色空间，艮P(i ,G,5)颜色空间；(3) 计算以四邻域连接的相邻块组的运动特征差异性度量；(4) 按照运动特征差异性度量从小到大的次序进行排序；(5) 将运动特征差异性度量最小的相邻块组合并，以此处开始区域生长过程。在每次区域生长时，当前两个块组分别属于相邻的两个区域，是否将这两个区 域进行合并的判断准则是这两个区域的平均运动特征之差是否小于两个区域的边界函数之和。若是，则合并；若否，则不合并；(6) 将面积小于整个运动矢量场0.5%的区域合并到其相邻的区域；(7) 以分割结果直方图中运动矢量最小的区域对应的灰度值作为阈值将分割结 果二值化，得到运动对象的掩模。本专利技术与现有技术相比较，具有如下的突出特点和优点本专利技术不仅适用于H.264 压縮域，同样适用于光流场的分割。本专利技术提出的基于运动特征的实时视频对象分割方 法，将运动矢量场的主要特征作为分割要素，这有别于其它分割方法将运动矢量场分解 为两个标量场处理，从而提高了分割的准确度，分割效果较好。本方法的处理速度达到 每帧15ms，比现有的所有方法都快速，足以满足大多数实时处理的要求，因此具有很 强的实用性。 附图说明图1是本专利技术的基于运动特征的11.264压縮域实时视频对象分割方法的程序框图。 图2是图1中加权中值滤波的结构框图。图3是图1中基于运动矢量场幅度、散度和旋度的对象分割的结构框图。 图4是对序列Erik中各个典型帧(第18、 31、 45帧)运动对象分割结果的图示。 图5是对序列Children中各个典型帧(第32、 42、 62帧)运动对象分割结果的图示。具体实施方式本专利技术的一个实施例子结合附图详述如下本专利技术基于运动特征的H.264压縮域实时视频对象分割方法是按图1所示程序框 图，在CPU为双核2.0GHz、内存900M的PC测试平台上编程实现，图4和图5给出 了仿真测试结果。参见图l,本专利技术基于运动特征的H.264压縮域实时视频对象分割方法，首先对运 动矢量场进行空域归一化，再对归一化的运动矢量场进行加权中值滤波，然后基于运动 矢量场的幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法按照运动特征 相似性将其分割成多个对象。本专利技术提出的方法具有算法简单，对象分割速度快，分割 效果好的特点。其步骤是(1) 运动矢量场归一化从H.264视频中提取出运动矢量场并进行空域上归一化；(2) 加权中值滤波将滤波窗口内的所有运动矢量乘以加权系数，再对这些运动 矢量进行中值滤波；(3) 基于运动本文档来自技高网...

【技术保护点】
一种基于运动特征的Ｈ．２６４压缩域实时视频对象分割方法，其特征在于先对运动矢量场归一化，再对归一化的运动矢量场进行加权中值滤波，基于运动矢量场的幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法按照运动特征相似性将其分割成多个对象；其步骤如下：ａ．运动矢量场归一化：从Ｈ．２６４视频中提取出运动矢量场并进行空域上的归一化；ｂ．加权中值滤波：将滤波窗口内的所有运动矢量乘以加权系数，再对这些运动矢量进行中值滤波；ｃ．基于运动矢量场幅度、散度和旋度的对象分割：基于幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法将滤波后的运动矢量场分割成多个具有相似运动特征的对象。

【技术特征摘要】
1.一种基于运动特征的H.264压缩域实时视频对象分割方法，其特征在于先对运动矢量场归一化，再对归一化的运动矢量场进行加权中值滤波，基于运动矢量场的幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法按照运动特征相似性将其分割成多个对象；其步骤如下a.运动矢量场归一化从H.264视频中提取出运动矢量场并进行空域上的归一化；b.加权中值滤波将滤波窗口内的所有运动矢量乘以加权系数，再对这些运动矢量进行中值滤波；c.基于运动矢量场幅度、散度和旋度的对象分割基于幅度、散度和旋度三个运动特征，采用改进的统计区域生长方法将滤波后的运动矢量场分割成多个具有相似运动特征的对象。2. 根据权利要求1所述的基于运动特征的H.264压縮域实时视频对象分割方法，其特 征在于所述的运动矢量场归一化的步骤是:将凡是尺寸大于4X4的各个宏块运动矢 量直接赋给该宏块所覆盖的所有4X4块，实现空域归一化。3. 根据权利要求1所述的基于运动特征的H.264压縮域实时视频对象分割方法，其特 征在于所述的加权中值滤波的步骤是(1)计算iVxiV窗口内所有运动矢量的平均 运动矢量；(2)计算7VxJV窗口内每个运动矢量与平均运动矢量的相关系...

【专利技术属性】
技术研发人员：张兆杨，陆宇，刘志，
申请(专利权)人：上海大学，
类型：发明
国别省市：31[中国|上海]