基于SURF算法和合并最大相似区域的视频前景分割方法技术

本发明专利技术涉及一种基于SURF算法和合并最大相似区域的视频前景分割方法，该方法针对亮度变化的静态场景视频设计了一种前景分割算法，包括四个步骤：（1）首先求取当前帧的梯度标记，然后对极小修正后的梯度图像进行标记分水岭变换，从而得到初始分割结果；（2）通过Surf特征点匹配操作及制定的规则确定当前帧的前景和背景标记；（3）根据区域最大相似度和区域标记对初始分割结果做区域合并；（4）如果结果不精确，采用基于区域标记交互式修改的方式对自动分割结果进行纠正。较之传统的视频分割方法，本发明专利技术提出的方法对光照变化及噪声等有较强的鲁棒性，在视频对象分割的精度、效率以及降低用户交互量上，都有一定的提高，具有工程应用价值。

【技术实现步骤摘要】
基于SURF算法和合并最大相似区域的视频前景分割方法
本专利技术涉及视频处理及计算机视觉领域，特别涉及一种基于SURF(Speeded-UpRobustFeatures，快速鲁棒特征提取)算法和合并最大相似区域的视频前景分割方法。
技术介绍
视频序列中的前景分割一直是计算机视觉领域的研究热点，它是目标定位、目标识别以及视频修复的基础，能否完整准确的分割对象，直接关系到后续工作的开展。伴随着视频分割技术的发展，已经有较多优秀的前景分割技术和理论产生。视频的前景分割有几种流行的方法，分别是帧差法、光流法、基于统计的学习方法以及背景差分法。帧差法主要是利用相邻两帧做差的方式求取运动的前景，计算较为简单，分割效果也相对稳定，但只能检测发生相对运动的前景，很难获得完整的前景目标。光流法采用运动参数估计，建立相应的模型，此种方法能够在没有充分获得场景信息的情况下检测前景目标，但缺点是要求亮度恒定，而且计算机量大。基于统计学习的方法把视频序列看成是随机过程进行分析，把视频帧的改变表征为随机场中参数的变化，通过检测参数变化来判断运动的前景，此种方法具有较强的抗噪能力，但需要大量的学习样本。背景差分法是先通过多幅图像建立背景图，然后在后续的前景分割时，只需选定任意帧与背景图做差即可得到前景，此种方法算法思想较为简单，但对环境变化较为敏感。
技术实现思路
本专利技术提供了一种结合空间域和时间域信息的视频前景分割方法，能够提高视频前景分割的精度和效率。为达到上述目的，本专利技术采用如下的技术方案：一种基于SURF算法和合并最大相似区域的视频前景分割方法，包含以下操作步骤：步骤1：通过标记分水岭变换和尺度参数的设定对视频中选定帧进行初步分割；步骤2：通过当前帧和参考帧的SURF特征点匹配确定图像中的运动目标，并通过制定规则完成对初始分割区域的标记；步骤3：利用区域标记和相邻区域间的最大相似度，通过改进的MSRM(MaximalSimilaritybasedRegionMerging，基于最大相似度的区域合并)算法对初始分割结果做区域合并操作，完成视频序列中一帧的前景分割；步骤4：对自动分割结果进行交互式的纠正，通过手动选中区域的方式来增加或减少前景和背景标记，然后重新执行步骤3，完成区域合并。所述步骤1的标记分水岭分割包括如下操作：(1)计算当前帧的彩色梯度幅值图像；所述彩色梯度幅值图像计算表达式如下：式中是彩色梯度图像，B表示所选的结构元素，代表提取最大值，即分别计算三个通道对应原始图像的形态学梯度，选择最大的分量梯度作为彩色图像的梯度。(2)对梯度幅值图像进行二阶巴特沃斯低通滤波，把滤波器中的截止频率作为可调节尺度参数；所述二阶巴特沃斯低通滤波器表达式如下：H(u,v)＝1/(1+(D(u,v)/D0)2n)式中D(u,v)是频率域中点(u,v)与频率矩形中心的距离，滤波器的截止频率D0不宜过小，如果过小的话，会破坏图像的边缘信息。利用二阶巴特沃斯低通滤波器(BLPF-2)对梯度图像进行滤波操作得到其低频成分。(3)对滤波后的梯度图像进行扩展极小值运算，得到二值标记图像，把运算中的极小阈值作为另一个可调节的尺度参数；所述扩展极小值变换表达式如下：式中为经过二阶巴特沃斯滤波后的彩色梯度图像，Mark代表经过标记的梯度图像，Emin()代表形态学的扩展极小值变换，h是极小阈值；扩展极小值是消除与其邻域像素亮度之差小于给定阈值h的极小值，而标记与其邻域像素亮度之差大于给定阈值h的极小值的运算。(4)用形态学强制极小标定运算修正梯度图像；所述形态学强制极小标定运算表达式如下：式中IMmin()代表形态学极小值标定运算操作，表示修正后的梯度图像。(5)对修正后的梯度图像做分水岭变换，得到初步分割的结果。所述分水岭变换表达式如下：式中fWS表示图像区域分割结果，WTS()表示分水岭的分割变换算子。所述步骤2的区域标记包括如下操作：(1)在时间域上，从视频序列中选取与当前帧有一定间距的参考帧，可根据视频类型手动输入，其默认值为相隔10帧；(2)采用SURF方法分别提取当前帧与参考帧中的特征点，并采用最近邻匹配得到两帧图像的匹配点对；(3)在当前帧中，如果其SURF特征点与参考帧中匹配点间的空间位移不超过一个像素单位，则选为背景特征点；(4)在当前帧中，如果其SURF特征点与参考帧中匹配点间的距离小于阈值T，且空间位移不超过一定范围，则选为前景特征点；其中T在0.7～1.0之间取值，位移与所选参考帧有关，可根据视频类型手动输入，默认值为视频宽度的20％；(5)对初始分割结果中的区域进行标记，如果区域中有至少一个背景特征点，则此区域设定为背景标记区域，如果区域中有至少一个前景特征点，则此区域设定为前景标记区域，如果区域中背景和前景特征点均存在，取数量多的，若数量相同，此区域不做标记。所述步骤3的区域合并包括如下操作：(1)建立初始分割区域的邻接图(RegionAdjacencyGraph，RAG)，RAG的结点存放区域的彩色直方图，RAG的边存放相邻区域的相似度；所述相似度计算表达式如下：式中ρ(Ri,Rj)是Ri和Rj区域的巴氏系数，它也表示两相邻区域的相似度，和是两个区域在第i个分隔区域的归一化直方图。(2)对初始分割结果中每一个背景标记区域进行操作，如果该区域的邻域是未标记区域，且二者之间的相似度是该未标记区域与其所有邻域相似度中最大的，则合并这两个区域，记新区域为背景标记区域，重复此过程，直至找不到新的合并对象；(3)对初始分割结果中每一个未标记区域进行操作，如果该区域的邻域有未标记区域且二者之间的相似度最大，则合并这两个区域，记新区域仍为未标记区域，重复此过程，直至不再发生区域合并；(4)重复上述(2)和(3)两步操作，直至无区域合并操作发生，区域合并结束，剩下一个前景标记区域，即为视频帧的前景，另一个为背景标记区域，即为视频帧的背景，至此，前景自动分割操作结束。附图说明图1是本专利技术基于SURF算法和合并最大相似区域的视频前景分割方法的流程图。图2是本方法中步骤1的详细计算流程框图。图3是本方法中步骤2的详细计算流程框图。图4是本方法中步骤3的详细计算流程框图。图5是实施例中所选定的当前帧。图6是采用步骤1对当前帧操作后得到的初始分割结果。图7是当前帧与参考帧中前景的SURF特征点匹配结果。图8是当前帧与参考帧中背景的SURF特征点匹配结果。图9是对待合并区域进行标记后的结果。图10是采用步骤1-3操作后对当前帧前景的分割结果。图11是交互式修改后的区域标记结果。图12是当前帧的最终前景分割结果。图13是分割结果的二值图像。具体实施方式以下结合附图对本专利技术的实施例进行详细的说明：参见图1至图4，一种基于SURF算法和合并最大相似区域的视频前景分割方法，包含以下操作步骤：步骤1：(1)读入视频序列，本例序列为静态背景，即背景保持不变，前景运动；本例视频序列经过人为修改后，帧序列之间亮度是变化的。(2)随机选择一帧作为测试的当前帧，如图5所示，帧图像大小为288×352，接下来的任务就是把目标对象从视频中提取出来。(3)采用标记分水岭变换对当前帧进行初步分割，具体的实施步骤分为计算梯度幅值图像、二阶巴特沃斯低通滤波、扩展极小值运算、形本文档来自技高网...

【技术保护点】
一种基于SURF算法和合并最大相似区域的视频前景分割方法，其特征在于，包含以下操作步骤：步骤1：通过标记分水岭变换和尺度参数的设定对视频中选定帧进行初步分割；步骤2：通过当前帧和参考帧的SURF特征点匹配确定图像中的运动目标，并通过制定规则完成对初始分割区域的标记；步骤3：利用区域标记和相邻区域间的最大相似度，通过改进的MSRM算法对初始分割结果做区域合并操作，完成视频序列中一帧的前景分割；步骤4：对自动分割结果进行交互式的纠正，通过手动选中区域的方式来增加或减少前景和背景标记，然后重新执行步骤3，完成区域合并。

【技术特征摘要】
1.一种基于SURF算法和合并最大相似区域的视频前景分割方法，其特征在于，包含以下操作步骤：步骤1：通过标记分水岭变换和尺度参数的设定对视频中选定帧进行初始分割，并且将滤波器中的截止频率运算中的极小阈值作为可调节的尺度参数来达到对视频中选定帧进行初步分割；步骤2：通过当前帧和参考帧的SURF特征点匹配确定图像中的运动目标，并通过制定规则完成对初始分割区域的标记，并且采用最近邻匹配进行特征匹配，其中通过比较参考帧和当前帧的距离来进行初始分割区域标记，进行制定规则；步骤3：利用区域标记和相邻区域间的最大相似度，通过改进的MSRM算法对初始分割区域做区域合并操作，完成视频序列中一帧的前景分割；步骤4：对自动分割结果进行交互式的纠正，通过手动选中区域的方式来增加或减少前景和背景标记，然后重新执行步骤3，完成区域合并；所述步骤2的初始分割区域标记包括如下操作：(1)在时间域上，从视频序列中选取与当前帧有一定间距的参考帧，根据视频类型手动输入，一定间距默认值为相隔10帧；(2)采用SURF方法分别提取当前帧与参考帧中的特征点，并采用最近邻匹配得到两帧图像的匹配点对；(3)在当前帧中，如果其SURF特征点与参考帧中匹配点间的空间位移不超过一个像素单位，则选为背景特征点；(4)在当前帧中，如果其SURF特征点与参考帧中匹配点间的距离小于阈值T，且空间位移不超过一定范围，则选为前景特征点，其中T在0.7～1.0之间取值，而空间位移与所选参考帧有关，根据视频类型手动输入，空间位移值为视频宽度的20％；(5)对初始分割区域进行标记，如果区域中只有背景特征，则此区域设定为背景标记区域，如果区域中只有前景特征...

【专利技术属性】
技术研发人员：丁友东，于冰，黄东晋，谢志峰，吴兵，唐鹏斌，黄曦，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31