基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法技术

本发明专利技术提供了一种基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法，本方法首先通过Vibe背景建模算法对视频序列进行预处理，将图像中的像素分为前景、背景和未知类型，建立不完全三元图；根据Vibe算法得到的不完全三元图，建立图像到图的映射，结合像素与前景和背景的隶属程度以及相邻像素的相似度特征构造目标能量函数，通过最大流最小割定理求出使能量函数最小化的边和点的集合，在最小割的基础上进行图像分割；在图割算法分割结果的基础上进行后处理，基于在二值图像中运动目标检测的结果，在原图像中将运动目标用外接矩形标记出来，并通过模型匹配的方法进一步检测运动目标，提高运动目标提取的鲁棒性和准确性。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种基于结合图割(Graph?Cut)的Vibe改进算法的运动目标实时提取方法，本方法首先通过Vibe背景建模算法对视频序列进行预处理，将图像中的像素分为前景、背景和未知类型，建立不完全三元图；根据Vibe算法得到的不完全三元图，建立图像到图的映射，结合像素与前景和背景的隶属程度以及相邻像素的相似度特征构造目标能量函数，通过最大流最小割定理求出使能量函数最小化的边和点的集合，在最小割的基础上进行图像分割；在图割算法分割结果的基础上进行后处理，基于在二值图像中运动目标检测的结果，在原图像中将运动目标用外接矩形标记出来，并通过模型匹配的方法进一步检测运动目标，提高运动目标提取的鲁棒性和准确性。【专利说明】基于结合图割(Graph Cut)的V i be改进算法的运动目标实时提取方法
本专利技术涉及图像处理与计算机视觉领域，具体的说，是指一种在复杂背景下对运动目标进行实时提取的方法。
技术介绍
随着体育比赛转播技术和数字多媒体技术的发展，将虚拟现实技术融入到体育比赛的转播当中，为观众提供了丰富的视频画面。本专利技术以足球比赛为例，提供了一种在复杂背景下进行运动目标实时提取的方法。 在体育比赛中，足球是一项深受大家喜爱的体育运动。在足球比赛转播方面，通过加入虚拟的人物和场景可以提高比赛的观赏性。在比赛直播过程中，需要记录每个球员的各项数据以及整个球队的技术统计，并通过字幕的方式呈现给观众。这些技术都依赖于对足球比赛视频中运动目标的检测和提取，所以说运动目标的检测和提取是足球视频分析技术的基础。 随着运动目标提取的深入研究，根据背景的复杂度提出了许多实用的方法。在简单背景中，采用基于颜色信息的色键技术提取运动目标。这种基于单色背景的运动目标提取技术已经非常成熟，广泛应用于虚拟演播室和电视节目制作中。但是在足球比赛的环境中，每个地方的球员的肤色都不一样，每支球队的队服也是比较独特的，不同时间的比赛受光照条件的影响而使球场的环境也不一样，再加上观众区域、球场线和周围的广告牌的影响，可以说，足球比赛视频中的背景相当复杂，因此如何在复杂的背景下实现运动目标的自动检测和分割，这个问题受到国内外学者更多的关注。 在复杂背景中，精确的区分前景目标是运动目标提取算法的关键。特别是在足球比赛视频中，摄像机随着足球在不断的移动，有时候导播还会在不同的镜头之间切换，这无疑给运动目标的实时提取增加了难度。 基于上述情况，亟需一种计算简单、鲁棒性强、能够实现在复杂背景下进行运动目标实时提取的方法。
技术实现思路
为了解决上述问题，本专利技术提供了一种，可以实时的准确分割出前景目标和背景，将前景运动目标提取出来。 为了实现上述方法，本专利技术首先采用Vibe算法对视频序列的第一帧进行背景模型初始化，从第二帧开始对每一帧图像根据Vibe算法的预处理结果将像素分为背景区域、前景区域及未知区域三种类型，建立不完全三元图；其次，利用像素与前景和背景的隶属程度以及相邻像素的相似度特征构建目标能量函数，采用最大流最小割定理求取目标能量函数的极值，经过图割的再处理过程，将图像实时分割为前景和背景；最后，在二值图像上检测运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使分割出的前景目标更加准确和完整。具体步骤如下: (I)首先获取视频数据流，采用Vibe算法通过视频序列的第一帧创建背景模型，从第二帧开始，对图像中的每一个像素进行处理，初步划分为前景、背景和未知类型像素，建立不完全三元图；然后根据像素的类型确定是否更新背景模型； (2)根据步骤(I)在视频当前帧中，建立不完全三元图，确立图像到图的映射关系；利用步骤(I)中像素与前景和背景的隶属度以及相邻像素的相似度特征构建目标能量函数；采用最大流最小割定理求取目标能量函数的极值，得到二值化的图像分割结果；因此，当前帧图像中未确定像素类型的像素已具备明确的前景或背景类型； (3)对于步骤(2)中图像分割结果进行后处理，利用形态学算法去除分割结果的噪声和运动目标的不连续、空洞现象；为了确定运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使提取出的前景目标更加的准确和完整。 2.根据权利要求1所述的方法，其特征在于，步骤(I)中采用Vibe算法对视频序列进行预处理的过程如下所述: (11)根据视频序列的第一帧创建背景模型，实现背景模型初始化； (12)从第二帧开始，将当前帧图像中的像素与背景模型中的像素样本数据进行比较，根据比较结果对像素进行前景、背景以及未知类型的划分； (13)如果像素被划分为背景，则更新背景模型；如果像素被划分前景，则不更新背景模型；如果像素被划分为未知区域类型，则在后续步骤中使用图切算法进行更精确的分类； (14)采用随机的策略机制在时域和空间上更新背景模型；在时域上，在该像素的背景模型中采用随机的策略机制选取一个样本像素值，用当前像素值替换更新；在空间上，在该像素的邻域中，采用随机的策略机制选取一个邻域像素，并在该邻域像素的背景模型中再次采用随机的策略机制选取一个样本像素值，用当前像素值替换更新； (15)利用上述的方法，将当前帧图像分割成前景、背景和未知区域三类像素集，建立不完全三元图。 3.根据权利要求2所述的方法，其特征在于，步骤⑵中目标能量函数构造以及求解目标能量函数的极值如下所述: (21)根据(15)得到的像素分类结果，设定目标能量函数的各项具体表达形式； (22)利用像素的亮度和邻域像素的相似度作为目标能量函数的平滑项，以表征相邻两个像素间的平滑性； (23)利用(15)的像素分类结果，根据像素属于背景或前景的程度来设定目标能量函数的数据项，即得到目标能量函数。 (24)建立图像到图的映射，为每一帧图像构造赋权图，以便执行图切算法； (25)根据最大流和最小割定理求取目标能量函数的极值，求出使能量函数最小化的边和点的集合，以确定目标能量函数的极值及未知像素类型的二值标签，在最小割的基础上进行图像分割。 4.根据权利要求3所述的方法，其特征在于，步骤(3)中对图像分割结果的后处理过程以及运动目标提取的标记如下所示: (31)利用区域标识和形态学闭操作算法，去除(25)中得到的前景分割结果中小面积干扰区域，填充运动目标断开以及区域中小的孔洞； (32)采用运动目标区域面积和宽高比限制条件，根据区域检测算法在二值图像中检测前景目标； (33)通过模型匹配的方法进一步对不符合区域面积和宽高比限制的区域进行运动目标检测； (44)根据(32)和(33)中运动目标检测结果在图像中利用外接矩形将运动目标标记出来。 本专利技术与现有的技术相比具有如下优点: 1.本专利技术是一种基于Vibe背景建模和图割进行复杂背景下运动目标实时提取的方法。根据Vibe算法的预处理结果对像素进行前景、背景以及未知类型的划分，建立不完全三元图。该方法思想简单，容易实现。 2.在不完全三元图的基础上构建能量函数。利用当前像素与背景和前景的隶属程度为像素分配不同的标签代价值，作为目标能量函数的数据项，利用相邻像素的相似程度构建目标能量函数的平滑项，求取能量函数的极值，对像本文档来自技高网...

【技术保护点】
一种基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法，其特征在于，首先采用Vibe算法进行背景建模，将视频中的每一帧图像分为背景区域、前景区域及未知区域，建立不完全三元图；其次，利用像素的亮度信息和空间相似度特征构建目标能量函数，采用图割算法求取目标能量函数的极值，从而将每一帧图像实时分割为前景和背景；最后，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使分割出的前景目标更加的准确和完整；具体步骤如下：(1)首先获取视频数据流，采用Vibe算法通过视频序列的第一帧创建背景模型，从第二帧开始，对图像中的每一个像素进行处理，初步划分为前景、背景和未知类型像素，建立不完全三元图；然后根据像素的类型确定是否更新背景模型；(2)根据步骤(1)在视频当前帧中，建立不完全三元图，确立图像到图的映射关系；利用步骤(1)中像素与前景和背景的隶属度以及相邻像素的相似度特征构建目标能量函数；采用最大流最小割定理求取目标能量函数的极值，得到二值化的图像分割结果；因此，当前帧图像中未确定像素类型的像素已具备明确的前景或背景类型；(3)对于步骤(2)中图像分割结果进行后处理，利用形态学算法去除分割结果的噪声和运动目标的不连续、空洞现象；为了确定运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使提取出的前景目标更加的准确和完整。...

【技术特征摘要】

【专利技术属性】
技术研发人员：吴晓雨，李绍彬，张岳，张宜春，蒋伟，田鹏宇，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京;11