一种基于高阶能量约束的视频对象分割算法制造技术

本发明专利技术公开了一种基于高阶能量约束的视频对象分割算法，包括以下步骤：将视频帧序列进行超像素分割；根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；根据分割数据项，结合多种特征,建立时空平滑项；根据分割数据项和时空平滑项，加入高阶能量项；将高阶能量项近似为数据项和平滑项；使用图割算法完成分割。本发明专利技术在数据项和平滑项的基础上加入了一种基于SIFT特征的高阶能量约束来保证视频分割的全局一致性，解决了当视频对象是运动的且形状不规则、帧间光流存在明显干扰时，分割效果非常不理想的问题以及高阶能量项优化计算负载过高的问题。

【技术实现步骤摘要】
一种基于高阶能量约束的视频对象分割算法
本专利技术涉及图像视频处理
，尤其是涉及一种基于高阶能量约束的视频对象分割算法。
技术介绍
视频目标分割是指在视频帧序列中将前景对象与背景分离的过程。目前该领域内已有许多方法解决这种二元分割问题，这些方法可以分为无监督方法和监督方法。前者不需要人工介入，直接输入视频数据；后者则要求人为提供额外的标签数据来进行初始化。这里，通常是将视频帧序列的首帧分割结果作为已知数据输入算法。本专利技术专利属于后者。在现有的视频对象分割方法中，基于图割的方法有效地保证了视频对象在帧间的传播。这些方法将每个帧分解为时空节点，从而将分割问题转化为在马尔科夫随机场(MRF)中的二类节点的标记问题。大多数这些方法都是在寻找最优的前/背景标签标记，目的是使视频帧序列的数据项以及平滑项最小化。尽管结果相对较好,但这些方法存在比较严重的问题。比如当视频对象是运动的且形状不规则、帧间光流存在明显干扰时，分割效果非常不理想。一般来讲，高阶能量项通常包含很复杂的优化过程，所以很难计算出能量优化的解析表达式。通用的解决方案是固定数据项和平滑项的同时去优化高阶能量项，固定高阶能量项的同时去优化数据项和平滑项。但是这将会导致巨大的时间和计算代价。
技术实现思路
专利技术目的：为了克服
技术介绍
的不足，本专利技术公开了一种基于高阶能量约束的视频对象分割算法。技术方案：本专利技术的基于高阶能量约束的视频对象分割算法，包括以下步骤：(1)将视频帧序列进行超像素分割；(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；(6)使用图割算法完成分割。其中，步骤(1)中所述超像素分割方法为采用SLIC算法将视频帧序列中每一帧分割成若干个超像素点。进一步的，步骤(2)中第i帧上的超像素数量为Fi，表示其中第j个超像素，其标签值为如果表示为背景超像素，如果表示为前景超像素；使用期望值最大算法去拟合得到前景高斯混合模型和背景高斯混合模型其中表示超像素点的RGB值，每个超像素点的数据项表示为：进一步的，步骤(3)中所述时空平滑项包括空间平滑项和时间平滑项，分别用于空间和时间节点的平滑，所述空间平滑项表示为：所述时间平滑项表示为：所述时空平滑项为：其中，εt为所有的时域对集合，εs为所有的空域对集合，λs、λt是线性组合的权重参数，是第i帧内第j个超像素所对应的颜色和光流方向的串联直方图，是第i帧内第j个超像素所对应的颜色直方图，表示超像素与超像素之间的平均边强度，表示时域对内的像素点的光流映射比例，δ是标准的克罗内克函数，即当v＝u，δ(u,v)＝1当v≠u，δ(u,v)＝0。进一步的，步骤(5)中具体方法为：将SIFT特征聚类成100类,每个超像素点都可以被表示成一个节点，每个节点包含多个SIFT特征点，每个节点可以用一个SIFT特征直方图来表示；表示超像素点对应的直方图中的第k个bin，即第k个SIFT特征类在超像素点中的特征点个数，H表示直方图的bin的个数；表示前景超像素点中第k个bin的数值之和，表示背景超像素点中第k个bin的数值之和，Ωk表示所有超像素点中第k个bin的数值之和，有计算得到第k个SIFT特征类前背景的概率值分别为：和最后可以得到每个超像素属于前背景的概率值：和于是高阶能量项表示为其中：得最终高阶能量项为：最后，步骤(6)中使用图割算法完成分割的总体优化公式为：其中，E(S,L)＝φu(S,L)+α×φp(S,L)+β×Eh(S,L)，L为所有超像素点标签的集合，S为所有超像素点的集合，φu为数据项，φp为平滑项，Eh为高阶能量项，α、β是线性组合的权重参数。有益效果：与现有技术相比，本专利技术的优点为：首先，本专利技术在数据项和平滑项的基础上加入了一种基于SIFT特征的高阶能量约束来保证视频分割的全局一致性，对于视频中出现的随机噪音、无规则运动、前/背景不分明等问题有着较强的鲁棒性；其次，通过对MRF模型添加辅助节点的方式将高阶能量项近似为数据项和平滑项，使其易于计算和优化。附图说明图1是本专利技术的算法流程图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步的说明。如图1所示的本专利技术的基于高阶能量约束的视频对象分割算法，包括以下步骤：(1)将视频帧序列进行超像素分割；考虑到在视频处理中使用基于像素点的分割方法会导致巨大的内存和计算代价，本专利技术专利采用的方法是基于超像素点进行分割。由于SLIC算法的优良特性，所以结果能够保留对象的大部分边界，因此首先使用SLIC算法将视频帧序列中每一帧分割成若干个超像素点。(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；假设，第i帧上的超像素数量为Fi，表示其中第j个超像素，其标签值为如果表示为背景超像素，如果表示为前景超像素；使用期望值最大算法(EM算法)去拟合得到前景高斯混合模型和背景高斯混合模型其中表示超像素点的RGB值，超像素点的RGB值可近似为超像素点内所有像素的RGB值的平均值，每个超像素点的数据项表示为：(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；时空平滑项包括空间平滑项和时间平滑项，分别用于空间和时间节点的平滑。空间连接指的是二个超像素节点之间有同一边的连接，时间连接指的是二个超像素点内部像素点存在光流映射。本文使用边强度、颜色、光流方向以及映射比例等多特征结合的方法来计算局部相似性。将所有的时域对和空域对集合表示为εt和εs，于是总的时空平滑项可以表示为：λs、λt是线性组合的权重参数，其中空间平滑项可以被表示成：时间平滑项可以被表示成：其中是第i帧内第j个超像素所对应的颜色和光流方向的串联直方图，是第i帧内第j个超像素所对应的颜色直方图。表示超像素与超像素之间的平均边强度，表示时域对内的像素点的光流映射比例，δ是标准的克罗内克函数，即当v＝u，δ(u,v)＝1当v≠u，δ(u,v)＝0。(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；考虑到视频对象分割中单独使用RGB颜色特征不具有很强的鲁棒性,在分割一些特定的对象时甚至效果非常不理想,所以本文使用SIFT特征作为高阶能量约束，增强分割对象的外观一致性。SIFT特征对旋转、尺度缩放、亮度等保持特征不变性，是一种非常稳定的局部特征。(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；将SIFT特征聚类成100类,每个超像素点都可以被表示成一个节点，每个节点包含多个SIFT特征点，每个节点可以用一个SIFT特征直方图来表示；表示超像素点对应的直方图中的第k个bin，即第k个SIFT特征类在超像素点中的特征点个数，H表示直方图的bin的个数；表示前景超像素点中第k个bin的数值之和，表示背景超像素点中第k个bin的数值之和，Ωk表示所有超像素点中第k个bin的数值之和，有计算得到第k个本文档来自技高网...

【技术保护点】
1.一种基于高阶能量约束的视频对象分割算法，其特征在于包括以下步骤：(1)将视频帧序列进行超像素分割；(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；(6)使用图割算法完成分割。

【技术特征摘要】
1.一种基于高阶能量约束的视频对象分割算法，其特征在于包括以下步骤：(1)将视频帧序列进行超像素分割；(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；(6)使用图割算法完成分割。2.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(1)中所述超像素分割方法为采用SLIC算法将视频帧序列中每一帧分割成若干个超像素点。3.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(2)中表示其中第i帧上的第j个超像素，其标签值为如果表示为背景超像素，如果表示为前景超像素；使用期望值最大算法去拟合得到前景高斯混合模型和背景高斯混合模型其中表示超像素点的RGB值，每个超像素点的数据项表示为：4.根据权利要求1或3所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(3)中所述时空平滑项包括空间平滑项和时间平滑项，分别用于空间和时间节点的平滑，所述空间平滑项表示为：所述时间平滑项表示为：所述时空平滑项为：其中，εt为所有的时域对集合，εs为所有的空域对集合，λs、λt是线性组合...

【专利技术属性】
技术研发人员：陈亚当，征煜，金子龙，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32