一种基于Nystrom谱聚类的超像素抠图方法技术

本发明专利技术公开了一种基于Nystrom谱聚类的超像素抠图方法，针对传统的谱聚类超像素分割方法计算复杂度过高，不适合大尺寸图像处理的问题，利用Nystrom近似技术改进谱聚类，提高超像素分割的效率和质量。本发明专利技术首先在待分割图像上随机抽样，选取少量像素点样本；然后计算样本相似性矩阵，并对矩阵归一化；接着利用Nystrom近似技术，计算Laplacian矩阵的近似正交特征向量；再使用k‑means算法对特征空间中的代表点聚类，生成多个超像素；最后根据目标物体的轮廓，通过超像素分离前景目标与背景。本发明专利技术为Nystrom谱聚类设计了新的特征求解方法，使所得的近似特征向量满足正交条件，用于产生贴合物体形状的超像素。本发明专利技术可以降低超像素分割的计算复杂度，实现更高效、更精确的图像抠图。

【技术实现步骤摘要】
一种基于Nystrom谱聚类的超像素抠图方法
本专利技术属于图像处理领域，具体涉及一种基于Nystrom谱聚类的超像素抠图方法
技术介绍
随着数字摄影技术的发展，相机变得越来越小，越来越智能，功能也越来越强大。人们可以方便地使用相机记录生活中的精彩瞬间，并通过社交网络分享给亲朋好友。但是受拍照环境和照相设备的限制，很多时候我们获得的照片存在一些瑕疵，希望利用数字图像处理技术对照片进行修补。图像抠图就是数字图像处理的一种重要技术，其目的是将图像中的前景人物或物体提取出来，合成到新场景中，满足用户的需要。如今，抠图技术已经在照片编辑、影视特效、虚拟现实、游戏动画、在线会议等领域广泛应用。用户可以使用抠图技术来美化自己的照片，例如修改照片的背景图案，或者在照片中添加新的元素进行修饰，弥补拍照时留下的遗憾。另外，很多电影和广告的后期制作也会用到抠图技术。甚至有的影视剧为了节省制作成本，主要录制过程全部在摄影棚内，然后使用图像抠图和合成技术添加背景，产生特殊的视觉效果。可见，图像抠图技术应用前景广阔，具有重要的研究意义和实用价值。图像抠图得到的前景层主要用于图像合成，前景层的好坏对后期图像合成的效果有直接影响。虽然已经有很多针对不同任务的抠图算法，但是图像中的前景对象往往形状各异、特征复杂，而且存在物体遮挡、相似背景等干扰，这些都增加了抠图的难度，如何在复杂场景中精确地提取图像的前景对象依然值得深入研究。近年来，超像素抠图方法引起很大关注。超像素的基本思想是对图像中的像素进行局部分割，分割结果中的每一类像素具有相似的颜色、纹理等信息，使得到的超像素可以贴合图像中物体的形状。超像素抠图可保持物体的大部分边界，并且超像素比单个像素点包含更多的局部信息。为了得到超像素可以采用谱聚类方法对像素点聚类，把图像分割成不同的区域。谱聚类基于谱图理论生成超像素，通常由三个阶段组成：预处理、谱表示和聚类。假设图像中包含n个像素点，首先计算所有像素点之间的成对相似性，得到一个n×n的相似性矩阵W；然后计算Laplacian矩阵L＝D-1/2WD-1/2(其中D是度矩阵)，并对Laplacian矩阵特征分解，用特征向量组成新的数据空间；最后对特征空间中的代表点进行聚类，并把聚类结果还原到原始像素点，形成超像素块，更好地识别前景物体的细节特征。尽管谱聚类有很多优势，但是传统的谱聚类方法只适用于小尺寸的图像分割。因为谱聚类需要计算相似性矩阵和Laplacian矩阵，并对Laplacian矩阵特征分解，算法的空间复杂度一般是O(n2)，时间复杂度为O(n3)。如果待分割的图像尺寸很大，像素点的规模n也很大，使用谱聚类划分超像素时将消耗大量的计算和内存资源。所以如何降低谱聚类的时间和空间复杂度，提高超像素生成的效率，一直是理论研究和实践应用的难点。解决谱聚类计算和内存难题的常用方法是，使相似性矩阵的一些元素归零，将矩阵稀疏化。然后根据稀疏的相似性矩阵，计算对应的Laplacian矩阵，并调用稀疏的特征分解方法计算特征向量。稀疏表示可以有效解决内存瓶颈，但是一些稀疏化方法仍然需要计算相似性矩阵的全部元素。另一个加速谱聚类的重要方法是Nystrom近似技术，利用少量的抽样点构造近似的相似性矩阵，对连续空间中的Laplacian算子进行逼近，求解近似的特征向量。假设使用均匀不重复抽样方法，从相似性矩阵W中随机选取m列(m<<n)，得到一个n×m的矩阵H，A表示由这m列与对应的W的m行的交集组成的m×m的矩阵，则矩阵H和W可以写成式(1)：其中，B是一个m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成；C是一个(n-m)×(n-m)的矩阵，由n-m个剩余点之间的成对相似性构成，当m<<n时，C通常很大。Nystrom近似技术使用式(1)中的矩阵A和H来逼近相似性矩阵W，得到矩阵其中，A-1是A的逆。可以证明随着m的增加，近似的相似性矩阵会收敛于W。对比式(2)和式(1)可知，Nystrom近似实际上是用BTA-1B来逼近W的子矩阵C。由于m<<n，所以抽样后剩余点的数目n-m通常是很大的。Nystrom谱聚类可以避免计算剩余点的相似度，虽然会牺牲部分准确的相似性值，但是换来了更短的计算时间，能够有效提高超像素分割的效率。
技术实现思路
针对上述
技术介绍
的问题，本专利技术实现了一种基于Nystrom谱聚类的超像素抠图方法，利用Nystrom谱聚类技术将图像划分成不同区域，相同颜色的区域构成超像素块，然后根据目标物体的形状选择对应的超像素块，将前景物体与背景分离，实现图像抠图。本专利技术可以快速将图像划分成多个超像素块，而且超像素的轮廓贴合物体的形状，便于通过超像素分离目标物体，实现更高效、更精确的图像抠图。本专利技术首先在待分割的图像上随机均匀抽样，选取少量像素点样本；然后分别计算样本点之间的相似性矩阵，以及样本点与剩余点之间的相似性矩阵，并对矩阵归一化；接着利用Nystrom近似技术，基于样本相似性矩阵计算Laplacian矩阵的近似正交特征向量；再使用k-means算法对特征空间中的代表点聚类，生成多个超像素块；最后，根据超像素块对图像中的目标物体抠图。具体技术方案如下：基于Nystrom谱聚类的超像素抠图方法，包括下列步骤：步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[AB]T；步骤2，相似性矩阵归一化：构造度矩阵D，并利用矩阵D对矩阵H归一化处理，得到矩阵步骤3，Nystrom近似特征向量计算：利用Nystrom近似技术，计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥，对矩阵U⊥归一化处理，得到矩阵步骤4，超像素生成：将矩阵的每一行看作像素点在特征空间中的代表点，使用k-means算法把这些代表点聚成k类，根据聚类结果分割图像，属于相同类的像素点组成超像素；步骤5，超像素抠图：根据目标物体的轮廓，选择物体中包含的超像素，并记录它们的标签，用户确认后合并这些超像素，并输出超像素构成的物体图像。对于所述Nystrom近似技术，是一种矩阵近似技术，通过抽样构造样本子矩阵，使用较小的样本子矩阵的特征向量逼近理想的Laplacian矩阵的特征向量。但是采用传统方法计算的近似特征向量不是正交的，不满足谱聚类的约束条件。针对该问题，本专利技术定义了特殊的样本子矩阵，并设计了新的特征求解方法，使所得的近似特征向量满足正交条件。通常样本数远小于像素点的总数，样本子矩阵也远小于理想的Laplacian矩阵，所以样本子矩阵占用的内存空间更小，特征分解也更容易。Nystrom近似技术只需使用样本相似性矩阵，避免了计算所有像素点的相似度，可以大幅降低超像素抠图的计算复杂度。进一步，所述步骤1中，矩阵A为m×m的对称矩阵，由m个样本点之间的成对相似性构本文档来自技高网...

【技术保护点】
1.一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，包括如下步骤：/n步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[A B]

【技术特征摘要】
1.一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，包括如下步骤：
步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[AB]T；
步骤2，相似性矩阵归一化：构造度矩阵D，并利用矩阵D对矩阵H归一化处理，得到矩阵
步骤3，Nystrom近似特征向量计算：利用Nystrom近似技术，基于样本相似性矩阵计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥，对矩阵U⊥归一化处理，得到矩阵
步骤4，超像素生成：将矩阵的每一行看作像素点在特征空间中的代表点，使用k-means算法把这些代表点聚成k类；根据聚类结果分割图像，属于相同类的像素点组成超像素；
步骤5，超像素抠图：根据目标物体的轮廓，选择物体中包含的超像素，并记录它们的标签，用户确认后合并这些超像素，并输出超像素构成的物体图像。


2.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤1中，矩阵A为m×m的对称矩阵，由m个样本点之间的成对相似性构成；矩阵B为m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成。


3.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤1中，两个像素点xi和xj之间相似性wij由式(3)计算：



其中，exp()是以自然常数e为底的指数函数，||·||表示2-范数，σ为尺度参数。


4.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤2中，所述度矩阵D为n×n的对角矩阵，由式(4)计算：



其中，diag()表示由矢量参数构成的对角矩阵，向量a＝A1m，向量b1＝B1n-m，向量b2＝BT1m，1m表示m个1组成的列向量。


5.根据权利要求4所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤2中，利用矩阵D对矩阵H归一化处理得到矩阵的计算公式为：





6.根据权利要求1所述的一种基于Nystrom谱聚...

【专利技术属性】
技术研发人员：贾洪杰，毛启容，王良君，宋和平，马忠臣，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32