一种基于流形学习的抠图方法技术

本发明专利技术属于计算机视觉和图像处理技术领域，具体涉及一种基于流形学习的抠图方法。本发明专利技术通过基于流形学习的思想深入挖掘了图像颜色子空间与Alpha子空间的关系，较好地解决了抠图的局部数据冗余问题。通过定性和定量实验对比证明本发明专利技术所提供的基于流形学习抠图方法具有精确性、普遍适应性等特点，具有很高的实际应用价值。

【技术实现步骤摘要】
一种基于流形学习的抠图方法
本专利技术属于计算机视觉和图像处理
，具体涉及一种基于流形学习的抠图方法。
技术介绍
前景提取就是指从现实图像中把感兴趣的目标识别和提取出来的一个任务。它是图像分割的一个分支，也是计算机视觉和模式识别领域的关键问题之一。图象分割在图像分析和图像处理研究中起着承前启后的作用，是图像处理的一个重要环节。图象分割不但可以检验图像的预处理效果，而且为后续的图像分析和处理奠定坚实基础。从产生至今，图象分割被广泛地应用在诸多领域，为人们生活中的图像处理水平提高做出了重大贡献，也为人类生产力科技水平的提高起到了很大促进作用。因此，在过去的四十多年里，关于图像分割的研究一直受到人们的高度重视。抠图是指精确评估图像或者视频序列前景的问题，是图像分割的一个特殊情况，主要关注精细的边界分割，其处理得到的图像边缘更平滑细腻。在人们生活工作中，抠图技术可以广泛地应用到图像/视频编辑、语义理解预处理、辅助医疗、图像编辑、目标跟踪、图像检索等领域，因此，抠图一直是图像处理技术研究的热点方向之一。最近数十年，研究人员提出了大量解决该问题的方法，目前绝大多数的抠图方法大致可以分为四类：基于采样的抠图方法、基于仿射的抠图方法、采样与仿射结合的抠图方法以及基于学习的抠图方法。另外，近些年也有人提出应用流形学习思想做抠图的技术，如LTSA抠图和LLE抠图。但是，由于结合不同流形学习算法的抠图方法的共性机理以及颜色空间维度转换的特性差异还不清楚，现有的抠图方法普遍存在着空间信息冗余的问题。
技术实现思路
为了解决现有的抠图方法存在的空间信息冗余的技术问题，本专利技术提供一种基于流形学习的抠图方法。本专利技术的技术解决方案是：一种基于流形学习的抠图方法，其特殊之处在于：包括以下步骤：1】载入图片和人工标记三分图(Trimaps)，定义像素i的RGB颜色信息为Ii；对于图像的每个像素i，定义一个局部窗口wi：wi＝{i1,...,ip}定义颜色空间Xi：其中，p为局部窗口wi内像素索引号，ij为像素i在局部窗口wi内的第j个近邻像素点；为像素ij的RGB颜色信息；2】应用流形学习方法将高维度的颜色空间Xi转换为低维度的颜色子空间Yi：Yi＝PiXi其中，Pi是高维空间到低维子空间的仿射变换矩阵；3】在局部窗口wi内应用流形学习算法，得到d维RGB颜色子空间正交系Qi：其中，d≧3，为重构误差(即RGB颜色子空间重构原始RGB空间信息的误差)，E是单位矩阵，是Yi中的颜色子空间数据，是颜色信息的均值向量；推导基于的透明度αi空间(即Alpha空间αi)的重构误差公式：其中，表示第i个像素窗口内邻域点的透明度的平均值，Pi是Alpha空间的仿射矩阵(同步骤2】)；为了向量及矩阵操作方便，定义表示第i个像素窗口内邻域点的透明度集合；e＝(1,...,1)T为一个p维向量，是重构误差向量；4】集合所有图像局部块的重构误差，导出整体重构误差：其中，是Yi的Moore-Penrose伪逆；由Ei＝AiWi，可得Ai局部窗口之间有重叠，导出公式：M＝SWWTST其中，M为流形学习矩阵，S＝[S1,...,SN]为选择矩阵，W＝diag(W1,...,WN)是由图像上所有矩阵块Wi拼接而成的对角线矩阵；5】在人工标记三分图先验信息下，应用迭代算法迭代优化最小化能量公式：其中，f'(sk)是f(A)在搜索点序列sk的导数，Ck是根据sk取值而动的幅度因子；迭代算法限定透明度Alpha值值域为[0,1]；迭代n次后得到最优图像透明度的解Ai，作为透明度前景掩模；6】应用步骤5】得到的透明度前景掩模分割出前景输出图像：将原始图像像素点颜色与对应的透明度作运算，得到输出图像的映射像素点；最后得到前景输出图像。较佳的，步骤2】中的流形学习方法为LLE、MVU、LTSA或者ISOMAP。较佳的，步骤5】中的迭代算法为Nesterov’s算法。较佳的，步骤5】中的迭代次数n≧250。本专利技术的有益效果在于：(1)本专利技术提供的抠图方法通过基于流形学习的思想深入挖掘了图像颜色子空间与Alpha子空间的关系，较好地解决了抠图的局部数据冗余问题。(2)通过定性和定量实验对比证明本专利技术所提供的基于流形学习抠图方法具有精确性、普遍适应性等特点，具有很高的实际应用价值。(3)本专利技术针对图像前景目标的边缘进行精细化分割，为后续的应用处理提供更具语义信息的前景目标，可以广泛应用到图像/视频编辑、语义理解预处理、辅助医疗、图像编辑、目标跟踪、图像检索等领域。附图说明图1为本专利技术抠图方法的较佳实施例流程图。图2为本专利技术抠图方法的可视化实验结果图。具体实施方式参照图1，本专利技术实现的关键步骤如下：步骤1，PAMM局部建模对于抠图问题，首先要考虑的是像素间的空间结构关系，因此要定义图像的局部小窗，以像素i为中心的小窗里的其他像素点，就是空间关系的近邻点，这些像素点的信息与像素i非常相近。像素i的RGB颜色信息定义为Ii,Ii的近邻点被定义为并且ij表示在局部小窗wi＝{i1,...,ip}里的第j个近邻点,通常会定义一个3×3的小窗，i是小窗的中心点，定义如公式(1)其中，p是局部小窗内的像素索引号。为了达到抠图目的，一个基本假设是：自然图像的RGB三个颜色通道有各自对应的的α亮度通道，即每个像素点有三通道的α亮度通道；并且颜色空间的子空间被α亮度空间所共用，即颜色通道的子空间和亮度通道的子空间共享。局部仿射变化由原始RGB数据和它的流形子空间计算得到，因为局部窗口内的数据分布被认为具有流形结构。因此，在局部窗口wi＝{i1,...,ip}里，颜色仿射子空间被用来推导出α亮度空间的重构误差。抠图的本质是找到像素的α亮度解，因此要构建一个使得子空间和原始空间尽可能逼近的最小重构误差函数。对于大多数流形学习算法，用下面的公式来表示Xi和Yi的转换关系Yi＝PiXi(2)其中，Pi是高维数据Xi到低维子空间Yi的仿射矩阵。在Ii所在的局部窗口内应用流形学习算法，得到d(d≤3)维RGB颜色子空间正交系Qi：其中，为重构误差，即RGB颜色子空间重构原始RGB空间信息的误差，E是单位矩阵，是Yi中的颜色子空间数据，是颜色信息的均值向量；推导基于的透明度αi空间(Alpha空间)的重构误差公式：其中，表示第i个像素窗口内邻域点的透明度的平均值，Pi是Alpha空间的仿射矩阵；为了向量及矩阵操作方便，定义表示第i个像素窗口内邻域点的透明度集合；e＝(1,...,1)T为一个p维向量，是重构误差向量。步骤2，PAMM全局对齐在整体对齐中，Yi是Xi的低维表示。集合所有图像局部块的重构误差，导出整体重构误差为了计算公式简洁，令其中，Yi+是Yi的Moore-Penrose伪逆；由上式可得Ei＝AiWi，因而又因Ai局部窗口之间有重叠，则导出公式：M＝SWWTST其中，M为流形学习矩阵，S＝[S1,...,SN]为选择矩阵，W＝diag(W1,…,WN)是由图像上所有矩阵块Wi拼接而成的对角线矩阵。在Trimaps先验信息下，应用Nesterov’s算法迭代优化最小能量公式如下，且算法限定透明度Alpha值值域为[0,1]:其中，f'(sk)是f(A)在搜索点序列sk的导数，Ck是根据sk取值本文档来自技高网...

【技术保护点】
一种基于流形学习的抠图方法，其特征在于：包括以下步骤：1】载入图片和人工标记三分图，定义像素i的RGB颜色信息为I

【技术特征摘要】
1.一种基于流形学习的抠图方法，其特征在于：包括以下步骤：1】载入图片和人工标记三分图，定义像素i的RGB颜色信息为Ii；对于图像的每个像素i，定义一个局部窗口wi：wi＝{i1,...,ip}定义颜色空间Xi：其中，p为局部窗口wi内像素索引号，ij为像素i在局部窗口wi内的第j个近邻像素点；为像素ij的RGB颜色信息；2】应用流形学习方法将高维度的颜色空间Xi转换为低维度的颜色子空间Yi：Yi＝PiXi其中，Pi是高维空间到低维子空间的仿射变换矩阵；3】在局部窗口wi内应用流形学习算法，得到d维RGB颜色子空间正交系Qi：其中，d≧3，为重构误差，E是单位矩阵，是Yi中的颜色子空间数据，是颜色信息的均值向量；推导基于的透明度αi空间的重构误差公式：其中，表示第i个像素窗口内邻域点的透明度的平均值；表示第i个像素窗口内邻域点的透明度集合；e＝(1,...,1)T，是一个p维向量；是重构误差向量；4】集合所有图像局部块的重构误差，导出整体重构误差：

【专利技术属性】
技术研发人员：李学龙，刘康，董永生，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西,61