一种基于全局能量函数优化的图像层次提取与编辑方法技术

本发明专利技术提供一种基于全局能量函数优化的图像层次提取与编辑方法，该方法包括：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关系的判断；在判断结果的基础上建立一个全局能量函数，并用改进的差分进化算法求解该函数从而得到最终的层次关系；根据图像的层次关系，编辑所有层次间的偏序关系，当原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜色填充。本发明专利技术能够结合局部信息和全局信息，在计算图像层次关系并在得到层次关系的基础上进行图像编辑。

【技术实现步骤摘要】
一种基于全局能量函数优化的图像层次提取与编辑方法
本专利技术涉及图像处理
，具体涉及一种基于全局能量函数优化的图像层次提取与编辑方法。
技术介绍
图像编辑是所有图像处理软件中的核心技术。对图像中的层次进行编辑是图像编辑中一个非常具有挑战性的内容，这需要对图像的语义信息进行理解。其中的关键在于我们需要得到一幅图像的层次关系,然后用已有的轮廓填充和颜色填充的方法来编辑图像层次的顺序和颜色。提取图像中物体的层次关系是图像的场景理解和进一步的高层视觉任务的一个关键步骤，包括前景/背景分离，单幅图像的深度预测，2.5维简约图，图像和视频编码，运动分析等。比如，对于图像编码而言，如果我们已知图像的层次关系,便可以按层次对图像编码，由于图像中同层像素间存在着大量冗余的颜色纹理信息，按层编码可以大大压缩存储量。另外，按层编码也可以方便我们在图像容量过大或网速不好时在浏览器上逐层显示图像，这样可以很好地符合人们的视觉习惯。如何提取图像的层次关系目前仍然是一个很具有挑战性的问题，主流的Photoshop等图像编辑软件都不支持层次关系的自动提取，图像中的图层信息需要人们自己手工选定，非常不方便。现有的提取图像层次关系的方法都不能作为通用的技术投入使用，有的方法复杂度较高，只适合处理简单的人工图像而不利于处理复杂的自然图像；有的方法只用到了局部特征信息，可以局部判断相邻区域的遮挡关系但缺少全局偏序关系的约束；有的方法在得到正确分割区域的基础上展开研究，这对初始图像分割结果提出了很高的要求。
技术实现思路
（一）解决的技术问题针对现有技术的不足，本专利技术提供一种基于全局能量函数优化的图像层次提取与编辑方法，能够结合局部信息和全局信息，在计算图像层次关系并在得到层次关系的基础上进行图像编辑。（二）技术方案为了实现以上目的，本专利技术通过以下技术方案予以实现：一种基于全局能量函数优化的图像层次提取与编辑方法，该方法包括：S1：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关系的判断；S2：在判断结果的基础上建立一个全局能量函数，并用改进的差分进化算法求解该函数从而得到最终的层次关系；S3：根据图像的层次关系，编辑所有层次间的偏序关系，当原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜色填充。其中，所述局部特征包括T角点特征、边缘特征、显著性特征、颜色特征和纹理特征。其中，步骤S1具体包括：S11：用图像分割算法对图像进行超分割，得到图像的超分割区域；S12：提取图像中的T角点，计算各T角点周围三条边缘的位置关系和张角大小，判断T角点的头部和尾部，进而对T角点周边的三个区域做出前景-背景关系判断；S13：在每条边缘上抽取多个采样点，计算每个采样点的大小特征、方向特征和凸性特征，以此判断该采样点两侧区域的前景-背景关系，从而根据每条边缘上所有采样点的判断结果，得到每条边缘两侧区域最终的前景-背景关系；S14：计算每个超分割区域的显著性，通过比较两个区域的显著性来做出前景-背景关系的局部判断；S15：先在HSV颜色空间中对颜色相近的超分割区域进行聚类，同时利用灰度共生矩阵得到每个区域的纹理特征向量，将有着相近颜色和纹理的超分割区域判断为同一层。其中，所述图像分割算法为伯克利分割算法。其中，步骤S2具体包括：S21：根据得到的局部判断信息，建立全局的能量函数；S22：采用改进的差分进化算法求解该能量函数优化问题；S23：将求解得到的各区域的相对深度转化为图像的层次信息从而得到原图像的层次关系。其中，所述建立全局能量函数，具体包括：给每个超分割区域赋予一个相对深度，所有区域的相对深度组成的向量作为能量函数的自变量，能量函数的因变量用来衡量图像中层次偏序关系的冲突大小。其中，所述采用改进的差分进化算法求解该能量函数优化问题，具体包括：采用混合进化的策略产生新的解，同时用模拟退火的思想更新旧解，且每隔固定的代数，对种群中较优的解进行克隆复制和高斯变异。（三）有益效果本专利技术至少具有如下有益效果：本专利技术提供的方法包括对图像层次关系的局部判断和对全局能量函数优化求解，结合了局部信息和全局信息，且对分割的要求不高，本专利技术采用的计算方法复杂度较低，可以准确地计算图像的层次关系，并在得到层次关系的基础上进行图像编辑。本专利技术优化能量函数时用到的改进的差分进化算法，是基于混合进化策略、模拟退火法和克隆变异的改进差分进化算法。该算法用混合进化的策略产生新的解，同时用模拟退火的思想来更新旧解。每隔固定的代数，算法还会对种群中较优的解进行克隆复制和高斯变异。通过以上这些步骤，增大了算法跳出局部最优解的可能性，同时算法在全局最优解附近的搜索能力也得到了提升。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。附图1是本专利技术实施例中一种基于全局能量函数优化的图像层次提取与编辑方法的流程图；图2是本专利技术实施例中提取T角点特征的图解模型；图3是本专利技术实施例中提取边缘特征的图解模型；图4是本专利技术实施例中提取显著性特征的图解模型；图5是本专利技术实施例优化能量函数时用到的改进的差分进化算法的流程图；图6是本专利技术实施例的能量函数最优解迭代过程；图7是本专利技术一个较为具体的实施例中图像中物体层次提取的方法。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种基于全局能量函数优化的图像层次提取与编辑的方法，该方法包括如下步骤：步骤101：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关系的判断。本步骤具体包括：S11：用图像分割算法对图像进行超分割，得到图像的超分割区域；本步骤中，利用伯克利分割算法来分割图像，通过控制伯克利分割算法中分割规模的参数，对图像进行超分割。则每两个相邻的超分割区域要么是前景-背景（f-g）关系，要么是同层合并（s-l）关系。S12：提取图像中的T角点，计算各T角点周围三条边缘的位置关系和张角大小，判断T角点的头部和尾部，进而对T角点周边的三个区域做出前景-背景关系判断；本步骤中，T角点是计算机视觉中研究遮挡关系的重要依据，可以用于判断周边相应区域遮挡的前后位置关系。对于提取出的每个T角点，计算该角点周围三条边缘的位置关系和夹角大小，判断出T角点的头部和尾部，进而利用T角点自身性质对角点周边的三个区域做出f-g关系的判断。根据T角点信息提取的局部特征用矩阵T来表示。T=[t1,···,tn,···,tt_num]k×t_num其中K为超分割区域的数目，t_num为T角点的个数，矩阵T每一项的计算公式如下：其中tfun(n)表示T角点头部一侧的区域，tfun'本文档来自技高网...

【技术保护点】
一种基于全局能量函数优化的图像层次提取与编辑方法，其特征在于，该方法包括：S1：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景‑背景关系和同层合并关系的判断；S2：在判断结果的基础上建立一个全局能量函数，并用改进的差分进化算法求解该函数从而得到最终的层次关系；S3：根据图像的层次关系，编辑所有层次间的偏序关系，当原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜色填充。

【技术特征摘要】
1.一种基于全局能量函数优化的图像层次提取与编辑方法，其特征在于，该方法包括：S1：对图像进行超分割得到若干超分割区域，提取各区域中有关层次关系的局部特征，并用局部特征进行前景-背景关系和同层合并关系的判断；S2：在判断结果的基础上建立一个全局能量函数，并用改进的差分进化算法求解该函数从而得到最终的层次关系；S3：根据图像的层次关系，编辑所有层次间的偏序关系，当原有的偏序关系发生改变时，对原图像中被遮挡的层次进行轮廓填充和颜色填充；所述局部特征包括T角点特征、边缘特征、显著性特征、颜色特征和纹理特征；步骤S1具体包括：S11：用图像分割算法对图像进行超分割，得到图像的超分割区域；S12：提取图像中的T角点，计算各T角点周围三条边缘的位置关系和张角大小，判断T角点的头部和尾部，进而对T角点周边的三个区域做出前景-背景关系判断；S13：在每条边缘上抽取多个采样点，计算每个采样点的大小特征、方向特征和凸性特征，以此判断该采样点两侧区域的前景-背景关系，从而根据每条边缘上所有采样点的判断结果，得到每条边缘两侧区域最终的前景-背景关系；S14：计算每个超分割区域的...

【专利技术属性】
技术研发人员：刘永进，俞承驰，余旻婧，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11