一种基于显著性检测的肖像照片自动背景虚化方法技术

本发明专利技术涉及一种基于显著性检测的肖像照片自动背景虚化方法，包括以下步骤：1、利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，利用改进的显著优化算法计算出各超像素的显著值；2、利用大津法将显著值大于自适应阈值的超像素标记为前景区域，将显著值小于固定阈值的标记为背景区域，其余标记为未知区域，得到超像素尺度的标记三分图；3、利用超像素尺度的GrabCut算法，从标记三分图中分割得到人像区域边界；4、先利用快速引导滤波算法对背景区域进行模糊，再对前景区域根据显著检测结果有选择地进行细节增强，从而得到背景虚化效果。该方法能够仅依赖单张肖像图像快速地进行背景虚化，并提高背景虚化效果。

Automatic background rendering method for portrait photographs based on saliency detection

The present invention relates to a saliency detection-based automatic background virtualization method for portrait photographs, which comprises the following steps: 1. Using linear spectral clustering superpixel segmentation algorithm, the portrait image is divided into N superpixels, and the saliency values of each superpixel are calculated by an improved saliency optimization algorithm; 2. Using Ozu method, the saliency values are greater than those of other superpixels. Super-pixel of adaptive threshold is labeled as foreground region, marked as background region if the saliency value is less than fixed threshold, and the rest is labeled as unknown region to get super-pixel scale labeled triangle. 3. Using super-pixel scale GrabCut algorithm, the boundary of human portrait region is segmented from labeled triangle. Guided filtering algorithm obscures the background area, and then selectively enhances the details of the foreground area according to the salient detection results, so as to obtain the background virtual effect. This method can quickly render the background only depending on a single image, and improve the effect of background rendering.

【技术实现步骤摘要】
一种基于显著性检测的肖像照片自动背景虚化方法
本专利技术涉及图像和视频处理以及计算机视觉领域，特别是一种基于显著性检测的肖像照片自动背景虚化方法。
技术介绍
随着智能设备的快速普及，智能手机拍摄的照片多数属于肖像照片。由于不具备专业的照片后期处理技术，大部分智能设备用户对后期自动美化肖像照片具有很强的需求。其中，背景虚化技术又称为浅景深技术，是一种用来突显摄影主体，有层次地表达视觉美感的美化方式。目前，随着智能设备硬件的快速发展，实现背景虚化技术主要依赖两种硬件基础，一是智能设备的后置双摄像头，二是智能设备的前置景深传感器。这两者都是通过硬件辅助获取场景的深度信息来合成图像的景深渲染效果。当具备单张图像场景的深度信息作为先验，算法对单张照片进行景深渲染也相对简便。然而，这两种硬件基础目前还未普及，现有大量智能手机一般是机身前后各只放置一个摄像头。除硬件实现背景虚化外，还有一些软件功能实现，如普通智能设备的用户能够利用照片美化软件并手动选取照片中的前景区域，再调整对背景的模糊设置来得到相似效果。但由于该操作过程较为繁琐，因此一种设备成本低、操作简易、且仅依赖单张图像的背景虚化算法成为计算机视觉的研究热点。由于肖像图中人像的特殊空间位置，算法可以融合先验知识来加速推理过程。其中，Zhu等人提出的显著物体检测算法是一种基于背景检测的显著性优化算法(SaliencyOptimization简称SO算法)，产生的显著图经常被视作前景物体的先验知识应用于各种场景。Chen等人认为肖像照片中前景的人像区域通常也会是显著图中的显著区域。Chen等人将人脸特征加入到SO算法中来优化显著图，并且算法基于显著图的先验信息利用一种新的梯度域引导滤波算法同时模糊肖像照片中的背景并增强前景中人像区域的细节。Chen等人提出的算法由于没有计算前景人像区域与背景的边界，会导致部分人像区域被虚化。
技术实现思路
本专利技术的目的在于提供一种基于显著性检测的肖像照片自动背景虚化方法，该方法能够仅依赖单张肖像图像快速地进行背景虚化，并提高背景虚化效果。为实现上述目的，本专利技术采用的技术方案是：一种基于显著性检测的肖像照片自动背景虚化方法，包括以下步骤：步骤S1：利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，然后利用改进的显著优化算法计算出每个超像素的显著值；步骤S2：对得到的超像素的显著值，利用大津法计算出一自适应阈值，将显著值大于所述自适应阈值的超像素标记为前景区域，同时设置一固定阈值，将显著值小于所述固定阈值的超像素标记为背景区域，而其余区域则被标记为未知区域，从而得到一个超像素尺度的标记三分图；步骤S3：利用超像素尺度的GrabCut算法，从标记三分图中分割得到人像区域边界；步骤S4：基于步骤S3得到的人像区域边界及步骤S1得到的显著检测结果，先利用快速引导滤波算法对背景区域进行模糊，再对前景区域根据显著检测结果有选择地进行细节增强，从而得到背景虚化效果。进一步地，所述步骤S1中，利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，然后利用改进的显著优化算法计算出每个超像素的显著值，包括以下步骤：步骤S11：对任意肖像图像I，利用线性谱聚类超像素分割算法将其分割为N个超像素得到超像素分割标记集合每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合，i为超像素分割标记li的下标；步骤S12：对步骤S11得到的N个超像素，计算得到其对应的背景连接先验值，CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为接着构建一个连接所有相邻超像素的无向权重图，并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两点超像素颜色值的欧几里得距离；从而计算得到任意两点超像素(pj,pi)之间的测地距离dgeo(pj,pi)，下标j、i取值均为1到N；由背景连接先验的定义，先假定图像边界上的超像素属于背景区域，在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj)，且所述生成区域在图像边界上的边长为L(pj)，则定义背景连接先验值BndCon(pj)为：其中σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差，Bnd为初始假定的属于背景区域的超像素集合，由于改进的显著优化算法不直接假设肖像图像所有边界上的超像素都属于背景区域，而是只假设肖像图像的左、右及上边界上的超像素属于背景区域，所以集合Bnd只包含了图像的左、右及上边界上的超像素，表示超像素pi不属于集合Bnd，括号内判别式为真时，表示超像素pi不属于集合Bnd，则δ(·)＝0，括号内判别式为假时，则δ(·)＝1；从而得到每个超像素的背景连接先验值，且属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素；由计算得到的所有超像素的背景连接先验值，对于超像素pi，其属于背景区域的概率权重定义为：其中σc是数值大小在[0.5，2.5]之间的参数；而超像素pi属于前景区域的概率权重定义为：其中ds(pi,pj)是超像素pj和pi的中心点的空间距离，σs为高斯分布的标准差参数；的计算与BndCon(pi)有关，即与集合Bnd的确定有关，因此集合Bnd的优化能影响到的取值，进一步影响到优化方程的求解，从而对每个超像素的显著值产生影响；步骤S13：对集合利用大津法求得阈值twb，将四个边界上小于阈值twb的超像素从集合Bnd中剔除，大于等于阈值twb的超像素重新加入到集合Bnd中，从而完成对集合Bnd的优化；步骤S14：通过将前景概率值背景概率值以及平滑权重作为参数来求解优化方程，得到超像素的显著值si，优化方程为：其中，平滑权重dapp(pi,pj)是超像素pi和pj在CIE-Lab颜色空间上的欧几里德距离；通过求解优化方程得到每个超像素的显著值si，并将显著值归一化到[0,1]范围内。进一步地，所述步骤S3中，利用超像素尺度的GrabCut算法，从标记三分图分割得到人像区域边界，包括以下步骤：步骤S31：基于超像素尺度的GrabCut算法将分割问题转化成求解能量函数最小化问题，而求解最小化问题是通过求解s-t网络图的最大流/最小割问题，求解方程定义为：其中表示超像素的分割结果，为0表示该超像素属于背景区域，为1表示该超像素属于前景区域，而E(x,θ,z)表示GrabCut算法定义的能量函数，函数包含平滑项V(x,z)及数据项U(x,θ,z)，所述平滑项V(x,z)用以度量前景区域与背景区域的差异，数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率；函数变量中的表示CIE-Lab颜色空间上每一个超像素的平均颜色值，则表示超像素尺度的GrabCut算法的初始标记假设，当超像素属于前景区域，xi为1，而当超像素属于背景区域或未知区域时，xi为0；θ为GrabCut算法定义的高斯混合模型，而GrabCut算法将属于非前景区域的超像素作为前景高斯混合模型的输入样本，并将属于非背景区域的超像素作为前景高斯混合模型的输入样本；步骤S32：利用OrchardandBauman算法构建高斯混合模型，再利用EM算法对其进行求解，并进一步计算数据项U(x,θ,z)以及平滑项V(x,z)；最后通过求解s-t网络图的最大流/最小割问题，来求解本文档来自技高网...

【技术保护点】
1.一种基于显著性检测的肖像照片自动背景虚化方法，其特征在于，包括以下步骤：步骤S1：利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，然后利用改进的显著优化算法计算出每个超像素的显著值；步骤S2：对得到的超像素的显著值，利用大津法计算出一自适应阈值，将显著值大于所述自适应阈值的超像素标记为前景区域，同时设置一固定阈值，将显著值小于所述固定阈值的超像素标记为背景区域，而其余区域则被标记为未知区域，从而得到一个超像素尺度的标记三分图；步骤S3：利用超像素尺度的GrabCut算法，从标记三分图中分割得到人像区域边界；步骤S4：基于步骤S3得到的人像区域边界及步骤S1得到的显著检测结果，先利用快速引导滤波算法对背景区域进行模糊，再对前景区域根据显著检测结果有选择地进行细节增强，从而得到背景虚化效果。

【技术特征摘要】
1.一种基于显著性检测的肖像照片自动背景虚化方法，其特征在于，包括以下步骤：步骤S1：利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，然后利用改进的显著优化算法计算出每个超像素的显著值；步骤S2：对得到的超像素的显著值，利用大津法计算出一自适应阈值，将显著值大于所述自适应阈值的超像素标记为前景区域，同时设置一固定阈值，将显著值小于所述固定阈值的超像素标记为背景区域，而其余区域则被标记为未知区域，从而得到一个超像素尺度的标记三分图；步骤S3：利用超像素尺度的GrabCut算法，从标记三分图中分割得到人像区域边界；步骤S4：基于步骤S3得到的人像区域边界及步骤S1得到的显著检测结果，先利用快速引导滤波算法对背景区域进行模糊，再对前景区域根据显著检测结果有选择地进行细节增强，从而得到背景虚化效果。2.根据权利要求1所述的一种基于显著性检测的肖像照片自动背景虚化方法，其特征在于，所述步骤S1中，利用线性谱聚类超像素分割算法将肖像图像分割为N个超像素，然后利用改进的显著优化算法计算出每个超像素的显著值，包括以下步骤：步骤S11：对任意肖像图像I，利用线性谱聚类超像素分割算法将其分割为N个超像素得到超像素分割标记集合每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合，i为超像素分割标记li的下标；步骤S12：对步骤S11得到的N个超像素，计算得到其对应的背景连接先验值，CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为接着构建一个连接所有相邻超像素的无向权重图，并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两点超像素颜色值的欧几里得距离；从而计算得到任意两点超像素(pj,pi)之间的测地距离dgeo(pj,pi)，下标j、i取值均为1到N；由背景连接先验的定义，先假定图像边界上的超像素属于背景区域，在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj)，且所述生成区域在图像边界上的边长为L(pj)，则定义背景连接先验值BndCon(pj)为：其中σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差，Bnd为初始假定的属于背景区域的超像素集合，由于改进的显著优化算法不直接假设肖像图像所有边界上的超像素都属于背景区域，而是只假设肖像图像的左、右及上边界上的超像素属于背景区域，所以集合Bnd只包含了图像的左、右及上边界上的超像素，表示超像素pi不属于集合Bnd，括号内判别式为真时，表示超像素pi不属于集合Bnd，则δ(·)＝0，括号内判别式为假时，则δ(·)＝1；从而得到每个超像素的背景连接先验值，且属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素；由计算得到的所有超像素的背景连接先验值，对于超像素pi，其属于背景区域的概率权重定义为：其中σc是数值大小在[0.5，2.5]之间的参数；而超像素pi属于前景区域的概率权重定义为：其中，dE(pi,pj)表示超像素pj和pi在颜色空间CIE-Lab上的欧几里得距离，其中ds(pi,pj)是超像素pj和pi的中心点的空间距离，σs为高斯分布的标准差参数；的计算与BndCon(pi)有关，即与集合Bnd的确定有关，因此集合Bnd的优化能影响到的取值，进一步影响到优化方程的求解，从而对每个超像素的显著值产生影响；步骤S13：对集合利用大津法求得阈值twb，将四个边界上小于阈值twb的超像素从集合Bnd中剔除，大于等于阈值twb的超像素重新加入到集合Bnd中，从而完成对集合Bnd的优化；步骤S14：通过将前景概率值背景概率值以及平滑权重作为参数来求解优化方程，得到超像素的显著值si，优化方程为：其中，平滑权重dapp(pi,pj)是超像素pi和pj在CIE-Lab颜色空间上的欧几里德距离；通过求解优化方程得到每个超像素的显著值si，并将显著值归一化到[0,1]范围内。3.根据权利要求2所...

【专利技术属性】
技术研发人员：牛玉贞，苏超然，陈羽中，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35