基于锐利度的针对虚化图像的显著性检测方法及系统技术方案

本发明专利技术提供了一种基于锐利度的针对虚化图像的显著性检测方法及系统，通过提取锐利度地图来确定清晰前景的位置，然后在清晰前景区域进行第一层显著性地图提取，进一步采用一种对分辨率变化不敏感的算法来计算模糊背景的显著性地图，最后采用一定的融合准则将两层显著性地图进行融合得到最终的显著性地图。大量实验表明，本发明专利技术可以达到非常好的检测效果，为虚化图像的压缩、增强、分割、检索等应用提供了指导。

【技术实现步骤摘要】
基于锐利度的针对虚化图像的显著性检测方法及系统
本专利技术涉及显著性检测
，具体地，涉及一种精确的基于锐利度的针对虚化图像的显著性检测方法及系统。
技术介绍
显著性检测是图像处理领域一个经典的话题。显著性模型旨在检测给定图像中人眼感兴趣的区域，在过去的十几年中，几十种显著性模型已经被提出并且广泛地应用到了计算机视觉、计算机图形学和机器人学等领域。显著性模型已经经过了二十七年的发展，1998年，LaurentItti的一篇文章《基于显著性的迅速场景分析视觉模型》将显著性模型的研究带入了新的时代，这篇文章奠定了显著性模型的基本框架。随后，显著性模型开始了蓬勃发展，至今已经涌现出了四十余种显著性模型，并且被成功应用到了图像分割、质量评价、图像匹配、图像与视频压缩、图像重建、图像与视频压缩、场景分类、目标检测以及机器人视觉等领域。关于显著性的进一步研究意义重大。显著性模型的目的是设计某种方法，并利用计算机将原图片进行处理，从而自动得到一幅显著性地图。显著性地图是一副灰度图像，在这幅灰度图像中，值越高的像素点显著性越强。显著性是衡量人眼对某个区域感兴趣程度的概念，显著性地图的值越大，该区域对人眼的吸引力越强。随着越来越多的显著性检验模型的提出，同一副原始图片可以通过不同的显著性模型得到多个不同的显著性地图(SaliencyMap)，为了衡量这些显著性地图的质量，多种评价准则也应运而生，最为常用的是AUC、CC以及NSS评价准则。Itti&Koch模型由LaurentItti等人在1998年提出，堪称现代显著性模型的基础，这种较为完善的显著性模型的结构主要包括：(1)中心-周边偏差和正规化；(2)在颜色、光强度和方向三个主要的特征频道中提取出子地图；(3)规模交叉结合和正规化；(4)“胜者为王”(Winner-take-all)机制；(5)利用一定的融合规则将子地图融合为最终的综合显著性地图。这个模型创建了基于二值化高斯金字塔的多规模显著性地图，利用了图像处理领域中的高斯金字塔的图片下采样方法，并且结合了低通滤波器来提取子地图。Torralba模型是由AntonioTorralba等人于2003年提出的，这个模型强调的是全局显著性区域的检测和由上下文作为线索的检测。这个模型结合了自底向上(bottom-up)显著性理论、场景语义和自顶向下(top-down)显著性理论来进行图片的预处理，能够在多种类型的图片上取得较好的效果。AIM模型是由NeilD.B和JohnK.Tsotsos在2005年提出的，这个方法含有下采样函数，AIM采用了一种新颖的信息最大化机制来监测显著性区域，这主要基于神经网络的模型和人眼视觉系统(HVS)之间的强相关性。GBVS模型是一个自底向上的模型，这个模型在2006年提出，这是一个多尺度的显著性模型，它只能用来处理大于128×128像素的图片。GBVS中主要的操作是在各个特征频道建立激活地图并且采用强调一致性的正规化函数。ImageSignature模型是由XiaodiHou等人在2012年提出的，这个模型中默认设置是输入图片必须被下采样为64×64像素的矩阵。下采样后的函数被分为前景部分和背景部分，这两部分可以在离散余弦变换中分开。这个模型在近似预测镶嵌在极端稀疏的背景中的稀疏前景中可以获得很好的性能。所以我们在两个颜色空间内详细探究了这个模型在多空间分辨率中的性能。SUN模型是由LingyunZhang等人在2008年提出的，这个模型是基于贝叶斯框架和自然图片统计规律的模型。自底向上的显著性区域被看做是自信息而总体的显著性区域被看做互信息。SUN模型在预测自由视角下的人眼关注点的测试中表现很好。AWS模型是由AntonGarcia-Diaz等人在2010年提出的，这个模型提供了控制下采样的参数，它采用了视觉显著性量级、分层次光学变量结构来生成显著性地图。Murray模型是由NailaMurray等人在2011年提出的，这个模型主要关注的是空间信息合成和参数最优化。交叉规模的合成规则在这个方法中是通过基于规模权重值的反小波变化来进行的。RARE2012模型是NicolasRiche等人提出的，该模型在NSS性能评价体系中表现很好。随着单反相机、高性能拍照手机的普及，越来越多的背景虚化图片进入人们的生活，背景虚化是一种常见的拍照技术，这种技术能够提升人眼对图片的主观感受，突出图片的主题，增加图片的艺术性和美感，该类图片的特点是背景部分被不同程度地虚化(虚化相当于对图像的一部分进行模糊处理)，而前景部分则保持清晰。如何计算这种图片的显著性地图是一个全新的问题。综上所述，虚化的实质是图片的局部模糊，而且虚化图片显著性建模的难点和重点是未虚化区域的提取以及显著性计算，为此设计一种全新的适用于虚化图片的显著性方法是很有意义的。
技术实现思路
虚化图像的显著性模型之前一直没有得到系统的研究，而传统的模型也无法满足需求。根据本专利技术的第一个目的，提供一种基于锐利度的针对虚化图像的显著性检测方法，以解决上述问题。具体的，所述基于锐利度的针对虚化图像的显著性检测方法，包括以下步骤：步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；步骤三：获取前景显著性地图：采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图。本专利技术步骤一中：采用频域方法、空域方法和边缘方法相结合的算法来提取锐利度地图，以保证锐利度地图的准确性和完整性，其中，频域方法和空域方法来自S3模型中提供的方法，边缘检测提供了边缘区域的特殊锐利像素点，保证了检测的完整性。本专利技术步骤三中：采用Itti&Koch模型来进行前景显著性地图的提取，原因是该模型计算方便快捷，而且能够保证计算的准确性。通过Itti&Koch的显著性模型来计算清晰前景显著性地图，然后对得到的前景显著性地图进行高斯加权偏移，突出前景区域对人眼注意力的强烈吸引。本专利技术步骤二中采用二分法进行快速阈值分割，从而快速、准确地定位清晰的前景区域。本专利技术步骤三中采用一个以清晰前景的中心坐标为中心的高斯函数对清晰前景区域进行加权偏移。由于高斯函数能够很好地模拟人眼对清晰前景注意力集中的特性，从而突出清晰前景对人眼的吸引力。本专利技术步骤四中：采用GBVS显著性模型对模糊背景进行显著性检测，通过系统的实验测试发现，GBVS模型是对低分辨率最鲁棒的显著性算法，从而保证虚化背景的显著性区域也能被完整地检测出来。本专利技术步骤五中：采用线性加权模型池化两个显著性地图，得到最终的检测结果。这种池化方式能够取得很好的性能。根据本专利技术的第二个目的，提供一种基于锐利度的针对虚本文档来自技高网...

【技术保护点】
一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，包括以下步骤：步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；步骤三：获取前景显著性地图：采用Center‑Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图。

【技术特征摘要】
1.一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，包括以下步骤：步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；步骤三：获取前景显著性地图：采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图；所述步骤一，实现操作如下：频域锐利度地图生成：在频域上计算锐利度时，首先将大小为m×n的图片进行DFT变换得到Y(f，θ)，其中f为径向频率，θ为方向，二者的计算公式如下：其中，m和n分别为图像像素点的高度和宽度，u和v为图像经过DFT变换后得到的DFT指数；得到f和θ之后，计算所有方向上的幅度谱总和Z：Z＝∑θ|Y(f，θ)|(3)最后，画出log(Z)和log(f)之间的关系图，称为Z-f曲线，用一条直线去拟合Z-f曲线，最终求出的拟合直线的斜率可以用来评估频域锐利度地图S1；空域锐利度地图生成：在空域上计算大小为2×2的像素块之间的方差，然后取总体方差的最大值来代表空域的锐利度：其中，对图像中每一个2×2的子块，i和j分别代表该子块中的两个不同的像素点，相应地，xi和xj分别为像素i和j对应的像素值，v(x)代表的是该2×2的子块的方差，S2代表空域锐利度地图；边缘锐利度地图生成：在得到空域和频域锐利度之后进一步计算边缘锐利度，首先用canny算子计算出图像的所有边缘：其中，Se是边缘锐利度地图，Ierror是边缘处梯度正方向上的像素点与梯度负方向上的像素点之间的亮度比值差，W是对应的边缘宽度，对Ierror和Werror取对数是基于生理学研究成果，A为自由参数，A设置为1；对边缘进行像素级别的处理，通过寻找与领域像素之间的联系将其归一化为0°、45°、90°、135°、180°、225°、270°、315°八个方向，然后在梯度正方向上长度为3的像素范围内找一个灰度值最大的点P1(x1，y1)，在梯度反方向上找一个灰度值最小的点P2(x2，y2)，IP1和IP2分别是P1和P2的灰度值，那么有：在得到S1、S2、Se之后，采用以下融合方式将三种锐利度进行融合，得到最终的锐利度地图S：2.根据权利要求1所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，步骤二中：找到锐利度符合...

【专利技术属性】
技术研发人员：翟广涛，车朝晖，王嶺，高伟，闵葆贻，
申请(专利权)人：上海文广科技集团有限公司，
类型：发明
国别省市：上海;31