一种融合递进图排序的图像显著性检测方法技术

本发明专利技术公开了一种融合递进图排序的图像显著性检测方法，该方法包括以下步骤：S1、首先利用超像素分割算法构图，与传统流形排序算法不同的是，在此阶段基于背景的显著值计算中，采用与流形排序构图思想一致的吸收马尔可夫链模型，利用吸收时间得到更鲁棒的显著图结果，从而获得更准确的前景查询节点；S2、接着再进行基于流形排序的前景显著值计算；S3、最后为了克服超像素分割带来的分块化显著图结果，进行显著值的像素级扩散和多尺度融合，以得到最终平滑的显著图。本发明专利技术利用吸收马尔可夫链来获得鲁棒的前景查询，为后续的流形排序提供标记良好的查询/种子数据；采用递进图的随机游走进行显著性估计，可很好地用于建模一幅图像中的显著目标。

An Image Saliency Detection Method Based on Fusion of Progressive Graph Sorting

The invention discloses an image saliency detection method combining progressive graph ranking. The method includes the following steps: S1. Firstly, the super-pixel segmentation algorithm is used to construct the image. Unlike the traditional manifold ranking algorithm, in this stage, the Background-Based saliency value calculation adopts the absorption Markov chain model which is consistent with the manifold ranking composition idea, and the absorption time is used to get more luxuriant. In order to get more accurate foreground query nodes, S2, and then calculate the foreground saliency value based on manifold sorting; S3, finally, in order to overcome the block saliency result caused by super-pixel segmentation, pixel-level diffusion and multi-scale fusion of saliency value are carried out to obtain the final smooth saliency map. The invention utilizes the absorption Markov chain to obtain robust foreground query, provides well-marked query/seed data for subsequent manifold sorting, and uses random walk of progressive graph to carry out saliency estimation, which can be well used to model salient objects in an image.

【技术实现步骤摘要】
一种融合递进图排序的图像显著性检测方法
本专利技术涉及图像处理
，尤其涉及一种融合递进图排序的图像显著性检测方法。
技术介绍
显著性检测定义为从图像或视频中检测出显著目标或区域，以节省后续图像理解等任务中的存储资源和运算时间。近年来，显著性检测已被广泛应用于图像质量评价、目标识别、图像/视频智能压缩、视频跟踪等。从人类视觉注意机制来看，可将显著性检测算法分为基于底层视觉激励的自底向上和基于视觉任务驱动的自顶向下两类。自底向上方法仅从图像的底层特征出发，例如颜色、方向、纹理等。自顶向下方法大都需要通过训练样本的真值图学习出显著目标检测器，在样本真值标注、训练时间和硬件计算性能方面均有较高要求。从显著性检测的目标来分，显著性检测分为人眼注意点预测模型和显著目标检测两类。早期显著性检测模型主要针对前者，检测目标为一幅图像中人眼关注最多的像素点。随着对显著性检测性能要求的逐渐增加，检测目标升级为快速检测出一幅图像中的显著区域。部分自底向上的显著性检测方法是基于对比度实现显著性检测，依据对比的区域范围可以分为局部对比度和全局对比度两类。Itti等人最早提出使用局部对比度的显著性检测模型。他们利用中心-四周差异并结合多尺度图像特征(颜色，强度和方向)计算出显著图。Jiang等人引入中心加权局部对比度计算初始显著图，并使用边缘检测获得显著目标的形状。然后将初始显著图和形状先验融入能量最小化模型，并迭代更新以生成最终显著图。基于局部对比度的方法更倾向于在物体附近产生高显著值边界，但是这些方法无法突出显示整个显著目标，基于全局对比度的方法可缓解这一问题。Cheng等介绍了一种基于全局对比度的方法，该方法同时考虑空间关系。Tong等人通过使用CIELAB颜色，RGB颜色，纹理，局部二值模式(LBP)和定向梯度(HOG)特征直方图的全局对比度信息构建显著性模型。为了降低显著性检测的计算复杂度，现有算法大多先对输入图像进行分割得到超像素，以超像素作为基本计算单元。此外，基于图的显著性检测算法，考虑图像中像素点之间的内在结构，取得了较高的检测效果。Yang等人基于两级流形排序进行显著性检测，首先利用超像素构图，分别基于背景和前景查询节点进行计算。该算法的检测性能在背景复杂、显著目标为小目标或多目标时欠佳。据此，为了在复杂背景和多显著目标下，仍能获得鲁棒的检测效果，目前急需一种鲁棒性更高的融合递进图排序的图像显著性检测方法。
技术实现思路
本专利技术所要解决的技术问题在于提供一种鲁棒性更高的融合递进图排序的图像显著性检测方法。本专利技术采用以下技术方案解决上述技术问题：一种融合递进图排序的图像显著性检测方法，该方法包括以下步骤：S1、首先利用超像素分割算法构图，与传统流形排序算法不同的是，在此阶段基于背景的显著值计算中，采用与流形排序构图思想一致的吸收马尔可夫链模型，利用吸收时间得到更鲁棒的显著图结果，从而获得更准确的前景查询节点；S2、接着再进行基于流形排序的前景显著值计算；S3、最后为了克服超像素分割带来的分块化显著图结果，进行显著值的像素级扩散和多尺度融合，以得到最终平滑的显著图。作为本专利技术的优选方式之一，在所述步骤S1中基本图模型记作Gb＝(Vb,Eb)，Vb为图的顶点集合，Eb为顶点之间的边。作为本专利技术的优选方式之一，所述基本图模型具体构建方法具体为：首先对输入图像采用简单线性迭代分簇算法进行超像素分割，以超像素点作为基本图中的图节点，构成节点集合Vb；然后节点间的边连接采用k正则图(k＝2),即每个超像素点仅与直接邻居和二级邻居间有边连接；同时对图像四周的超像素点进行全连接，上述连接构成边集合Eb；边的权重定义为采用节点在CIELAB颜色空间的距离计算边的权重其中ci,cj分别为节点i和j在CIELAB颜色空间的平均值，σ为控制常量。作为本专利技术的优选方式之一，在所述步骤S1中基于背景的显著值计算的具体方法为：复制四边界超像素点作为r个虚拟吸收节点，基本图模型中的所有节点为t个暂态节点，扩展图记为Ge＝(Ve,Ee)，其中Ve和Ee为分别在Vb和Eb中增加虚拟吸收节点，计算暂态节点在被吸收前随机游走于各暂态节点之间的总时间，作为该暂态节点的显著值。作为本专利技术的优选方式之一，所述基于背景的显著值计算的具体计算过程为：转移概率矩阵P可简写为分块矩阵：式中Q为暂态节点之间的转移概率矩阵，R为暂态节点和吸收节点之间的转移概率矩阵，I为单位矩阵；由Q可得到吸收马尔可夫链的基本矩阵T＝(I-Q)-1，其元素tij表示从暂态i出发到达暂态j所需要的期望时间，其行和表示暂态节点i在被吸收前所需的总期望时间；则所有暂态节点的被吸收时间可计算为：对式进行归一化操作，可得所有超像素点的基于背景的显著值：将式计算的超像素显著值扩散到对应的像素点，得到初始显著图。作为本专利技术的优选方式之一，在所述步骤S2中基于前景的显著值计算具体为：超像素初始显著值通过自适应阈值进行二值分割可得查询向量q，对应值为1的节点作为前景查询节点，0则为背景节点；采用基本图模型构图，通过调整式(1)中控制常量σ来减小边之间的整体权重，以获得新的边权重；由优化求解公式，可求解基于前景的显著值为：sf＝(Df-αWf)-1q(5)；其元素式中Wf为新的边权重矩阵，Df为Wf对应的度矩阵，α为控制常量；由式(5)计算出各超像素点的显著值，扩散赋值给每个像素点，得到基于前景的显著图。作为本专利技术的优选方式之一，在所述步骤S3中显著值的像素级扩散具体为：采用在随机游走中加入先验作为正则化项，节点范围扩展到像素级别上，像素点i和j之间的边权重值记作kij，节点像素值构成向量p，为向量sf所对应的像素级的显著值，代入公式得到像素级正则化后的显著图。作为本专利技术的优选方式之一，在所述步骤S3中多尺度融合具体为：在超像素分割阶段，分别采用不同超像素数目进行分割，再计算各个显著值，平均值作为最终显著值。本专利技术相比现有技术的优点在于：(1)利用吸收马尔可夫链来获得鲁棒的前景查询，为后续的流形排序提供标记良好的查询/种子数据；(2)采用递进图的随机游走进行显著性估计，此举可很好地用于建模一幅图像中的显著目标；(3)使用多尺度显著性来检测在复杂背景下的小尺寸和多显著目标。附图说明图1是实施例1中融合递进图排序的图像显著性检测方法流程图；图2是实施例1中融合递进图排序的图像显著性检测方法的算法流程图；图3是实施例1中基本图模型；图4是实施例1中扩展图模型；图5是实施例1中流形排序(MR)算法和本专利技术算法基于背景计算的显著图对比；图6是实施例1中基于前景的显著图对比；图7是实施例1中各步骤显著图对比；图8是实验验证与分析中MR方法与本专利技术方法在三个数据集上的PR曲线比较效果；图9是实验验证与分析中组成成分分析一；图10是实验验证与分析中组成成分分析二；图11是实验验证与分析中组成成分分析三；图12是实验验证与分析中组成成分分析四；图13是实验验证与分析中定量分析在DUT-OMRON数据集上比较效果；图14是实验验证与分析中定量分析在ECSSD数据集上比较效果；图15是实验验证与分析中定量分析在PASCAL-S数据集上比较效果；图16是实验验证与分析中定量分析在SED数据集上比较效果；图17是实验验证本文档来自技高网...

【技术保护点】
1.一种融合递进图排序的图像显著性检测方法，其特征在于，该方法包括以下步骤：S1、首先利用超像素分割算法构图，与传统流形排序算法不同的是，在此阶段基于背景的显著值计算中，采用与流形排序构图思想一致的吸收马尔可夫链模型，利用吸收时间得到更鲁棒的显著图结果，从而获得更准确的前景查询节点；S2、接着再进行基于流形排序的前景显著值计算；S3、最后为了克服超像素分割带来的分块化显著结果，进行显著值的像素级扩散和多尺度融合，以得到最终平滑的显著图。

【技术特征摘要】
1.一种融合递进图排序的图像显著性检测方法，其特征在于，该方法包括以下步骤：S1、首先利用超像素分割算法构图，与传统流形排序算法不同的是，在此阶段基于背景的显著值计算中，采用与流形排序构图思想一致的吸收马尔可夫链模型，利用吸收时间得到更鲁棒的显著图结果，从而获得更准确的前景查询节点；S2、接着再进行基于流形排序的前景显著值计算；S3、最后为了克服超像素分割带来的分块化显著结果，进行显著值的像素级扩散和多尺度融合，以得到最终平滑的显著图。2.根据权利要求1所述的融合递进图排序的图像显著性检测方法，其特征在于，在所述步骤S1中基本图模型记作Gb＝(Vb,Eb)，Vb为图的顶点集合，Eb为顶点之间的边。3.根据权利要求2所述的融合递进图排序的图像显著性检测方法，其特征在于，所述基本图模型具体构建方法具体为：首先对输入图像采用简单线性迭代分簇算法进行超像素分割，以超像素点作为基本图中的图节点，构成节点集合Vb；然后节点间的边连接采用k正则图(k＝2),即每个超像素点仅与直接邻居和二级邻居间有边连接；同时对图像四周的超像素点进行全连接，上述连接构成边集合Eb；边的权重定义为采用节点在CIELAB颜色空间的距离计算边的权重：其中ci,cj分别为节点i和j在CIELAB颜色空间的平均值，σ为控制常量。4.根据权利要求1所述的融合递进图排序的图像显著性检测方法，其特征在于，在所述步骤S1中基于背景的显著值计算的具体方法为：复制四边界超像素点作为r个虚拟吸收节点，基本图模型中的所有节点为t个暂态节点，扩展图记为Ge＝(Ve,Ee)，其中Ve和Ee为分别在Vb和Eb中增加虚拟吸收节点，计算暂态节点在被吸收前随机游走于各暂态节点之间的总时间，作为该暂态节点的显著值。5.根据权利要求4所述的融合递进图排序的图像显著性检测方法，其...

【专利技术属性】
技术研发人员：汪丽华，王泽梁，
申请(专利权)人：黄山学院，
类型：发明
国别省市：安徽,34