一种基于低秩多尺度融合的图像显著性检测方法技术

本发明专利技术涉及一种基于低秩多尺度融合的图像显著性检测方法，其技术特点包括：对输入的图像进行单尺度显著性检测；对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图；对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的协同显著性图像。本发明专利技术将基于低秩矩阵恢复的显著性检测方法和多尺度显著性融合的方法应用到了显著性检测中，并通过运用基于GMM的协同显著性先验，将多尺度低秩显著性检测推广到多幅图像协同显著性检测中，以检测多幅图像中出现的相同或相似的区域，解决了尺度选择困难的问题，取得了更可靠的显著性检测结果，有助于进一步提高显著性检测的处理能力。

A method of image saliency detection based on low rank and multiscale fusion

The invention relates to an image saliency detection method based on multi-scale fusion of low rank, including its technical features: single scale saliency detection of the input image; the image single scale saliency detection of multiscale saliency fusion, fusion, fusion of saliency map; multiscale saliency fusion after the treatment of the saliency map were thinning, get the final Co saliency. In the invention, and methods for multiscale saliency fusion application of saliency detection of low rank matrix recovery based on the saliency detection, and through the use of GMM was based on the prior collaborative, low rank multi-scale saliency detection is extended to multiple images co saliency detection, with the same or similar area detection in the image, solve the difficult problem of the criterion of choice, has made significant results more reliable, help to further improve the processing ability of the saliency detection.

【技术实现步骤摘要】
一种基于低秩多尺度融合的图像显著性检测方法
本专利技术属于计算机视觉检测
，尤其是一种基于低秩多尺度融合的图像显著性检测方法。
技术介绍
在计算机视觉领域，显著性物体检测方法被分为自底向上的场景驱动模型和自顶向下的期望驱动模型两大类。自底向上的方法主要基于图片景色的场景信息，而自顶向下的方法则是由知识、期望和目的决定的。现在已经提出了很多显著性检测方法，例如RC、CA等。这些显著性检测方法大部分都是针对单尺度图片的显著性检测并且已经取得了不错的效果。但是这些方法具有一个共同的问题就是当物体处在小尺度大对比度的自然场景下时，一般不能很好地检测到图片中的显著性物体。针对这种情况，一般有两种解决方法，一种是继续寻找更好的显著性物体，另一种就是利用其它的也包含相同显著性物体的图片辅助监测显著性物体，这种方法被称为协同显著性检测。基于低秩矩阵恢复的显著性检测方法是基于如下先验假设：显著性目标在整幅图上是稀疏的，这样一幅图像就可以看成是背景加上在背景上稀疏分布的一些显著性目标，而图像背景具有低秩特性，进而将一副自然图像分解为一个低秩矩阵和一个稀疏矩阵，因此显著性检测转化为一个低秩矩阵的恢复问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于低秩多尺度融合的图像显著性检测方法，解决了现有检测方法存在尺度选择困难的问题以及可靠性的问题。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于低秩多尺度融合的图像显著性检测方法，包括以下步骤：步骤1、对输入的图像进行单尺度显著性检测；步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图；步骤3、对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的协同显著性图像。进一步，所述步骤1的具体处理方法包括以下步骤：⑴将图像过分割成多尺度分割图并进行特征提取；⑵采用背景先验方法进行显著性先验处理；⑶进行显著性计算。进一步，所述步骤⑴的方法为：将对于输入的图像，使用SLIC方法将输入的图像分割成超像素，并提取出122维的位置特征、颜色特征和纹理特征。进一步，所述步骤⑶的显著性计算方法采用如下显著性模型进行：SP(i)为第i个超像素的显著性值，是第i个超像素第j个特征的显著性值。是第i个超像素所有特征的显著性值向量。进一步，所述步骤2的具体方法为：首先，将一幅图像分割成不同的尺度；然后，计算每个尺度上的显著性图；最后，通过将所有尺度的显著性值乘以对应的自适应权重来计算融合显著性图。进一步，所述自适应权重表示如下：其中，Z是一个配分函数；所述融合显著性图采用如下公式计算：ωi代表了第i个尺度的显著性图的自适应权重，代表了第i个尺度的特征值，代表了多个尺度融合后的显著性图。进一步，所述步骤3的处理方法包括：⑴对当前图像进行平滑性处理，使得图像达到空间平滑；⑵对图像进行协同显著性检测。进一步，所述步骤⑴对当前图像进行平滑性处理的方法为：采用如下能量函数实现：其中，SI表示每个超像素i的显著性值，表示背景的概率，表示前景的概率，Nei(i)：表示第i个超像素的邻域，权重ωij：定义为：其中，表示在CIE-LAB颜色空间中颜色均值的L2距离，进一步，所述步骤⑵对图像进行协同显著性检测包括以下步骤：①单一显著点检测：对于给定的一系列的图像Iset＝{I1，I2，...，In}，计算每幅图像的单一显著性图，用Si表示第i个图像的单一显著性图；②二值分割：使用自适应阈值Ti：把单一显著性图划分成二元掩膜Mi，Ti定义为：Ti＝α·mean(Si)其中，α＝2；③协同显著性先验估计：GMM算法使用5个高斯模型来为第i个图片中的前景像素构建颜色模型Gi，然后用估计第j个图片中的模Mj的前景概率；对于每个图片得到n个前景概率的估计值，然后对每张图片计算协同显著性先验来获得这些估计值的平均值；④协同显著性计算：将协同显著性先验合并到单一显著性检测模型中得到最后的协同显著性图像。本专利技术的优点和积极效果是：本专利技术将基于低秩矩阵恢复的显著性检测方法和多尺度显著性融合的方法应用到了显著性检测中，并通过运用基于GMM的协同显著性先验，将多尺度低秩显著性检测推广到多幅图像协同显著性检测中，以检测多幅图像中出现的相同或相似的区域，本专利技术所提出的低秩多尺度超像素融合算法解决了尺度选择困难的问题，取得了更可靠的显著性检测结果，有助于进一步提高显著性检测的处理能力。附图说明图1为本专利技术的基于低秩多尺度融合的图像显著性检测方法流程图；图2为本专利技术提取的显著性特征维数和描述示意图；图3为本专利技术在MSRA数据集上性能的比较效果图；图4为本专利技术在ESCCD数据集上性能的比较效果图；图5为本专利技术在imagepair数据集上的协同显著性方法性能的比较图。具体实施方式以下结合附图对本专利技术实施例做进一步详述：一种基于低秩多尺度融合的图像显著性检测方法，如图1所示，包括以下步骤：步骤1、对输入的图像进行单尺度的显著性检测。具体方法为：⑴将图像过分割成多尺度分割图并进行特征提取对于输入的图像，我们使用SLIC将它分割成超像素，并提取出122维的特征，包括位置、颜色、纹理，如图2所示。具体做法是：我们提取40维的颜色特征，3尺度下4个方向共12个steerablepyramids特征，3尺度12方向共36个Gabor特征，用HOG提取出31维的特征。⑵显著性先验处理目前，一些自顶向下的方法已经被用来进一步提高显著性检测的性能。代表性的方法有各种不同的显著性先验，如中心先验、物体先验、背景先验、这些方法都是为了提高一幅图像中显著性物体可能存在的位置。在本方法中，我们采用背景先验方法进行显著性先验处理。⑶显著性计算由于低秩分析对显著性检测很有帮助，我们可以把一幅图像分成冗余部分和显著性部分。冗余部分表示具有高度的规则性，显著性部分表示新颖性。我们可以把这种分解表示成低秩矩阵的恢复问题：s.t.F＝B+S其中，F＝[f1,f2,...,fn]是N个特征向量组成的特征矩阵，B是通过对背景建模得到的低秩矩阵，S是通过对显著性建模得到的稀疏矩阵。由于以上的问题是一个NP问题，因此我们转换成下面的方式来解决：s.t.F＝B+S但是，在最初的特征空间分解F总是会获得较差的物体显著性检测结果。为了得到一个好的结果，我们先学习一个变换矩阵T,通过将特征矩阵F左乘T，我们获得一个变换特征矩阵TF。在变换后的空间中，图像背景的特征存在于一个低维度子空间中。因此，它们可以被表示成一个低秩矩阵。先验P可以用P左乘TF来更新，因此，最终的显著性模型为：s.t.TFP＝B+S假设S是方程的最优解。那么第i个超像素的显著性值SP(i)为：步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图。由于在单一尺度图像上的显著性检测效果可能会不理想，为了获得一个可靠的显著性检测结果，本专利多尺度融合方法：首先，我们把一幅图像分割成不同的尺度；然后，用以上方法计算每个尺度上的显著性图；最后，我们通过把所有尺度的显著性值乘以对应的自适应权重来计算融合显著性图。一个超像素的显著性值就是包含在这个超像素区域中的所有显著性值的平均值，我们把每个尺度上的所有超像素的显著性值表示成一个行向量，所有尺度上的每个超像素本文档来自技高网...

【技术保护点】
一种基于低秩多尺度融合的图像显著性检测方法，其特征在于包括以下步骤：步骤1、对输入的图像进行单尺度显著性检测；步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图；步骤3、对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的协同显著性图像。

【技术特征摘要】
1.一种基于低秩多尺度融合的图像显著性检测方法，其特征在于包括以下步骤：步骤1、对输入的图像进行单尺度显著性检测；步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图；步骤3、对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的协同显著性图像。2.根据权利要求1所述的一种基于低秩多尺度融合的图像显著性检测方法，其特征在于：所述步骤1的具体处理方法包括以下步骤：⑴将图像过分割成多尺度分割图并进行特征提取；⑵采用背景先验方法进行显著性先验处理；⑶进行显著性计算。3.根据权利要求2所述的一种基于低秩多尺度融合的图像显著性检测方法，其特征在于：所述步骤⑴的方法为：将对于输入的图像，使用SLIC方法将输入的图像分割成超像素，并提取出122维的位置特征、颜色特征和纹理特征。4.根据权利要求2所述的一种基于低秩多尺度融合的图像显著性检测方法，其特征在于：所述步骤⑶的显著性计算方法采用如下显著性模型进行：SP(i)为第i个超像素的显著性值，是第i个超像素第j个特征的显著性值，是第i个超像素所有特征的显著性值向量。5.根据权利要求1所述的一种基于低秩多尺度融合的图像显著性检测方法，其特征在于：所述步骤2的具体方法为：首先，将一幅图像分割成不同的尺度；然后，计算每个尺度上的显著性图；最后，通过将所有尺度的显著性值乘以对应的自适应权重来计算融合显著性图。6.根据权利要求5所述的一种基于低秩多尺度融合的图像显著性检测方法，其特征在于：所述自适应权重表示如下：其中，Z是一个配分函数；所述融合显著性图采用如下公式计算：

【专利技术属性】
技术研发人员：冯伟，孙济洲，黄睿，刘烨，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12