一种基于显著性融合与传播的显著物体检测方法，针对RGB‑D图像，首先分别利用图像的颜色特征和空间特征进行显著物体检测，然后通过融合二者的结果得到一个高准确率的显著性图，最后通过一种基于块的显著性传播方法来扩大显著区域和提高显著物体的完整性。本发明专利技术充分发掘了RGB‑D图像的彩色通道和深度通道，利用颜色特征和空间特征进行显著性检测，并采用融合‑传播策略提高检测结果的准确率和召回率，能够应对在RGB‑D图像中检测显著物体的任务，并能够取得比现有方法更优秀的效果。
A salient object detection method based on saliency fusion and propagation
A method of detecting significant significant objects and communication based on the combination of RGB for D image, firstly using color feature and spatial feature to significant object detection, and then a high accuracy was obtained through the fusion of the two results, finally through a significant communication block based on the expansion of salient regions and improve the integrity of the salient object. The invention fully exploit the color channel and depth of channel RGB D images, were detected by using color feature and spatial feature, and the accuracy of test results communication strategy fusion and recall, to cope with the detection of salient objects in RGB D images, and can obtain more excellent than the existing the effect of.
【技术实现步骤摘要】
本专利技术属于计算机视觉领域，涉及到针对RGB-D图像的显著物体检测方法，具体为一种基于显著性融合与显著性传播的显著物体检测方法。
技术介绍
在计算机视觉领域，显著性检测是一项非常重要的研究内容，利用显著性检测技术，计算机能够自动识别图像中的显著区域。许多基于内容的图像处理应用都以显著性检测的结果为基础，例如图像分类、基于内容的图像缩放等。显著性检测的方法可以分为两个类别：注视点预测和显著物体检测。注视点预测侧重于研究和模拟人类视觉系统的视觉注意机制，它的检测结果表现为稀疏的点状区域；显著物体检测则倾向于指出完整的显著物体，它的检测结果表现为平整的区域。本专利技术所涉及的方法属于显著物体检测方法。研究显著物体检测方法的关键问题在于选择图像的何种特征，以及如何利用所选择的特征。近年来，显著物体检测方法的研究取得了较大的进展，许多研究者提出了效果优秀的显著物体检测方法，这些方法往往利用了图像的颜色特征和位置特征。随着RGB-D图像的出现和广泛应用，针对RGB-D图像的显著物体检测方法也有了很大的应用价值，然而将传统的显著物体检测方法直接应用于RGB-D图像并不能充分利用RGB-D图像所提供的信息，因此有必要提出针对RGB-D图像的显著物体检测方法。现有的针对RGB-D图像的显著物体检测方法往往分别对彩色通道和深度通道进行显著性检测，然后通过相乘、取最大值等方法对结果进行融合，并不做进一步处理。这种融合后不作处理的简单处理方式，容易造成显著区域过大或者过小。例如，采用相乘方法融合时，只有彩色通道和深度通道上都显著的区域才会被检测出，会造成显著区域过小；而采用取最大值方法融合时，只要彩色通道或深度通道上显著的区域就会被检测出，会造成显著区域过大。因此，它们的效果依然有改进的空间。
技术实现思路
本专利技术要解决的问题是：传统的针对彩色图像的显著物体检测方法不足以应对在RGB-D图像中检测显著物体的任务，因为它们无法利用深度图像所提供的信息；现有的针对RGB-D图像的显著物体检测算法分别利用彩色通道和深度通道的信息，然后对结果进行简单的融合，但没有对融合的结果进行改善。本专利技术的技术方案为：一种基于显著性融合与传播的显著物体检测方法，用于在RGB-D图像上，分别利用颜色特征与空间特征进行显著物体检测，然后进行显著性融合与传播，最终获得显著物体检测结果，包括以下步骤：1)输入RGB-D图像中的彩色通道，采用针对彩色图像的显著物体检测方法，进行基于颜色特征的显著性检测；2)输入RGB-D图像中的深度通道，在对图像分块的基础上，进行基于空间特征的显著物体检测；3)将1)和2)中的结果相乘，进行显著性融合，得到融合后的显著性图；4)对融合后的显著性图进行基于块的显著性传播，传播权重由块与块之间的颜色相似性和空间距离共同决定，具体为：4.1)将RGB-D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度；4.2)对于RGB-D图像中的任意两个块pm,m，m＝1,2,…,M,n＝1,2,…,N，和pi,j，i＝1,2,…,M,j＝1,2,…,N，根据它们之间的颜色距离定义两个块的颜色相似性传播权重：ωc(pm,n,pi,j)=e-||cm,n-ci,j||2δ]]>其中，cm,m和ci,j分别表示pm,n和pi,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数，δ的值越大，块之间根据颜色相似性进行传播的范围就越大；4.3)对于块pm,n和pi,j，根据它们在三维空间中的距离定义两个块的空间距离传播权重：ωs(pm,n,pi,j)=e-(m′-i′)2+(n′-j′)2σ2·e-α(dm,n-di,j)2σ2]]>其中，(m′,n′)和(i′,j′)分别表示pm,n和pi,j归一化之后的坐标，dm,n和di,j分别表示pm,n和pi,j的平均深度值；参数σ控制显著性值的分布，σ的值越大，块之间根据空间距离进行传播的范围就越大；α单独控制显著性值在深度上的分布，α的值越大，在深度方向上传播的范围就越大；4.4)综合4.2)和4.3)，块pm,n和pi,j之间的显著性传播权重为：ω(pm,n,pi,j)＝ωc(pm,n,pi,j)·ωs(pm,n,pi,j)所有块与块之间的传播权重构成传播矩阵；4.5)在步骤3)所得到的融合显著性图中迭代地使用4.4)中的传播矩阵进行块与块之间的显著性传播，直到融合显著性图的变化小于预设的阈值或者传播次数达到预设的阈值为止，得到最终的显著性图。步骤2)使用一种反映显著物体在三维空间中分布规律的空间偏置模型进行基于空间特征的显著物体检测，具体为：2.1)将深度通道分为M×N块，并计算出每个块的平均深度；2.2)对于深度通道中的每一个块pm,n(m＝1,2,…,M,n＝1,2,…,N)，根据它在成像平面中的位置以及它的平均深度值，利用空间偏置模型计算它的显著性值Sm，n：Sm,n=12πθ2e-(m′-1)2+(n′-1)22θ2·e-β(1-dm,n)22θ2]]>其中，和表示pm,n归一化之后的坐标；dm,n是pm,n对应的平均深度值，dm,n的值被归一化到[0,1]，1表示最近；参数θ控制显著性值的分布，β单独控制显著性值在深度上的分布。步骤3)使用逐像素相乘的方法对步骤1)和步骤2)所生成的显著性图进行融合。本专利技术与现有技术相比有如下优点：充分利用了RGB-D图像的彩色通道和深度通道；对分别基于颜色特征和空间特征所获得的显著性图进行融合时，采用逐像素相乘的融合方法来获得在不同通道上都显著的、较小的显著区域，以提高检测结果的准确率；在此基础上，采用显著性传播的方法来扩展显著区域，将与高准确率的显著区域在颜色上较为相似且空间距离上较为相近的区域纳入显著物体，以提高显著物体的完整性，使得检测结果在高准确率的情况下拥有较高的召回率。图3展示了现有技术的显著性简单融合后不作处理的检测结果和本专利技术的显著性融合与传播的检测结果的比较示例，图中五列分别为(a)RGB-D图像的RGB通道，(b)RGB-D图像的深度通道，(c)人工标注的显著物体，(d)显著性融合的检测结果，(e)显著性融合-传播的检测结果，明显可见本专利技术检测结果具有更精确的检测结果。附图说明图1为本专利技术的实施流程。图2为本专利技术的显著性传播的实施流程。图3为本专利技术的检测结果示例。图4为本专利技术与现有代表性方法在NJU400数据集上的比较结果，(a)为PR曲线，(b)为ROC曲线。图5为本专利技术与现有代表性方法在RGBDBenchmark数据集上的比较结果，(a)为PR曲线，(b)为ROC曲线。具体实施方式本专利技术针对RGB-D图像提出了一种基于显著性融合与传播的显著物体检测方法，如图1所示，包括以下步骤：1)输入RGB-D图像中的彩色通道，直接采用现有的针对彩色图像的显著物体检测方法生成显著性图，要求该方法在显著物体检测的过程中利用了图像的颜色特征，例如频率调谐(Freq本文档来自技高网...
【技术保护点】
一种基于显著性融合与传播的显著物体检测方法，其特征是用于在RGB‑D图像上，分别利用颜色特征与空间特征进行显著物体检测，然后进行显著性融合与传播，最终获得显著物体检测结果，包括以下步骤：1)输入RGB‑D图像中的彩色通道，采用针对彩色图像的显著物体检测方法，进行基于颜色特征的显著性检测；2)输入RGB‑D图像中的深度通道，在对图像分块的基础上，进行基于空间特征的显著物体检测；3)将1)和2)中的结果相乘，进行显著性融合，得到融合后的显著性图；4)对融合后的显著性图进行基于块的显著性传播，传播权重由块与块之间的颜色相似性和空间距离共同决定，具体为：4.1)将RGB‑D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度；4.2)对于RGB‑D图像中的任意两个块pm,n，m＝1,2,…,M,n＝1,2,…,N，和pi,j，i＝1,2,…,M,j＝1,2,…,N，根据它们之间的颜色距离定义两个块的颜色相似性传播权重：ωc(pm,n,pi,j)=e-||cm,n-ci,j||2δ]]>其中，cm,n和ci,j分别表示pm,n和pi,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数，δ的值越大，块之间根据颜色相似性进行传播的范围就越大；4.3)对于块pm,n和pi,j，根据它们在三维空间中的距离定义两个块的空间距离传播权重：ωs(pm,n,pi,j)=e-(m′-i′)2+(n′-j′)2σ2·e-α(dm,n-di,j)2σ2]]>其中，(m′,n′)和(i′,j′)分别表示pm,n和pi,j归一化之后的坐标，dm,n和di,j分别表示pm,n和pi,j的平均深度值；参数σ控制显著性值的分布，σ的值越大，块之间根据空间距离进行传播的范围就越大；α单独控制显著性值在深度上的分布，α的值越大，在深度方向上传播的范围就越大；4.4)综合4.2)和4.3)，块pm,n和pi,j之间的显著性传播权重为：ω(pm,n,pi,j)＝ωc(pm,n,pi,j)·ωS(pm,n,pi,j)所有块与块之间的传播权重构成传播矩阵；4.5)在步骤3)所得到的融合显著性图中迭代地使用4.4)中的传播矩阵进行块与块之间的显著性传播，直到融合显著性图的变化小于预设的阈值或者传播次数达到预设的阈值为止，得到最终的显著性图。...
【技术特征摘要】
1.一种基于显著性融合与传播的显著物体检测方法，其特征是用于在RGB-D图像上，分别利用颜色特征与空间特征进行显著物体检测，然后进行显著性融合与传播，最终获得显著物体检测结果，包括以下步骤：1)输入RGB-D图像中的彩色通道，采用针对彩色图像的显著物体检测方法，进行基于颜色特征的显著性检测；2)输入RGB-D图像中的深度通道，在对图像分块的基础上，进行基于空间特征的显著物体检测；3)将1)和2)中的结果相乘，进行显著性融合，得到融合后的显著性图；4)对融合后的显著性图进行基于块的显著性传播，传播权重由块与块之间的颜色相似性和空间距离共同决定，具体为：4.1)将RGB-D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度；4.2)对于RGB-D图像中的任意两个块pm,n，m＝1,2,…,M,n＝1,2,…,N，和pi,j，i＝1,2,…,M,j＝1,2,…,N，根据它们之间的颜色距离定义两个块的颜色相似性传播权重：ωc(pm,n,pi,j)=e-||cm,n-ci,j||2δ]]>其中，cm,n和ci,j分别表示pm,n和pi,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数，δ的值越大，块之间根据颜色相似性进行传播的范围就越大；4.3)对于块pm,n和pi,j，根据它们在三维空间中的距离定义两个块的空间距离传播权重：ωs(pm,n,pi,j)=e-(m′-i′)2+(n′-j′)2σ2·e-α(dm,n-di,j)2σ2]]>其中，(m′,n′)和(i′,j′)分别表示pm,n和pi,j归一化之后的坐标，dm,n和di,j分别表示pm,n和pi,j的平均深度值；参数σ控制显著性值的...
【专利技术属性】
技术研发人员：任桐炜，贝佳，郭竞帆，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。