一种RGBD图像协同显著性检测方法技术

本发明专利技术公开了一种RGBD图像协同显著性检测方法，所述方法包括：计算给定的RGBD图像组的图内显著性图；在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。本发明专利技术可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰。

A Collaborative Saliency Detection Method for RGBD Images

The invention discloses a cooperative saliency detection method for RGBD images, which includes: calculating the intra-graph saliency map of a given RGBD image group; assisted by the intra-graph saliency map, the corresponding relationship between the graphs is modeled as a hierarchical sparse reconstruction framework, in which the global reconstruction model is used to capture the global characteristics of the image group, and the interactive reconstruction model is used to mine the image pairs. The interactive relationship between the two models; the saliency results of global reconstruction model and interactive reconstruction model are fused to obtain the hierarchical saliency results; the saliency results in the graph and the hierarchical saliency results between the graphs are optimized by the energy function including data items, spatial smoothness and global consistency items, and the final results of the cooperative saliency detection are obtained. The invention can accurately extract common salient targets in image group, has strong background suppression ability and clear salient target contour.

【技术实现步骤摘要】
一种RGBD图像协同显著性检测方法
本专利技术涉及图像处理、立体视觉
，尤其涉及一种RGBD图像协同显著性检测方法。
技术介绍
视觉注意力机制使得人们可以快速从复杂场景中定位出感兴趣区域或显著性目标。作为计算机视觉任务中的一个分支，显著性检测致力于使得计算机具备自动定位显著性区域的能力，已被广泛应用于各种视觉任务，如分割、重定向、增强、评价、检索、编码、压缩等。过去的10年时间见证了图像显著性检测领域的飞速发展和性能飞跃。实际上，人类在感知场景信息的时候，除了能够捕获目标的颜色、形状等外貌信息外，还可以感知场景的深度信息。随着成像设备的进步与发展，场景深度数据的获取方式变得更加快捷、便利。相比于RGB图像显著性检测任务，面向包含深度信息的RGBD图像的显著性检测任务起步相对较晚，相关技术尚不成熟。如何充分利用深度数据来辅助显著性目标判别是当前的一个研究热点。此外，随着数据体量的井喷式增长，人们需要协同地同时处理多张相关图像。作为传统图像显著性检测的扩展，协同显著性检测旨在从包含多张图像的图像组中发现共有的显著性目标，即图像组中反复出现的显著性目标。该技术已被广泛应用于协同分割、协同定位、图像匹配中，研究前景广阔，意义重大。不同于图像显著性检测，协同显著性检测需要通过图间约束关系对图像组中显著性目标的共有属性进行甄别。换言之，协同显著性目标不仅是单张图像中相对于背景区域突出的目标，还应在整个图像组中反复出现。协同显著性检测是一个新兴的、具有挑战性的任务，现有算法也主要关注RGB图像的协同显著性目标检测，甚少进一步开发面向RGBD图像的协同显著性检测算法。Li等人利用两阶段的显著性模型来指导协同显著性检测。Fu等人利用融合多线索的聚类方法提取图像组中的共有显著性目标。Tao等人将低秩约束引入协同显著性检测中。Cong等人提出了一种基于循环迭代的RGBD协同显著性检测模型。Song等人基于Bagging聚类算法实现了RGBD图像的协同显著性检测。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：现有技术大多利用匹配算法获取图间对应关系，虽然可以获得较好的准确性，但运算量较大，计算复杂度较高；现有基于聚类的算法以准确性换取了时效性，使得算法性能大打折扣；目前现有算法很难同时兼顾有效性和时效性。
技术实现思路
本专利技术提供了一种RGBD图像协同显著性检测方法，本专利技术通过深入挖掘RGBD图像之间的层次化图间关系，设计一种有效的RGBD图像协同显著性检测模型，提取图像组中的共有显著性目标，详见下文描述：一种RGBD图像协同显著性检测方法，所述方法包括以下步骤：计算给定的RGBD图像组的图内显著性图；在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。进一步地，所述全局重建模型的构建过程具体为：选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，获取具有较大一致性值的超像素作为最终前景种子点；将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；获取超像素的全局图间显著性。其中，所述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。其中，所述将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典的步骤之前，所述方法还包括：采用颜色分量、深度属性、空间位置和纹理分布来对超像素进行特征表示。进一步地，所述超像素的全局图间显著性具体为：其中，表示超像素通过全局前景字典DGF重建得到的重建误差，为超像素的特征表示，表示超像素的最优稀疏系数，||·||2为2范数，σ2＝0.1是常数。具体实现时，所述交互重建模型的构建过程具体为：选择前K个具有较大图内显著性值的超像素区域作为种子点，提取特征向量，堆叠组合后得到N个交互前景字典；利用图像Ik生成的交互前景字典对图像Ii进行交互重建(k＝1,2,,N且k＝i)，获取超像素的交互图间显著性。其中，所述超像素的交互图间显著性具体为：其中，表示超像素通过交互前景字典重建得到的重建误差，表示超像素由交互前景字典重建时得到的最优稀疏系数，为超像素的特征表示。优选地，所述能量函数具体为：其中，表示超像素rm优化后的显著性值，sm＝Sa(rm)·Sr(rm)表示超像素rm的初始显著性值，Sa(rm)为超像素rm的图内显著性值，Sr(rm)为超像素rm的层次化的图间显著性值，为整个图像组中所有超像素的初始显著性值组成的向量，为整个图像组中所有超像素的优化后的显著性值组成的向量，T为转置，为图像组中所有图像所有超像素的总个数，Ω表示图内超像素的空间邻接关系，W为相似性矩阵，为相似性矩阵W的度矩阵，本专利技术提供的技术方案的有益效果是：1、本专利技术设计了一种基于层次化稀疏重建的RGBD图像协同显著性检测模型，可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰；2、本专利技术采用稀疏重建框架进行显著性计算，算法运算复杂度较低，即在保证算法检测准确性的同时，有效提高了算法的时效性。附图说明图1为一种RGBD图像协同显著性检测方法的流程图；图2为给出了本专利技术提出方法的检测结果的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提供了一种RGBD图像协同显著性检测方法，参见图1，该方法包括以下步骤：101：在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获整个图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；102：为了进一步改善图内平滑性和图间一致性，利用一个包含数据项、空间平滑性和全局一致项的能量函数进行优化，得到最终的协同显著性检测结果。其中，步骤101中的全局重建模型的构建过程具体为：选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，获取具有较大一致性值的超像素作为最终前景种子点；将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；获取超像素的全局图间显著性。进一步地，上述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。进本文档来自技高网...

【技术保护点】
1.一种RGBD图像协同显著性检测方法，其特征在于，所述方法包括以下步骤：计算给定的RGBD图像组的图内显著性图；在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。

【技术特征摘要】
1.一种RGBD图像协同显著性检测方法，其特征在于，所述方法包括以下步骤：计算给定的RGBD图像组的图内显著性图；在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。2.根据权利要求1所述的一种RGBD图像协同显著性检测方法，其特征在于，所述全局重建模型的构建过程具体为：选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，获取具有较大一致性值的超像素作为最终前景种子点；将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；获取超像素的全局图间显著性。3.根据权利要求2所述的一种RGBD图像协同显著性检测方法，其特征在于，所述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。4.根据权利要求2所述的一种RGBD图像协同显著性检测方法，其特征在于，所述将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典的步骤...

【专利技术属性】
技术研发人员：雷建军，丛润民，郑泽勋，李重仪，徐立莹，张哲，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12