一种RGB显著性到RGBD显著性的转换方法技术

本发明专利技术公开了一种RGB显著性到RGBD显著性的转换方法，所述方法包括以下步骤：生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。本发明专利技术将现有RGB显著性检测算法生成的结果作为初始化，以直接和间接的形式挖掘深度信息，增强算法性能。

A Conversion Method from RGB Significance to RGBD Significance

【技术实现步骤摘要】
一种RGB显著性到RGBD显著性的转换方法
本专利技术涉及图像处理、计算机视觉领域，尤其涉及一种RGB显著性到RGBD显著性的转换方法。
技术介绍
为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，2017年7月我国印发了《新一代人工智能发展规划》，并提出了六个方面的重点任务。其中，建立新一代人工智能基础理论体系的主旨版块要求突破应用基础理论瓶颈，进一步加强大数据智能、跨媒体感知计算、自主协同与决策、类脑智能计算理论等基础理论研究，并着重开展跨学科探索性研究，推动人工智能与神经科学、认知科学等相关基础学科的交叉融合。人类的视觉系统可在大范围、复杂的场景中快速定位出最吸引注意的内容。视觉显著性检测任务目的就是希望计算机也可以模拟人类的视觉注意机制，具备自动定位场景中显著性内容的能力，进而为后续处理提供有效的辅助信息。视觉显著性检测已经被广泛应用于检测、分割、裁剪、检索、编码、评价等诸多领域，具有十分广阔的市场发展和应用前景。实际上，人眼是通过双目立体视觉方式来感知客观世界的。换言之，人眼获取的信息不是单纯的2D平面信息，而是包含景深/深度信息的立体信息。从某种程度上说，深度信息是对颜色信息的补充，可以有效增强检测、识别的效果。目前，已有一些学者致力于研究RGBD图像的显著性检测算法。Ju等人从深度信息出发，提出了一种各向异性中心-周围差异(ACSD)测度来建立深度数据与显著性的关系，以此实现了RGBD显著性检测；Cong等人考虑深度图质量对显著性检测的影响，提出了基于深度置信测度和多线索融合的立体显著性检测方法。Feng等人提出了一种局部背景围绕(LBE)度量，用于直接从深度图中捕获显著性目标结构，并量化了位于背景之前的目标边界的比例。Qu等人设计了一种卷积神经网络来自动学习低级线索和显著性结果之间的相互作用关系以实现RGBD显著性检测。该方法首先将局部对比度、全局对比度、背景先验和空间先验组合得到原始显著性特征向量，然后将其嵌入到CNN中生成初始显著性图，最后引入拉普拉斯传播以进一步细化初始显著性图并得到最终结果。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：现有方法关注点多集中于设计一个完整的方法，而忽略了已有RGB显著性检测算法的优势；现有算法对于深度信息的利用并不全面，导致从深度图中获取的有效信息十分有限，影响算法性能；现有算法在优化部分并未充分挖掘深度信息的作用，导致检测结果的一致性和均匀性较差。
技术实现思路
本专利技术提供了一种RGB显著性到RGBD显著性的转换方法，本专利技术将现有RGB显著性检测算法生成的结果作为初始化，以直接和间接的形式挖掘深度信息，增强算法性能，详见下文描述：一种RGB显著性到RGBD显著性的转换方法，所述方法包括以下步骤：生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。其中，所述多级RGBD显著性包括：全局紧致显著性，用于结合颜色紧致性和深度紧致性，作为鲁棒全局表示；局部测地线显著性，用于在图模型上计算测地线距离，作为局部显著性表示。其中，所述根据深度域知识先验，通过深度值和深度对比特性修正显著性图具体为：根据深度域知识先验，通过深度值和深度对比特性修正显著性图；通过深度形状测度，从深度图中捕获目标形状属性并修正显著性区域。进一步地，所述深度域知识先验修正的显著性模型具体为：其中，SML(ri)表示超像素ri的多级RGBD显著性初始化值，di为超像素ri的平均深度值；SDC(ri)表示超像素ri的深度对比值，定义为：其中，N表示超像素个数，di为超像素ri的平均深度值，dj为超像素rj的平均深度值，Ed(ri,rj)表示超像素ri和rj之间欧式距离。其中，所述深度形状测度具体为：选择深度域知识先验修正后的具有高显著性值的若干个超像素作为初始显著性种子点；将初始显著性种子点中的更接近图像中心的若干个超像素区域确定为根传播种子，通过深度平滑性决策和深度一致性决策进行深度扩散，获取深度引导的显著性修正结果，得到深度形状测度。进一步地，所述深度平滑性决策具体为：用于约束上一次循环得到的子节点的深度值与当前循环节点的深度值具有近似的数值分布特性。其中，所述深度一致性决策具体为：用于防止经过多轮传播后产生累积误差效应，保证节点选择的准确性，约束当前循环选择的邻域节点的深度值尽可能与根种子点深度值接近。进一步地，所述深度引导的显著性修正结果具体为：SDR(ri)＝Ν[SDDK(ri)+DSM(ri)]其中，SDDK(ri)表示超像素ri的深度域知识先验修正的显著性值，表示由所有根节点生成的超像素ri的平均DSM值。其中，所述带深度约束的显著性优化具体为：基于能量函数优化的显著性优化，包括：一元数据项Eu用于约束优化后的显著性结果的变化程度；颜色平滑项Es用于约束颜色特性相近的相邻超像素具有一致的优化显著性值；深度平滑项Ec用于约束深度特性相近的相邻超像素具有一致的优化显著性值。本专利技术提供的技术方案的有益效果是：1、本专利技术可将现有RGB显著性检测结果转化为RGBD显著性检测结果，模型背景抑制能力强，显著性目标轮廓清晰、完整；2、本专利技术提出的深度形状测度可以有效捕获深度图的形状信息，有利于进一步修正RGBD显著性检测结果；3、本专利技术设计的模型具有较好的鲁棒性，同时算法运算速度较快，时效性较好；附图说明图1为一种RGB显著性到RGBD显著性的转换方法的流程图；图2为检测结果的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提供了一种RGB显著性到RGBD显著性的转换方法，参见图1，该方法包括以下步骤：101：利用现有的RGB显著性检测算法生成RGB显著性图；102：在RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；103：对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。实施例2下面结合具体的计算公式、图1对实施例1中的方案进行进一步地介绍，详见下文描述：一、多级RGBD显著性初始化由于缺乏深度信息，原始RGB显著性检测算法可能无法准确地突出显著性对象并有效地抑制背景区域。为了充分利用深度特征并保证模型的基本性能，本专利技术实施例提出了一种多级RGBD显著性模型来生成RGBD显着性初始化，其中全局紧致显著性线索结合了颜色紧致性和深度紧致性，用作一种鲁棒全局表示，局部测地线显著性线索在图模型基础上从局部角度测量显著性。为了计算有效性，本专利技术实施例以超像素为基本处理单元，利用SLIC(简单线性迭代聚类)方法将输入RGB图像I划分为200个超像素区域，记为N为超像素个数。两个超像素之间的颜色空间和深度空间的相似性定义为：其中，表示超像素ri和rj之间的Lab空间颜色相似性，表示超像素ri和rj之间的深度相似性，ci为超像素ri的平均Lab颜色特征向量，cj为超像素rj的平均Lab颜色特征向量，di为超像素ri的平均深度值，dj为超像素rj的平均本文档来自技高网...

【技术保护点】
1.一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述方法包括以下步骤：生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。

【技术特征摘要】
1.一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述方法包括以下步骤：生成RGB显著性图，在所述RGB显著性图基础上通过多级RGBD显著性初始化得到初始RGBD显著性图；对初始RGBD显著性图进行深度信息引导的显著性修正，通过带深度约束的显著性优化模型生成最终的RGBD显著性图。2.根据权利要求1所述的一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述多级RGBD显著性包括：全局紧致显著性，用于结合颜色紧致性和深度紧致性，作为鲁棒全局表示；局部测地线显著性，用于在图模型上计算测地线距离，作为局部显著性表示。3.根据权利要求1所述的一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述对初始RGBD显著性图进行深度信息引导的显著性修正具体为：根据深度域知识先验，通过深度值和深度对比特性修正显著性图；通过深度形状测度，从深度图中捕获目标形状属性并修正显著性区域。4.根据权利要求3所述的一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述根据深度域知识先验，通过深度值和深度对比特性修正显著性图具体为：其中，SML(ri)表示超像素ri的多级RGBD显著性初始化值，di为超像素ri的平均深度值；SDC(ri)表示超像素ri的深度对比值，定义为：其中，N表示超像素个数，di为超像素ri的平均深度值，dj为超像素rj的平均深度值，Ed(ri,rj)表示超像素ri和rj之间欧式距离。5.根据权利要求3所述的一种RGB显著性到RGBD显著性的转换方法，其特征在于，所述深...

【专利技术属性】
技术研发人员：雷建军，丛润民，侯春萍，张静，范晓婷，彭勃，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12