一种基于深度学习的RGB-D显著性目标检测方法技术

本发明专利技术公开了一种基于深度学习的RGB‑D显著性目标检测方法，包括：引入单目深度估计网络生成增强深度图作为原始深度图的补充，将两种深度图送入深度图特征提取流进行特征提取，对深度图特征进行自适应地择优选择，获取优化后的各级深度图特征；将RGB特征和深度图特征在两个置信度图的指导下进行融合，将RGB特征、深度图特征和融合特征进行级联和进一步融合，获得更新的RGBD融合特征；设计置信度图的迭代更新策略，考虑上一级的置信度图、当前级的单模态特征以及当前级的跨模态特征，生成更新的置信度图；使用交叉熵损失函数来对网络输出的每一级置信度图和最终的显著性结果进行监督，训练交叉熵损失函数，基于训练后的网络实现。

【技术实现步骤摘要】
一种基于深度学习的RGB-D显著性目标检测方法
本专利技术涉及深度学习、图像显著性目标检测领域，尤其涉及一种基于深度学习的RGB-D(彩色图像和深度图像)显著性目标检测方法。
技术介绍
显著性目标检测旨在自动识别不同场景中的显著性区域，已广泛地应用于图像分割、重定向等任务。近年来，使用彩色图进行显著性目标检测成为较普遍的方式。实际上，人类视觉系统具有感知场景中深度信息的能力，深度信息可以应用于显著性目标检测任务中。随着采集设备的快速发展，深度图的获取变得越来越便捷，促进了RGB-D显著性目标检测的研究。深度图中包含目标的形状和几何空间结构等隐含属性，这些线索能够提高显著性目标的辨别力，提升显著性检测的性能，但采集的深度图常存在分辨率低、质量差异大的问题；另一方面当前RGB-D显著性检测方法大多没有建模跨模态特征之间的互补性。因此，研究RGB-D显著性检测方法，探索如何从深度图中提取有效特征以及如何有效融合RGB图像和深度信息具有重要意义。得益于深度学习在监督学习任务中的成功，近年来基于深度学习的RGB-D显著性目标检测方法开始受本文档来自技高网...

【技术保护点】
1.一种基于深度学习的RGB-D显著性目标检测方法，其特征在于，所述方法包括：/n引入单目深度估计网络生成增强深度图作为原始深度图的补充，将两种深度图送入深度图特征提取流进行特征提取，对深度图特征进行自适应地择优选择，获取优化后的各级深度图特征；/n将RGB特征和深度图特征在两个置信度图的指导下进行融合，得到互补区域的融合特征；并将RGB特征、深度图特征和融合特征进行级联和进一步融合，获得更新的RGBD融合特征；/n设计置信度图的迭代更新策略，考虑上一级的置信度图、当前级的单模态特征以及当前级的跨模态特征，生成更新的置信度图；/n使用交叉熵损失函数来对网络输出的每一级置信度图和最终的显著性结果...

【技术特征摘要】
1.一种基于深度学习的RGB-D显著性目标检测方法，其特征在于，所述方法包括：
引入单目深度估计网络生成增强深度图作为原始深度图的补充，将两种深度图送入深度图特征提取流进行特征提取，对深度图特征进行自适应地择优选择，获取优化后的各级深度图特征；
将RGB特征和深度图特征在两个置信度图的指导下进行融合，得到互补区域的融合特征；并将RGB特征、深度图特征和融合特征进行级联和进一步融合，获得更新的RGBD融合特征；
设计置信度图的迭代更新策略，考虑上一级的置信度图、当前级的单模态特征以及当前级的跨模态特征，生成更新的置信度图；
使用交叉熵损失函数来对网络输出的每一级置信度图和最终的显著性结果进行监督，训练交叉熵损失函数，基于训练后的网络实现。


2.根据权利要求1所述的一种基于深度学习的RGB-D显著性目标...

【专利技术属性】
技术研发人员：雷建军，张明亮，彭勃，祝新鑫，潘兆庆，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12