一种基于多级特征和上下文信息融合的RGB-D显著性目标检测方法技术

本发明专利技术属于计算机视觉领域，公开了一种基于多级特征和上下文信息融合的RGB

【技术实现步骤摘要】
一种基于多级特征和上下文信息融合的RGB
‑
D显著性目标检测方法


[0001]本专利技术涉及计算机视觉和图像处理领域，特别地涉及一种基于多级特征和上下文信息融合的RGB
‑
D显著性目标检测方法。

技术介绍

[0002]近年来，随着互联网的快速发展，智能手机等移动设备越来越普及，语言和文字已经不足以表示信息的丰富程度，图像和视频随之大量进入我们的生活，被越来越多的人接触到。海量的图像数据为我们的生活提供了便利，然而，信息冗余也随着这些便利接踵而来。作为人类，对图像天然敏感，可以快速准确的识别场景中最直观的前景目标，即显著目标。然而，计算机在识别图像中显著性目标是很有挑战性的，如果能够有效的将显著目标和背景区域相互分开，并优先分配有限的计算资源进行后续图像的处理，将很好地缓解计算机资源有限的情况。
[0003]受人类视觉注意力机制的启发，显著性目标检测旨在从现实世界场景中的输入图像中识别最吸引人的物体或区域。作为一种预处理技术，显著性目标检测已广泛应用于许多相关的计算机视觉任务，如对象检测、语义分割、视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级特征和上下文信息融合的RGB
‑
D显著性目标检测方法，其特征在于，该方法包括以下步骤：(1)将VGG
‑
16作为主干框架对RGB图像和深度图像提取多尺度信息然后进行编码；(2)利用提出的细节增强融合模块和语义增强融合模块分别融合低层特征中的细节信息和高层特征中的语义信息；(3)用多尺度感受野增强模块来获得网络中丰富的上下文信息；(4)构建密集连接特征金字塔解码器，将这些特征输入到解码器中生成显著性结果。2.根据权利要求1所述的一种基于多级特征和上下文信息融合的RGB
‑
D显著性目标检测方法，其特征在于：所述步骤(1)具体方法是：2.1)随机选取NLPR数据集的700个样本、NJU2K数据集的1485个样本和DUT数据集的800个样本作为训练集，将前三个数据集剩余样本及RGBD135和STERE数据集样本归类为测试集；2.2)将预训练好得到VGG
‑
16作为主干框架从输入的RGB图像和深度图像提取特征，然后对特征进行编码。3.根据权利要求1所述的一种基于多级特征和上下文信息融合的RGB
‑
D显著性目标检测方法，其特征在于：所述步骤(2)具体方法是：3.1)为了在每一层提取更有效的特征用于显著性目标检测，提出了细节增强融合模块(DEFM)融合前两层的特征，以更好地细化显著性边界，使用语义增强融合模块(SEFM)融合后三层的特征，来粗略定位显著对象；3.2)前两层的特征由细节增强融合模块来进行融合，使用通道注意力和空间注意力机制来生成增强后的特征，然后再通过元素级联两个增强后的特征，生成新的融合特征，描述如下：如下：如下：其中和分别表示来自RGB和深度流的i层特征，Conv3×3表示核为3
×
3的卷积运算。CA(
·
)和SA(
·
)表示通道注意力和空间注意力，F
i+1
表示来自第i+1个融合模块的输出特征；3.3)后三...

【专利技术属性】
技术研发人员：夏晨星，陈迪逢，陈玉婷，葛斌，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：