一种基于跨模态双向互补网络的RGB-D显著性目标检测方法技术

本发明专利技术提供一种基于跨模态双向互补网络的RGB

【技术实现步骤摘要】
一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法

：
[0001]本专利技术涉及计算机视觉和图像处理领域，特别地涉及一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法。

技术介绍
：
[0002]显著性目标检测的目标是识别并分割出给定场景(比如、图片、RGB
‑
D图片、视频等)中最引人注目的目标或者区域。作为最重要也是最基础的计算机视觉任务之一，它被广泛地应用到许多计算机视觉的下游任务中、比如图像检索、视觉跟踪、语义分割、目标检测和医学图像处理等领域。
[0003]基于RGB图像的显著性目标检测已经得到充分的探索和挖掘，对一些比较简单的图像场景能够取得较为满意的效果。但面对一些复杂场景时(比如，复杂背景、低对比度、透明目标、多目标场景和显著目标与背景高度相似场景等)，基于RGB图像的显著性目标检测不能够取得令人满意的效果。为了解决这个问题，研究人员尝试将depth信息引入到显著性目标检测领域，通过结合RGB图像和depth图像构成RGB
‑<br/>D图像进行显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法，其特征在于，包括用于训练和测试的图像样本的采集和整理，双流解码器的构建，跨模态特征双向互补充机制，跨模态特征整合模块以及深层特征指导的解码器。2.根据权利要求1所述一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法，其特征在于所使用的数据包括DUT
‑
RGB数据集，NJU2K数据集，NLPR数据集，LFSD数据集，RGBD135数据集，单个样本分为RGB图像P
RGB
，深度图像P
depth
，和人工标注的显著目标分割图像P
GT
。训练集是由DUT数据集中的800样本，NJU2K数据集中的1400样本和NLPR数据集中的650样本构成的2985个样本集，剩余样本作为测试集。3.根据权利要求1所述一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法，其特征在于双流解码器使用VGG作为主干网络用于提取RGB和depth特征。其中VGG16网络最后的池化层和全连接层被移除，剩余的5个卷积层被保留，使用ImageNet数据集上预训练的VGG16参数权重初始化本发明的用于构建主干网络的VGG16权重。将提取到的RGB和depth特征分别记为征分别记为和4.根据权利要求3所述一种基于跨模态双向互补网络的RGB
‑
D显著性目标检测方法，其特征在于所述的跨模态特征双向互补充机制由两部分组成：depth引导互补增强模块和RGB感知互补增强模块。4.1)depth引导互补增强模块利用depth特征去补充RGB特征，通过depth所包含的空间分布和边缘信息去增强RGB特征。4.1.1)首先，利用空间注意力和通道注意力分别生成空间权重和通道权重。其次，通过并行的方式将空间权重和通道权重结合生成一个增强权重：重和通道权重结合生成一个增强权重：重和通道权重结合生成一个增强权重：其中，i∈{1，2，3，4，5}表示编码器的第i层，和分别表示第i层的depth引导互补增强模块中的空间权重和通道权重，表示增强权重，Cohv
s
和Cohv
t
分别表示用于压缩通道和转换通道的1
×
1卷积操作，GAP表示全局平均池化操作,Sigmoid表示sigmoid激活函数。4.1.2)基于步骤3.1.1所生成的增强权重，利用该权重结合跨模态特征，在经过一个残差连接操作，得到强化之后的RGB特征：其中，表示经过depth引导互补增强模块之后强化的RGB特征。4.2)基于步骤3.1所得到的强化后的RGB特征反过来用于增强depth特征，并设计一个RGB感知互补增强模块，利用被跨模态特征增强的RGB特征反过来用于强化depth特征。4.2.1)利用通道注意力从空间对跨模态的特征进行过滤和强化：
其中，表示第i层的RGB感知互补增强模块中的通道权重，表示经过通道注意力强化后的跨模态特征。4.2.2)利用与通道注意力机...

【专利技术属性】
技术研发人员：段松松，夏晨星，黄荣梅，孙延光，段秀真，王晶晶，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：