一种RGB-D图像显著目标检测方法技术

本发明专利技术公开了一种RGB

【技术实现步骤摘要】
一种RGB
‑
D图像显著目标检测方法


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种利用三个Transformer增强高层特征的RGB
‑
D图像显著目标检测方法。

技术介绍

[0002]RGB
‑
D图像是由RGB颜色图像和Depth深度图像组成，表达了某一场景的外观特点及三维信息。目前RGB
‑
D图像显著目标检测方法存在两种多模态融合方法，一种是双流融合，同等看待颜色和深度图像，另一种是深度指导的融合，以颜色图像为主，深度图像为辅。鉴于存在一些质量较差的深度图像，采用双流融合，可能扩大深度误差，给最终的显著目标检测结果带来不利的影响。因此深度指导的融合是一种更好的融合方法。
[0003]图像显著目标检测属于像素级别的密集预测任务，它通常使用VGG或ResNet等主干网络实现多层特征提取，然后由解码器通过逐层上采样并结合多层特征产生最终的显著图。文献《Cascaded partial decoder for fast and accurate salient本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RGB
‑
D图像显著目标检测方法，其特征在于，该方法包括以下步骤：S1、提取RGB图像特征，同时提取Depth图像特征，并将Depth图像特征与RGB图像特征进行融合，形成RGBD融合特征，进一步将其分为高层RGBD融合特征和低层RGBD融合特征；S2、利用三个Transformer增强所述高层RGBD融合特征，形成高层RGBD增强特征；S3、三流解码所述高层RGBD增强特征，通过与低层RGBD融合特征的结合，加强显著物体边缘细节信息，形成体现全局和局部特性的RGBD细化特征；S4、融合所述RGBD细化特征形成显著图。2.根据权利要求1所述的一种RGB
‑
D图像显著目标检测方法，其特征在于，在所述步骤S1中，提取RGB图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像颜色特征，形成类似地，提取Depth图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像深度特征，形成其中i对应于ResNet50的层数，i取值为1至5的自然数；所述深度过滤残差模块，首先将Depth图像与RGB图像进行级联，再经过通道注意力层，形成通道注意力掩码，通过与Depth图像特征逐元素相乘，得到通道过滤后的Depth特征；接着通道过滤后的Depth特征，经过空间注意力层，形成空间注意力掩码，通过与Depth图像特征逐元素相乘，得到空间过滤后的Depth特征；将所述空间过滤后的Depth特征以残差形式附加到RGB图像特征上，形成RGBD融合特征所述方法描述为：所述Cat(
·
)表示级联和卷积操作，CA(
·
)操作是指论文《CBAM：Convolutional Block Attention Module》中所提出的通道注意力模块，SA(
·
)操作是指论文《CBAM：Convolutional BlockAttention Module》中所提出的空间注意力模块，
“×”
是指逐元素相乘操作，“+”是指逐元素相加操作；根据i的不同，将记为低层RGBD融合特征，将记为高层RGBD融合特征。3.根据权利要求1所述的一种RGB
‑
D图像显著目标检测方法，其特征在于，在步骤S2中，利用三个Transformer增强所述高层RGBD融合特征，形成高层R...

【专利技术属性】
技术研发人员：刘政怡，汪远，张志立，檀亚诚，姚晟，
申请(专利权)人：安徽大学，
类型：发明
国别省市：