【技术实现步骤摘要】
本专利技术涉及深度学习领域，更具体涉及基于渐进式多尺度特征融合的rgb-d显著性检测方法
技术介绍
1、rgb-d显著目标检测(sod)是一项计算机视觉任务，旨在通过分析rgb图像和深度图像的互补信息，实现显著目标的精确分割。当前，大多数rgb-d sod模型在主干网络设计上采用单流或双流结构，其中双流结构因其在跨模态信息捕捉上的优势而被广泛采用。现有模型通常基于卷积神经网络(cnn)提取图像特征，取得了较好的检测效果。然而，cnn基于滑动窗口的特征提取方式存在固有局限，难以有效捕获图像中的全局特征，导致对长距离上下文依赖关系的建模能力不足，从而限制了检测性能。
2、随着vision transformer(vit)的提出，其强大的全局建模能力为显著目标检测提供了新的思路。一些研究人员尝试将传统cnn主干替换为基于transformer的主干，进一步提升了检测效果。然而，如何有效地融合rgb特征与深度特征的互补信息，仍然是rgb-dsod领域的核心难题之一。现有方法大多通过多路径融合、跨层次交互以及增加额外的特征增强模块等方...
【技术保护点】
1.基于渐进式多尺度特征融合的RGB-D显著性检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于渐进式多尺度特征融合的RGB-D显著性检测方法，其特征在于，步骤1的具体方法为：从公开的数据集NJU2K、NLPR、DUT中分别选取1485组、700组、800组，共2985组图像作为训练集，每一组图像包括RGB图像、深度图像和显著性真实图像三张图片。从公开的数据集DES、DUT、LFSD、NJU2K、NLPR、SIP中分别选取135组、400组、100组、500组、300组、929组图像分别作为对比测试集；实施中可针对特定的应用对象，更换训练和
...【技术特征摘要】
1.基于渐进式多尺度特征融合的rgb-d显著性检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于渐进式多尺度特征融合的rgb-d显著性检测方法，其特征在于，步骤1的具体方法为：从公开的数据集nju2k、nlpr、dut中分别选取1485组、700组、800组，共2985组图像作为训练集，每一组图像包括rgb图像、深度图像和显著性真实图像三张图片。从公开的数据集des、dut、lfsd、nju2k、nlpr、sip中分别选取135组、400组、100组、500组、300组、929组图像分别作为对比测试集；实施中可针对特定的应用对象，更换训练和测试数据集。
3.根据权利要求1所述的基于渐进式多尺度特征融合的rgb-d显著性检测方法，其特征在于，步骤2的具体方法为：采用swin-b版本的对称的双流swin-transformer作为主干网络，分别处理rgb图像和深度图像。提取模型训练过程中四个阶段的不同尺度的rgb图像特征和深度图像特征，分别记为和i∈(1,4)。
4.根据权利要求1所述的基于渐进式多尺度特征融合的rgb-d显著性检测方法，其特征在于，所述步骤3中，交叉注意力融合模块的作用是将高层特征上采样恢复其像素，再与低层的特征进行拼接(第四层与自己本身拼接)，从而将相邻的和融合成接着，拼接和得到fii∈(1,4)；对fi计算一次空间坐标注意力，将得到坐标注意力图与fi相乘得到坐标注意力特征i∈(1,4)；再对其计算一次空间注意力，将得到空间注意力图与fi相乘得到多级跨模态融合特征i∈(1,4)。
5.根据权利要求4所述的基于渐进式多尺度特征融合的rgb-d显著性检测方法，其特征在于，步骤3具体包括：交叉注意力融合模块包含坐标注意...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。