基于特征协同与多尺度特征融合的RGB-D语义分割方法技术

本发明专利技术提供一种基于特征协同与多尺度特征融合的RGB‑D语义分割方法，属于计算机视觉和计算机图形学领域。该方法基于编码器‑解码器的网络结构对图像进行语义分割预测，在网络的每个阶段利用多种注意力机制实现多模态特征校正与融合，优化和增强输入数据的特征表示，并在解码器中使用自顶向下多尺度特征融合策略。通过多种注意力机制，模型能够有效捕捉全局特征与局部特征，实现同一尺度下不同模态信息的融合，并促进不同尺度下特征的精细聚合。本发明专利技术应用多种注意力机制实现多模态特征的协同与多尺度特征的融合，有效解决了RGB和深度信息之间的差异、数据中的噪声干扰，以及网络提取过程中细节信息的丢失问题。

【技术实现步骤摘要】

本申请属于计算机视觉和计算机图形学领域，具体而言，涉及基于特征协同与多尺度特征融合的rgb-d语义分割方法。

技术介绍

1、图像语义分割是计算机视觉领域中一项关键技术，它的目标是将图像中的每个像素分配给一个类别标签，从而理解图像中每个像素的语义含义。室内语义分割则专注于解析室内环境，对室内场景图像进行像素级的分析，为每个像素指定正确的类别标签，实现对图像中各个物体和表面的细致识别。在室内场景的语义分割过程中，研究人员常常需要应对一系列挑战，如室内光照的不均匀性、繁多的物体类别、物体间的相互遮挡，以及相似的表面纹理等。这些因素都增加了实现高精度分割的难度。

2、深度图像包含丰富的几何信息，有利于解析空间结构和物体布局，将深度图像整合到语义分割网络中，与rgb图像相结合，丰富了网络的输入维度，提升了网络区分图像中的混淆区域的能力。此外，深度图像的引入还有助于克服rgb图像在低光照或纹理稀疏环境下的性能下降问题。通过结合两种模态的优势，网络能够更加稳健地处理各种环境条件，提供更加精确可靠的分割结果。

3、注意力机制是目前融合rgb与深度图本文档来自技高网...

【技术保护点】

1.基于特征协同与多尺度特征融合的RGB-D语义分割方法，其特征在于，包括：

2.根据权利要求1所述的基于特征协同与多尺度特征融合的RGB-D语义分割方法，其特征在于：所述使用双分支网络提取RGB与深度特征，逐层实现特征交互，并在解码器中进行多尺度特征融合，具体如下：

3.根据权利要求1所述的基于特征协同与多尺度特征融合的RGB-D语义分割方法，其特征在于：所述对每个阶段提取到的多模态特征利用模态差异与互补信息进行特征校正，具体如下：

4.根据权利要求1所述的基于特征协同与多尺度特征融合的RGB-D语义分割方法，其特征在于：所述使用交叉注意力机制对经过...

【技术特征摘要】

1.基于特征协同与多尺度特征融合的rgb-d语义分割方法，其特征在于，包括：

2.根据权利要求1所述的基于特征协同与多尺度特征融合的rgb-d语义分割方法，其特征在于：所述使用双分支网络提取rgb与深度特征，逐层实现特征交互，并在解码器中进行多尺度特征融合，具体如下：

3.根据权利要求1所述的基于特征协同与多尺度特征融合的rgb-d语义分割方法，其特征在于：所述对每个阶段提取到的多模态特征利用模态差异与...

【专利技术属性】
技术研发人员：王晨，杜晨曦，宋军豪，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：