基于特征增强和全局特征融合的RGB-D语义分割方法技术

技术编号:42128579 阅读:25 留言:0更新日期:2024-07-25 00:44
本发明专利技术提供一种基于特征增强和全局特征融合的RGB‑D语义分割方法,属于计算机视觉和计算机图形学领域。该方法基于编码器‑解码器的网络结构对图像进行语义分割预测,在编码器浅层网络引入特征增强模块,利用通道注意力机制将深度分支提取到的特征信息融合到RGB分支中,增强RGB信息在浅层网络中的特征表达能力,在深层网络引入基于交叉注意力机制和混合通道嵌入相互交织的全局特征融合模块,利用深层网络的复杂语义信息,实现远程上下文交换,获得丰富的全局信息,提高语义分割准确性。本发明专利技术通过在浅层网络和深层网络使用不同的基于注意力机制的融合方式,对RGB特征和深度特征进行多阶段互补利用,从而提升语义分割的准确性。

【技术实现步骤摘要】

本申请属于计算机视觉和计算机图形学领域,具体而言,涉及基于特征增强和全局特征融合的rgb-d语义分割方法。


技术介绍

1、图像语义分割是一种像素级别的分类任务,通过对图像中每个像素点的语义含义进行分类,并为每个类别分配不同的语义标签。作为图像处理中场景理解的重要组成部分,根据场景类型可以分为室外场景语义分割和室内场景语义分割。室外场景具有类别少、易区分等优点,该类场景的语义分割技术目前已经比较成熟。而室内场景具有语义类别多、物体特征不突出、光照不均匀等问题,使得室内场景语义分割研究极具挑战性。

2、随着深度传感器的广泛应用,场景的深度信息可以更方便地获取,采集的图像信息从彩色信息扩展到rgb-d信息。rgb图像捕获投影图像空间中的光度外观属性,深度数据可以自然地描述三维几何信息,反映场景中物体的结构,可以作为rgb数据的补充形态,其作为一个独立于室内光照条件的通道,可以有效解决室内场景语义标注问题。由于环境的复杂性、深度不准确的影响以及多模态信息的联合推理,rgb图像和深度图像本身差异明显,如何充分利用深度信息,让深度图有效地给rgb图以语义补本文档来自技高网...

【技术保护点】

1.基于特征增强和全局特征融合的RGB-D语义分割方法,其特征在于,针对不同阶段网络采用不同的方法对RGB特征和深度特征进行融合,所述方法包括以下步骤:

2.根据权利要求1所述的基于特征增强和全局特征融合的RGB-D语义分割方法,其特征在于:所述在编码器的前三个阶段使用特征增强模块将深度特征融合到RGB分支,具体如下:

3.根据权利要求1所述的基于特征增强和全局特征融合的RGB-D语义分割方法,其特征在于:所述在编码器最后一个阶段网络使用基于交叉注意力机制和混合通道嵌入相互交织的全局特征融合模块对RGB特征和深度特征进行融合,具体包括:

4.根据权利要...

【技术特征摘要】

1.基于特征增强和全局特征融合的rgb-d语义分割方法,其特征在于,针对不同阶段网络采用不同的方法对rgb特征和深度特征进行融合,所述方法包括以下步骤:

2.根据权利要求1所述的基于特征增强和全局特征融合的rgb-d语义分割方法,其特征在于:所述在编码器的前三个阶段使用特征增强模块将深度特征融合到rgb分支,具体如下:

3.根据权利要求1所述的基于特征增...

【专利技术属性】
技术研发人员:王晨杜晨曦宋军豪
申请(专利权)人:北京工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1