一种基于多模态特征融合的RGB-D图像语义分割方法技术

本发明专利技术属于计算机视觉领域，具体涉及一种基于多模态特征融合的RGB

【技术实现步骤摘要】
一种基于多模态特征融合的RGB
‑
D图像语义分割方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于多模态特征融合的RGB
‑
D图像语义分割方法。

技术介绍

[0002]图像语义分割是计算机视觉领域重点研究的基础任务，目的是为图像的每个像素分配一个类别标签，实现像素级的场景理解，广泛应用于医学影像、自动驾驶、人脸识别、目标检测等方面。一般情况下，由于室内场景环境复杂、物体杂乱且琐碎、遮挡严重，对分割算法的性能要求更高且更具有挑战性。根据是否应用深度神经网络，图像语义分割方法可划分为传统方法和基于深度学习的方法，其中传统方法可分为基于阈值、边缘、区域、聚类、图论及特定理论等六类方法。而需要大量语义信息的分割任务不适合采用传统的图像分割方法，因此将深度学习引入到图像分割领域的方法应运而生，此方法可以充分利用图像的语义信息。
[0003]早期的图像分割方法是从彩色图像(RGB图像)中提取特征信息进行分割。2014年Long等人提出了全卷积神经网络(FCN)，可以使用任意尺寸的图像作为输入数据，是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的RGB
‑
D图像语义分割方法，其特征在于，包括以下步骤：步骤1，数据预处理，将单通道的深度图像转化为三通道的HHA图像；步骤2，将RGB和HHA图像作为输入数据，输入注意力引导多模态交叉融合分割网络模型，所述模型遵循编码器
‑
解码器结构，所述编码器从输入中提取语义特征，所述解码器采用上采样技术恢复输入分辨率，为每个输入像素分配一个语义类别。2.根据权利要求1所述的一种基于多模态特征融合的RGB
‑
D图像语义分割方法，其特征在于，所述步骤1中三通道分别表示水平视差高于地面的高度、像素的局部表面法线、推断的重力方向的角度。3.根据权利要求1所述的一种基于多模态特征融合的RGB
‑
D图像语义分割方法，其特征在于，所述步骤2中编码器对RGB和HHA图像使用非对称双流分支，包括RGB编码器和深度编码器，所述RGB编码器和深度编码器分别以ResNet
‑
101网络和ResNet
‑
50网络作为主干网络，所述ResNet
‑
101网络和ResNet
‑
50网络均包括7
×
7卷积、最大池化操作和Stage1、Stage2、Stage3和Stage4四个阶段，并且改进组成主干网络的基本块，即在Bottleneck中加入Maxpool并行模块，记为MP_Bottleneck，通过增加网络宽度的方式提高特征提取性能，如式(1)所示：FE_out＝W3(Cat(W2(W1(Fin)),M_P(W1(Fin))
ꢀꢀꢀꢀ
(1)其中，F
in
∈R
H
×
W
×
C
，H、W和C分别表示特征图的高度、宽度和通道数，W1，W2，W3分别表示1
×
1，3
×
3，1
×
1卷积操作，Cat表示拼接操作，M_P表示最大池化操作，F
E_out
表示ResNet网络每阶段的输出。4.根据权利要求3所述的一种基于多模态特征融合的RGB
‑
D图像语义分割方法，其特征在于，在所述RGB编码器的Stage1、Stage2、Stage3、Stage4四个阶段添加全局特征提取模块，使用全局特征提取模块处理F
E_out
提取全局特征，并且将最终的全局特征和局部特征通过相加的方式结合起来，组成全局
‑
局部特征提取模块，上述过程如式(2)～(4)所示：F
GL
＝F
E_out
+GC(F
E_out
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)GC＝x+Conv1
×
1(ReLu(LN(Conv1
×
1(y))))
ꢀꢀꢀꢀ
(3)y＝x
×
SoftMax(Conv1
×
1(x))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，x表示全局特征提取模块模块的输入，GC表示全局特征，F
GL
表示全局
‑
局部特征，Conv1×1表示1
×
1卷积操作，LN表示批归一化操作。5.根据权利要求4所述的一种基于多模态特征融合的RGB
‑
D图像语义分割方法，其特征在于，所述编码器还包括特征融合模块，在7
×
7卷积和每个阶段之后均进行RGB特征和深度特征的融合，并且将融合后的特征传输到RGB编码器和深度编码器，在编码器的每个阶段分别对RGB特征和深度特征重新加权，并在所述特征融合模块引入注意力机制，在通道和空间维度上进行注意力操作，如式(5)～(8)所示：F
a_r...

【专利技术属性】
技术研发人员：杨晓文，靳瑜昕，韩慧妍，张元，庞敏，韩燮，
申请(专利权)人：中北大学，
类型：发明
国别省市：