一种基于空间关系的RGB-D图像语义分割方法技术

本发明专利技术公开了一种基于空间关系的RGB‑D图像语义分割方法，该方法以Deeplab‑v3作为基础模型构建语义分割网络，包括特征提取模块、空间关系相似度损失模块、解码器模块和损失函数模块。针对室内场景的RGB‑D图像进行语义分割，通过深度学习网络有效融合RGB信息与Depth信息，在骨干网络中引入空间关系相似度。本发明专利技术是在网络结构并行设计的基础上，通过计算深度信息与RGB信息的区域性特征值与相似性程度的度量，辅助提升深度与RGB信息的融合效果。本发明专利技术仅依赖于能够提供RGB数据和深度数据的传感器设备，方法简便，是基于Kinect、Xtion等体感设备应用中图像匹配的有效方法。

【技术实现步骤摘要】
一种基于空间关系的RGB-D图像语义分割方法
本专利技术属于计算机图像处理领域，尤其涉及一种基于空间关系的RGB-D图像语义分割方法。
技术介绍
语义分割是计算机视觉中非常重要的一个应用，被广泛运用在机器人、自动驾驶、安防监控等诸多领域。相较于传统的RGB解决方案，RGB-D传感器能够提供包括色彩、深度的多模信息。在色彩边界不明显、纹理特征弱、目标深度不一致等场景中，深度信息对语义分割有很强的指导作用。基于这一原理，利用RGB-D信息的语义分割方法能得到优于传统方法的分割效果。现有的RGB-D融合方案主要可以分为2D多模语义融合、网络结构并行设计和3D点云空间映射三类。其中，2D多模语义融合和网络结构并行设计分别通过人工发掘、网络提取的方式指导深度与RGB信息的融合，融合效果受限；3D点云空间映射方法则带来了大量的计算开销。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于空间关系的RGB-D图像语义分割方法。本专利技术的目的是通过以下技术方案来实现的：一种基于空间关系的RGB-D图本文档来自技高网...

【技术保护点】
1.一种基于空间关系的RGB-D图像语义分割方法，其特征在于，包括以下步骤：/n（1）以Deeplab-v3作为基础模型构建语义分割网络，包括特征提取模块、空间关系相似度损失模块、解码器模块和损失函数模块；输入为RGB-D图像，输出为语义分类得分图；/n（2）训练步骤（1）构建的语义分割网络；/n（3）输入RGB-D待测试图像到步骤（2）训练的语义分割网络，以输出的语义分类得分图中最大得分类别作为各像素点类别，得到语义分割图像。/n

【技术特征摘要】
1.一种基于空间关系的RGB-D图像语义分割方法，其特征在于，包括以下步骤：
（1）以Deeplab-v3作为基础模型构建语义分割网络，包括特征提取模块、空间关系相似度损失模块、解码器模块和损失函数模块；输入为RGB-D图像，输出为语义分类得分图；
（2）训练步骤（1）构建的语义分割网络；
（3）输入RGB-D待测试图像到步骤（2）训练的语义分割网络，以输出的语义分类得分图中最大得分类别作为各像素点类别，得到语义分割图像。


2.如权利要求1所述基于空间关系的RGB-D图像语义分割方法，其特征在于，所述特征提取模块为：将Resnet101作为特征提取模块的骨干网络，构建并行的RGB与深度两个分支，结构保持一致。


3.如权利要求2所述基于空间关系的RGB-D图像语义分割方法，其特征在于，所述步骤（2）的训练过程中，使用随机翻转、剪裁、gamma值变换方法进行数据增强；模型中的RGB与深度分支对应的主干网络都加载ImageNet的预训练参数；并使用反向传播算法训练该模型。


4.如权利要求2所述基于空间关系的RGB-D图像语义分割方法，其特征在于，所述空间关系相似度损失模块的构建包括以下子步骤：
（a1）分别提取RGB与深度分支网络中的b个子模块的输出特征，构建多组成对关系fi：

f

i
={fi,rgb,fi,dep}
其中，，b表示选取的子模块数；是RGB分支第i个模块的输出特征，是深度分支第i个模块的输出特征；
（a2）分别将每组内的RGB、深度特征转变为特征区域：



其中，函数p(x)表示基于原特征尺度下采样的全局池化操作；、是、对应的特征区域；
（a3）计算成对特征区域对应的自相关空间特征：





...

【专利技术属性】
技术研发人员：张健，费哲遥，李月华，谢天，朱世强，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33