一种针对RGB-D图像的语义分割方法及装置制造方法及图纸

本发明专利技术实施例提供了一种针对RGB‑D图像的语义分割方法及装置。所述方法包括：获得待语义分割的RGB‑D图像；将RGB‑D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到RGB‑D图像对应的目标标识图像；其中，RGB图像输入至神经网络的分支网络组中的一个分支网络层，深度图像输入至分支网络组中的另一个分支网络层；神经网络包括：顺次连接的分支网络组、特征融合网络层和输出网络层，神经网络是根据样本RGB‑D图像、样本RGB‑D图像对应的样本标识图像训练得到，任一样本RGB‑D图像对应的样本标识图像为：该样本RGB‑D图像所包括的样本RGB图像对应的语义分割结果。应用本发明专利技术实施例，能够实现利用神经网络对RGB‑D图像进行有效的语义分割的目的。

【技术实现步骤摘要】
一种针对RGB-D图像的语义分割方法及装置
本专利技术涉及图像处理领域，特别是涉及一种针对RGB-D图像的语义分割方法及装置。
技术介绍
近年来，SLAM(SimultaneousLocationAndMapping，即时定位与重建)系统发展迅速，该系统主要用于机器人自主定位与导航等领域。具体的，SLAM系统利用RGB-D图像，进行特征提取和匹配等处理，实现构建三维地图和实时定位的目的。所谓的RGB-D图像是两幅图像：一个是RGB图像(具有红绿蓝三通道的图像)，另一个是深度图像(depthimage)。其中，深度图像类似于灰度图像，它的每个像素值是传感器距离物体的实际距离，并且，通常RGB图像和深度图像的像素点是一一对应的。为了提升构建的三维地图的可用性，研究人员基于语义分割技术提出了语义地图的概念，语义分割是指将图像中的内容进行像素级分割并且识别出物体的类别，语义地图即在构建的三维点云中分割和识别环境中的物体。由于近年来深度学习在语义分割上取得的迅猛发展和良好效果，对于SLAM系统，研究人员期望能够利用深度学习中的神经网络进行RGB-D图像的语义分割。因此，针对上述需求，如何利用神本文档来自技高网...

【技术保护点】
1.一种针对RGB‑D图像的语义分割方法，其特征在于，包括：获得待语义分割的RGB‑D图像，所述RGB‑D图像包括：红绿蓝三通道RGB图像和所述RGB图像对应的深度图像；将所述RGB‑D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到所述RGB‑D图像对应的目标标识图像；其中，所述RGB图像输入至所述神经网络的分支网络组中的一个分支网络层，所述深度图像输入至所述分支网络组中的另一个分支网络层；其中，所述神经网络包括：顺次连接的所述分支网络组、特征融合网络层和输出网络层，所述分支网络组包括作为并列分支的两个分支网络层，每个分支网络层为对输入图像进行特征提取的特征提取层；所述神经网络...

【技术特征摘要】
1.一种针对RGB-D图像的语义分割方法，其特征在于，包括：获得待语义分割的RGB-D图像，所述RGB-D图像包括：红绿蓝三通道RGB图像和所述RGB图像对应的深度图像；将所述RGB-D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到所述RGB-D图像对应的目标标识图像；其中，所述RGB图像输入至所述神经网络的分支网络组中的一个分支网络层，所述深度图像输入至所述分支网络组中的另一个分支网络层；其中，所述神经网络包括：顺次连接的所述分支网络组、特征融合网络层和输出网络层，所述分支网络组包括作为并列分支的两个分支网络层，每个分支网络层为对输入图像进行特征提取的特征提取层；所述神经网络是根据样本RGB-D图像、所述样本RGB-D图像对应的样本标识图像训练得到，所述样本RGB-D图像包括样本RGB图像和样本深度图像，任一样本RGB-D图像对应的样本标识图像为：该样本RGB-D图像所包括的样本RGB图像对应的语义分割结果。2.根据权利要求1所述的方法，其特征在于，每个分支网络层包括串行连接的三个卷积模块。3.根据权利要求2所述的方法，其特征在于，第一分支网络层中每个目标卷积模块的输入内容包括：该目标卷积模块的上一卷积模块的输出内容，以及第二分支网络层中与所述上一卷积模块位置对应的卷积模块的输出内容；其中，所述第一分支网络层为所述RGB图像所在的分支网络层，所述第二分支网络层为所述深度图像所在的分支网络层，任一目标卷积模块为所述第一分支网络层中除第一个卷积模块以外的卷积模块。4.根据权利要求1所述的方法，其特征在于，所述特征融合网络层的特征融合方式，包括：将所述两个分支网络层分别输出的特征图谱的通道对应串联的方式。5.根据权利要求1所述的方法，其特征在于，所述特征融合网络层和输出网络层通过特征选择网络层相连接；其中，所述特征选择网络层包括：顺次连接的池化子层、第一全连接子层和第二全连接子层；所述池化子层用于：对所述特征融合网络层输出的融合后的特征图谱进行最大池化计算，得到最大池化的计算结果，并将所述计算结果作为第一组惩罚系数；所述第一全连接子层用于：将所述第一组惩罚系数和所述第一全连接子层的神经元的权重进行计算，得到第一计算结果，并将所述第一计算结果作为第二组惩罚系数，利用sigmoid激活函数将所述第二组惩罚系数的数值归一化，得到第三组惩罚系数；所述第二全连接子层用于：将所述第三组惩罚系数和所述第二全连接子层的神经元的权重进行计算，得到第二计算结果，并将所述第二计算结果作为第四组惩罚系数，利用sigmoid激活函数将所述第四组惩罚系数的数值归一化，得到第五组惩罚系数，利用所述第五组惩罚系数对所述融合后的特征图谱进行加权计算，得到第一特征图谱。6.一种针对R...

【专利技术属性】
技术研发人员：焦继超，邓中亮，章程，苑立彬，王鑫，吴奇，莫耀凯，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11