利用彩色和深度图多模态融合的室内语义分割方法及设备技术

本发明专利技术提供一种利用彩色和深度图多模态融合的室内语义分割方法及设备，使用深度相机，对室内场景进行图像采集，获取相应的彩色与深度图像，并进行配准与预处理；所述深度图像采用HHA图像；构建图像中的像素级别语义信息标注，建立并划分测试数据集和训练数据集；搭建用于融合多模态数据的图像语义分割深度学习模型，从彩色图像和HHA图像中提取特征；图像语义分割深度学习模型的网络结构中，通过编码模块对彩色图像和HHA图像这两种模态进行逐层编码，经过多层编码后，融合的特征合并，接着通过解码模块逐层解码，最终生成语义分割结果；训练用于融合多模态数据的图像语义分割深度学习模型，基于训练完成的模型取得图像像素级别语义自动化分割结果。

【技术实现步骤摘要】

本专利技术涉及室内场景智能化识别，具体涉及利用彩色和深度图像多模态融合的室内图像语义分割技术方案。

技术介绍

1、随着城市化的不断发展，人们对室内环境的服务需求不断上升。室内场景的智能化识别可以辅助室内机器人应用、智能家居、室内导航等领域，为公民的室内生活与服务体验带来便捷。

2、室内图像中包含墙面、地板、天花板、门等结构体，同时也包含椅子、桌子、电器等可移动物，具有较为复杂的环境属性。作为智能化识别的一个重要组成部分，语义分割是也是场景理解技术中的关键技术之一。语义分割旨在对图像中每个像素进行分类，并帮助识别和分割场景元素。

3、对于出现较早的图像分割方法，一些方法通过聚类的方式，根据界定标准将图像中的像素分组到不同的类别以此达到这样的效果。还有一些方法通过边缘检测的方法，识别图像中的边缘线从而识别图像中的不同区域。然而这些方法不能很好兼顾识别像素自身的特征，从而达到像素对物体类别的映射。为了进一步获取像素到物体类别映射，可以通过手工（hand-crafted）特征和机器学习算法来实现。一些方法通过首先获取图像通用特征如sift特本文档来自技高网...

【技术保护点】

1.一种利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：进行以下处理，

2.根据权利要求1所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：所述深度相机采用红外相机，对红外相机获取的单通道深度图像进行解码成为HHA图像，作为图像语义分割深度学习模型的网络输入。

3.根据权利要求1所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：所述图像语义分割深度学习模型的网络结构中，设置有两支编码结构，分别为彩色图像编码结构和深度图像编码结构；每支编码结构有若干个编码模块，通过注意力机制的融合模块对两支编码结构的中间特征进行提取与优化，获取多模...

【技术特征摘要】

1.一种利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：进行以下处理，

2.根据权利要求1所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：所述深度相机采用红外相机，对红外相机获取的单通道深度图像进行解码成为hha图像，作为图像语义分割深度学习模型的网络输入。

3.根据权利要求1所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：所述图像语义分割深度学习模型的网络结构中，设置有两支编码结构，分别为彩色图像编码结构和深度图像编码结构；每支编码结构有若干个编码模块，通过注意力机制的融合模块对两支编码结构的中间特征进行提取与优化，获取多模态数据的融合特征，将融合后的特征重新传递回两支编码结构，辅助特征提取。

4.根据权利要求3所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：每个编码模块都由若干编码单元组合构成。

5.根据权利要求3所述利用彩色和深度图多模态融合的室内语义分割方法，其特征在于：所...

【专利技术属性】
技术研发人员：谢洪，朱龙泽，闫利，宋江，姬琳霞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：