一种室内三维语义地图构建方法技术

本发明专利技术属于三维重建及场景理解领域，具体涉及一种室内三维语义地图构建方法，旨在解决家庭服务机器人理解所处周围环境语义信息，方便人机交互、执行高层的智能操作等技术问题。本发明专利技术方法首先使用RGB‑D传感器对室内场景进行图像采集，并对二维颜色图像进行目标检测或者语义分割，得到对应的语义信息，同时修复深度图像，以此进行三维重建，最后将图像语义信息融入三维地图，从而获得室内三维语义地图。本发明专利技术技术方案可以实现较为准确准确的三维信息感知，不仅对家庭服务机器人有着重要的意义，也同样适用于室内增强现实及三维室内设计等应用。

A method of building interior 3d semantic map

【技术实现步骤摘要】
一种室内三维语义地图构建方法
本专利技术涉及三维重建及场景理解领域，更具体的，涉及一种室内三维语义地图构建方法和系统。
技术介绍
快速、准确的三维信息感知是家庭服务机器人、室内增强现实和三维室内设计等新兴应用的关键技术。近年来，随着深度传感器(例如，微软Kinect、英特尔RealSense等)的发展，三维扫描技术取得了很大的进步。这些传感器采集到的深度图和彩色图能够很方便的用来生成被扫描物体的稠密三维模型。而这也促进了室内场景三维语义地图构建的研究发展。语义地图可以被广泛应用于机器人、导航和人机交互等领域。室内语义地图通常包括空间属性信息，例如建筑物的平面结构，房间分布等，以及包括语义属性信息，如各个房间属性和功能，以及房间内的物体类别和位置信息等。语义地图构建的目标是精确地在地图上标记语义信息。经对现有技术的文献检索发现，文献1(吴皓.基于服务任务导向的机器人地图构建研究[D].济南：山东大学，2011.)利用QRCode技术，在家庭半未知环境下，对大物体粘贴二维码作为人工路标从而构建能描述物品－房间归属关系的语义地图；文献2(赵程本文档来自技高网...

【技术保护点】
1.一种室内三维语义地图构建方法，其特征在于，包括以下步骤：/n步骤S1.数据采集；使用RGB-D传感器采集室内环境的颜色深度RGB-D图像信息，包括RGB图像和深度图像；/n步骤S2.语义信息的获取：对采集到的二维RGB图像使用深度学习算法进行目标检测或者语义分割，得到对应的语义信息；/n步骤S3.深度图像修复；/n步骤S4.室内环境三维地图构建：利用修复过的室内环境RGB-D图像进行三维地图构建；/n步骤S5.三维语义地图的形成：将基于步骤S2获得的带语义信息的目标通过坐标位置转换融合于步骤S4获得的室内三维地图，并用标签在地图上进行赋值标注，形成室内环境三维语义地图。/n

【技术特征摘要】
1.一种室内三维语义地图构建方法，其特征在于，包括以下步骤：
步骤S1.数据采集；使用RGB-D传感器采集室内环境的颜色深度RGB-D图像信息，包括RGB图像和深度图像；
步骤S2.语义信息的获取：对采集到的二维RGB图像使用深度学习算法进行目标检测或者语义分割，得到对应的语义信息；
步骤S3.深度图像修复；
步骤S4.室内环境三维地图构建：利用修复过的室内环境RGB-D图像进行三维地图构建；
步骤S5.三维语义地图的形成：将基于步骤S2获得的带语义信息的目标通过坐标位置转换融合于步骤S4获得的室内三维地图，并用标签在地图上进行赋值标注，形成室内环境三维语义地图。


2.根据权利要求1所述的室内三维语义地图构建方法，其特征在于，所述步骤S1的具体步骤如下：
由用户手持设有RGB-D传感器的设备或由设有RGB-D传感器的移动式机器人对室内环境进行扫描，获得连续的RGB-D图像。


3.根据权利要求2所述的室内三维语义地图构建方法，其特征在于，所述步骤S2中的目标检测方法为YOLOv3。


4.根据权利要求3所述的室内三维语义地图构建方法，其特征在于，所述步骤S3使用基于CUDA技术的并行化实时深度图像修复算法。


5.根据权利要求3所述的室内三维语义地图构建方法，其特征在于，所述步骤S4采用改进的三维重建BundleFusion算法。


6.一种室内三维语义地图构建系统，基于权利要求1-5所述的方法，其特征在于，包括数据采集模块、三维稠密重建模块、语义融合稠密重建模块；
所述的数据采集模块，采集室内环境的颜色深度RGB-D图像信息，划分为RGB图像和深度图像；分别进行RGB图像目标检测/语义分割、CUDA深度图像修复；
所述的三维稠密重建模块，将输入的对齐好的颜色和深...

【专利技术属性】
技术研发人员：赵芳，曾碧，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44