一种基于RGB-D图像的室内场景三维重建方法技术

本发明专利技术公开了一种基于RGB‑D图像的室内场景三维重建方法，利用语义分割结果修复深度图像空洞，为三维重建提供物体轮廓与类别信息，根据先验知识获取到物体的形状和外观，从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息，解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计，稀疏的特征匹配提供粗略的估计位姿，再通过密集的几何、光度优化方法，得到精确相机位姿，为重建模型提供更加精确的相机位姿。在重建过程中，对每帧进行局部优化，同时加入关键帧机制，建立全局优化与闭环检测，将关键帧像素对应的空间点建立约束，有效抑制误差累积，进一步优化相机位姿，提高重建结果的精度。

A Three-Dimensional Reconstruction Method of Indoor Scene Based on RGB-D Image

The invention discloses a three-dimensional reconstruction method of indoor scene based on RGB D image, which uses semantics segmentation results to repair depth image holes, provides object contour and category information for three-dimensional reconstruction, obtains object shape and appearance according to prior knowledge, and thus provides more accurate data for three-dimensional reconstruction. Three-dimensional reconstruction provides three-dimensional spatial information for semantics segmentation, and resolves the problems of object overlap and illumination influence in two-dimensional image segmentation. Using multi-level camera pose estimation, sparse feature matching provides rough estimation of pose, and then through intensive geometric and photometric optimization methods, accurate camera pose can be obtained, which provides more accurate camera pose for re-modeling. In the reconstruction process, each frame is optimized locally, and key frame mechanism is added to establish global optimization and closed-loop detection. Constraints are established on the spatial points corresponding to the key frame pixels, which can effectively suppress the accumulation of errors, further optimize the camera pose and improve the accuracy of the reconstruction results.

【技术实现步骤摘要】
一种基于RGB-D图像的室内场景三维重建方法
本专利技术属于计算机视觉
，更具体地，涉及一种基于RGB-D图像的室内场景三维重建方法。
技术介绍
深度相机Kinect的原理为红外发射器发射红外线，照射到物体表面，形成随机的反射散斑，进而被深度传感器接收，再由系统芯片运算生成深度图像。对于透明材质、纹理缺失的平面，红外线无法反射形成散斑或者效果较差，从而得到的深度图像带有空洞。目前，大多研究工作采用双边滤波方法对深度图像进行简单预处理。现有技术中，基于RGB-D图像的三维重建主要包括：Newcombe等人通过预处理的深度图像直接计算得到空间点的三维坐标，再用迭代最近点方法估计相邻帧相机运动，用立方体网格模型存储重建点云。但是，该方法固定了重建场景大小，对于大场景无法适用，同时重建结果精度不高。ThomasWhelan提出的改进算法Kintinuous和Niebner等人提出的基于体素哈希的模型表示方法，解决了显存消耗和计算消耗的问题。但是，这两个方法无法应对丢失情况，对于长时间大范围的重建容易发生漂移，精度不高。然而，上述方法均存在重建精度不高、无法解决深度图像空洞导致的误分割的本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D图像的室内场景三维重建方法，其特征在于，该方法包括以下步骤：S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB‑D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键...

【技术特征摘要】
1.一种基于RGB-D图像的室内场景三维重建方法，其特征在于，该方法包括以下步骤：S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB-D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键帧进行匹配，若匹配成功，则进入步骤S6，否则，进入步骤S7；S6.对当前帧进行闭环检测，闭环检测成功时，更新相机位姿，根据更新的相机位姿对三维点云进行更新；S7.确立当前帧是否为关键帧，如果是，确定为关键帧，加入关键帧数据库，进入步骤S8，否则，直接进入步骤S9；S8.基于关键帧执行相机位姿的全局优化，根据优化后位姿对三维点云进行更新；S9.将所述当前帧像素分类结果融合到更新后的三维点云中，得到重建后的室内场景。2.如权利要求1所述的室内场景三维重建方法，其特征在于，关键帧的选取方式为：当图像帧与上一关键帧视差大于阈值并且匹配点数少于设定数量时，将其确立为关键帧。3.如权利要求1所述的室内场景三维重建...

【专利技术属性】
技术研发人员：郭红星，卢涛，汤俊良，熊豆，孙伟平，夏涛，范晔斌，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42