一种室内场景三维建模方法及系统技术方案

本发明专利技术公开了一种室内场景三维建模方法及系统，包括以下步骤：采集环境图像，基于所述环境图像构建图像数据集；基于所述图像数据集进行特征提取与快速匹配，得到融合特征点集；基于所述融合特征点集，插入关键桢，得到局部地图；基于所述局部地图，得到全局地图。发明专利技术的建模方法，解决了深度数据的空洞修复、高精度多视点深度数据匹配、实时性重建与场景更新等关键技术问题，通过Kinect2.0深度相机搭建了一种低成本、高精度、实时性高的建模系统。实时性高的建模系统。实时性高的建模系统。

【技术实现步骤摘要】
一种室内场景三维建模方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种室内场景三维建模方法及系统。

技术介绍

[0002]随着科技与经济的快速发展以及各领域中市场需求的不断增强，室内场景三维建模应用于室内装修辅助设计、3D游戏开发、数字城市、智能家居等不同领域，具有较大的实用价值。其应用前景广阔：在公共安全与应急响应方面，，在紧急情况发生时，每一个待解救人员都可以被精准定位到，大到建筑物的平面位置，小到楼层和房间号。这在安保、消防等领域都有着重要的应用。同时，室内场景三维建模可以帮助移动机器人更加的智能化，从一些简单重复的动作到能够自主规划路径和任务，更少的人为参与，安全高效。但是在实现这样高智能的移动机器人过程中，其中一项关键的技术在于如何让移动机器人感知当前环境，知道自己在哪里，要去哪里，怎么去。解决这一技术问题的关键在于需要一边构建三维地图，一边计算自身的位姿。
[0003]而传统的三维建模，往往会出现地图精度与位置精度相对矛盾的情况，随着场景尺度的不断变大，其不能长期有效、稳定的工作。传统三维建模技术包括：以激光雷达为主、其他传感器辅助的方式以及以视觉传感器为主，算法和实时性要求很高的方式。但是每一种都存在一定的缺陷。例如，激光雷达可以测量不同维度的场景距离信息，并且精度高、量程远。但是在雨天、雾天其反射率变化从而影响精度，并且激光雷达成本高、体积大，不便于维护。目前比较流行的定基线的双目相机，通过立体匹配得到视差图，做立体匹配计算视差需要对每一个像素进行操作，特别费时。因此，亟需一种实时三维建模方法解决上述技术问题。

技术实现思路

[0004]本专利技术提出了一种室内场景三维建模方法及系统，用于解决现有技术中存在的问题。
[0005]为实现上述目的，本专利技术提供了如下方案：一种室内场景三维建模方法，包括以下步骤：
[0006]采集环境图像，基于所述环境图像构建图像数据集；
[0007]基于所述图像数据集进行特征提取与快速匹配，得到局部地图；
[0008]基于所述局部地图，插入关键桢，得到更新地图；
[0009]基于所述更新地图，得到全局地图。
[0010]优选地，所述环境图像包括：室内场景的彩色图和深度图。
[0011]优选地，构建所述图像数据集的方法包括：
[0012]采集室内场景的所述深度图和所述彩色图；
[0013]对所述深度图和彩色图进行预处理，得到所述图像数据集。
[0014]优选地，所述预处理包括：
[0015]对所述深度图进行空洞添补，得到修复深度图；
[0016]基于所述修复深度图和所述彩色图，得到三维彩色点云；
[0017]保存所述三维彩色点云，得到所述图像数据集。
[0018]优选地，所述特征提取和快速匹配的方法包括：
[0019]提取所述深度图和所述彩色图的特征点，得到第一特征点集和第二特征点集；
[0020]基于FLANN算法计算所述第一特征点集和所述第二特征点集的匹配点对；
[0021]基于PROSAC算法剔除误匹配点对，得到融合特征点集。
[0022]优选地，得到所述全局地图的方法包括：
[0023]对所述局部地图进行优化，得到优化地图；
[0024]基于所述优化地图，进行回环检测与校正；
[0025]基于回环检测与校正后的所述优化地图，提取第二关键帧；
[0026]基于所述第二关键帧，得到全局地图。
[0027]本专利技术还提供一种室内场景三维建模系统，包括：
[0028]图像获取装置、特征提取装置、更新地图构建装置和全局地图构建装置；
[0029]所述图像获取装置用于采集环境图像，并基于所述环境图像构建图像数据集；
[0030]所述特征提取装置用于基于所述图像数据集进行特征提取与快速匹配，得到局部地图；
[0031]所述更新地图构建装置用于基于所述局部地图，插入关键桢，得到更新地图；
[0032]所述全局地图构建装置用于基于所述更新地图，得到全局地图。
[0033]优选地，所述图像获取装置采用Kinect2.0深度相机。
[0034]本专利技术的有益效果为：
[0035]本专利技术公开了一种室内场景三维建模方法及系统，本专利技术的建模方法，解决了深度数据的空洞修复、高精度多视点深度数据匹配、实时性重建与场景更新等关键技术问题，通过Kinect2.0深度相机搭建了一种低成本、高精度、实时性高的建模系统。
附图说明
[0036]为了更清楚地说明本专利技术的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本专利技术实施例室内场景三维建模方法流程示意图；
[0038]图2为本专利技术实施例室内场景三维建模系统结构示意图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0041]实施例一
[0042]如图1所示，为本专利技术实施例一种室内场景三维建模方法流程示意图，包括以下步骤：
[0043]S1、采集环境图像，基于环境图像构建图像数据集；
[0044]具体的，本实施例中，环境图像包括：室内场景的彩色图和深度图。
[0045]通过对室内场景的彩色图和深度图进行预处理，得到图像数据集；其中，预处理过程包括：对深度图进行空洞添补，得到修复深度图；
[0046]其中，空洞添补主要通过空间相关性和颜色相应区域一致性的约束，修复深度图中的空洞区域；
[0047]具体的：首先，对图像采集设备进行精度标定，从而配准对其深度图与彩色图的深度数据和彩色数据；然后，基于空间相关性和彩色图像分割区域一致性估计空洞中缺失的深度信息；本实施例中，采用分水岭算法对彩色图进行区域分割处理。最后，对上述深度信息进行空洞修复，进而对修复后的深度图进行去躁和平滑处理。
[0048]基于修复深度图和彩色图，得到三维彩色点云；
[0049]保存三维彩色点云，得到图像数据集。
[0050]S2、基于图像数据集进行特征提取与快速匹配，得到融合特征点集；
[0051]提取深度图和彩色图的特征点，得到第一特征点集和第二特征点集；
[0052]本实施例中，采用SURF算法提取深度图和彩色图的特征点。具体方法包括：采用一种基于Hessian矩阵的Fast本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内场景三维建模方法，其特征在于，包括以下步骤：采集环境图像，基于所述环境图像构建图像数据集；基于所述图像数据集进行特征提取与快速匹配，得到融合特征点集；基于所述融合特征点集，插入关键桢，得到局部地图；基于所述局部地图，得到全局地图。2.根据权利要求1所述室内场景三维建模方法，其特征在于，所述环境图像包括：室内场景的彩色图和深度图。3.根据权利要求2所述室内场景三维建模方法，其特征在于，构建所述图像数据集的方法包括：采集室内场景的所述深度图和所述彩色图；对所述深度图和彩色图进行预处理，得到所述图像数据集。4.根据权利要求3所述室内场景三维建模方法，其特征在于，所述预处理包括：对所述深度图进行空洞添补，得到修复深度图；基于所述修复深度图和所述彩色图，得到三维彩色点云；保存所述三维彩色点云，得到所述图像数据集。5.根据权利要求3所述室内场景三维建模方法，其特征在于，所述特征提取和快速匹配的方法包括：提取所述深度图和所述彩色图的特征点，得到第一特征点集和第二特征点集；基于FLANN算法计算所述第一特征点集和所述第二特征点集...

【专利技术属性】
技术研发人员：赵文博，周刚，徐柯，邓岳辉，吴昌兵，张伟，向东，刘晶，苏林，张晨雨，张双，康倩，石灿，冯鹏宇，张大勇，陈柄宏，李涛，
申请(专利权)人：北京中电方大科技股份有限公司，
类型：发明
国别省市：