基于GMS特征匹配的面向复杂大尺度场景三维重建方法技术

本发明专利技术公开了一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，包括如下步骤：步骤一、采用融合了GMS特征匹配的SLAM方法获取图像并获得相机位姿的初值；步骤二、采用二三维特征点联合的集束调整的方法对相机位姿的初值进行优化；步骤三、利用优化后的相机位姿，通过把各个图像的像素反投影到世界坐标系下，得到点云数据，通过使用surfel构造变形图的方法进行点云融合，得到三维重建模型。本发明专利技术不但在三维重建时候能较好的应对更复杂的大尺度场景，而且能在纹理稀疏区域有较好的相机位姿估计，还能很好的面对相机较大的旋转和平移。

Three-dimensional reconstruction for complex large-scale scene based on GMS feature matching

【技术实现步骤摘要】
基于GMS特征匹配的面向复杂大尺度场景三维重建方法
本专利技术属于三维重建
，具体涉及一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法。
技术介绍
目前，场景及物体的三维重建在人机交互、虚拟现实、游戏电影等诸多领域都有着广泛的应用。对于更复杂、更真实的三维模型的需求也日益增加。但是当前的三维重建系统大多基于激光扫描的方法，该方法虽然能获得较理想的三维模型，但是系统的造价十分昂贵。如果更复杂和更真实的三维模型能如照片和视频一样容易获得，那么三维模型将更被应用于更多的领域，如无人机和无人车在运动的时候实时的感知自身方位，进行规划路线等。基于图像序列的三维重建方案仅通过普通的摄像头采集数据即可实现在未知环境的实时定位和三维重建。当前基于图像序列的三维重建主要分为离线的SFM和实时的视觉SLAM。该方案虽然成本低，但是，如何仅利用图像序列就能获得更复杂和更真实的三维模型是计算机视觉一个重要的目标。其中对视觉SLAM系统已经有较多的研究。由Klein等在2007年提出的PTAM(ParallelTrackingandMapping)系统是首个基于关键帧集束调整的SLAM系统，且在2009年被移植到iPhone3G，也是首个移植到智能手机上的SLAM系统。PTAM系统是第一个提出将相机的追踪和地图构建作为并行化的两个线程处理，是视觉SLAM中首次区分出前端和后端概念，这为后续的SLAM系统提供了良好的开端。但是与早期工作类似，PTAM系统也存在着明显的缺陷，比如重建的场景小，没有回环检测等等。针对PTAM系统的缺点，RaulMur-Artal等提出了一种实时的ORB-SLAM(SimultaneouslocalizationandmappingbasedonORientedbrieffeaturerecognition)系统。相比于PTAM系统，ORB-SLAM系统使用了ORB描述子使系统有更好的视角不变性。且ORB-SLAM添加了回环检测环节以消除累计误差。ORB-SLAM是现代SLAM系统中做的最完善的，代表了特征点法SLAM的巅峰。但是也难免存在一些缺点，如在特征稀疏区域难以实现较好的特征追踪且重建的地图为稀疏点云地图。与ORB-SLAM系统跟踪部分类似，只是匹配的方法从特征点法改变为了灰度值匹配法。与ORB-SLAM系统不同的是SVO在优化相机位姿之后，还可以再优化地图点，将地图点和相机位姿再次进行优化。且该系统采用半直接法，计算速度快。但是该系统也存在明显的缺点，由于是特征点法和直接法SLAM的结合，对于快速运动鲁棒性不足，也没有重定位和闭环检测的功能。总之，现在的视觉SLAM都存在一定的优缺点，特征点法的SLAM在纹理丰富的区域能够有较好的相机估计，但是在纹理稀疏的区域容易造成追踪丢失。而直接法的SLAM的方法由于直接对每个像素进行处理，在纹理稀疏的区域也能有较好的效果，但是在相机运动过快时候容易丢失。针对图像序列的SFM也有很多的研究，但面对更复杂的大尺度场景，传统的SFM方法不可避免的会遇到内存和效率的瓶颈。Ni等提出了一种核外的集束调整方法。内存中每次仅加载部分的子场景，每个子场景坐标系各自独立，在优化的过程中只需修改各子场景线性化的结果，从而减少了内存换入换出次数。但是该方法的集束调整算法效率不高，算法耗时过长。但是随着重建场景不断扩大，误差积累逐渐增多，集束调整易陷入局部最优解，误差将难以消除。
技术实现思路
本专利技术的专利技术目的是提供一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，不但在三维重建时候能较好的应对更复杂的大尺度场景，而且能在纹理稀疏区域有较好的相机位姿估计，还能很好的面对相机较大的旋转和平移。为达到上述专利技术目的，本专利技术采用的技术方案是：一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，包括如下步骤：步骤一、采用融合了GMS特征匹配的SLAM方法获取图像并获得相机位姿的初值；步骤二、采用二三维特征点联合的集束调整的方法对相机位姿的初值进行优化；步骤三、利用优化后的相机位姿，通过把各个图像的像素反投影到世界坐标系下，得到点云数据，再通过使用surfel构造变形图的方法进行点云融合，得到三维重建模型。上述技术方案中，所述步骤一中，采用融合了GMS特征匹配的ORB-SLAM2方法。上述技术方案中，所述步骤一中，选用RGB-D相机获取图像。上述技术方案中，所述步骤二中，以近距离的三维特征点作为约束，融合远距离的二维特征点。上述技术方案中，所述三维特征点的深度为1.5～3m。上述技术方案中，所述步骤三中，将面元模型作为最小的处理单元。由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：本专利技术通过使用融合了GMS特征匹配的SLAM方法在获取图像的同时获得较高精度的相机位姿，以该相机位姿为初值进行三维重建，其中使用GMS特征匹配保证稀疏区域特征点匹配的鲁棒性；再通过利用二三维特征点联合的集束调整，可将短距离获得高精度深度信息的三维特征匹配点作为绝对的约束，提供绝对的尺度信息，这样减少了优化时特征点的数量可很好解决内存问题，最终获得更高精度的相机位姿；最后通过使用surfel构造变形图的方法融合点云，最终获得高精度的三维重建模型，有效解决传统的点云融合方案易出现漂移严重等问题。附图说明图1是本专利技术实施例一的ORB特征匹配的效果示意图。图2是本专利技术实施例一的使用RANSAC算法后的效果示意图。图3是本专利技术实施例一的使用GMS特征匹配算法后的效果示意图。图4是ICL-NUIM数据集中的图片使用RANSAC算法后的ORB特征匹配效果示意图。图5是ICL-NUIM数据集中的图片使用GMS特征匹配算法后的ORB特征匹配效果示意图。图6是关于深度图像的SLAM算法的示意图。图7是面元模型的示意图。图8是变形图的结构示意图。图9至12是ORB-SLAM2和本专利技术算法在TUM数据集上的轨迹误差示意图。图13是使用改进的ORB-SLAM2系统获得的三维重建模型示意图。图14是使用二三维特征点联合的集束调整优化后的三维重建模型示意图。图15至18是使用surfel模型时的系统工作图。图19是闭环优化后的三维模型示意图。图20是各个算法使用ICL-NUIM数据集的重建误差示意图。图21是本专利技术算法对ICL-NUIM数据集kt0的重建模型示意图。图22是对复杂大尺度场景的三维重建模型示意图。图23是对复杂大尺度场景的三维重建模型示意图。图24是本专利技术实施例一的三维重建方法流程图。具体实施方式下面结合附图及实施例对本专利技术作进一步描述：实施例一：参见图24所示，一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，包括如下步骤：步骤一、采用融合了GMS特征匹配的SLAM方法获取图像并获得相机位姿的初值。为了保证SLAM过程中特征匹配的效率和正确率。本专利技术采用了一种基于网格的运动估计(Grid-basedMotionStatistics，简称GMS)的特征匹配。特征匹配的核心问题在于邻域一致性这个约束需要怎么利用。一致性是一个强大的约束，但是在稀疏特征的时候不能有很好的邻域定义。这导致了基于一致性的特征匹配计算量很大，难以实现。而GMS可以有效的解决这个问题。如果运动是平滑的，那么相邻像素本文档来自技高网...

【技术保护点】
1.一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，其特征在于，包括如下步骤：步骤一、采用融合了GMS特征匹配的SLAM方法获取图像并获得相机位姿的初值；步骤二、采用二三维特征点联合的集束调整的方法对相机位姿的初值进行优化；步骤三、利用优化后的相机位姿，通过把各个图像的像素反投影到世界坐标系下，得到点云数据，再通过使用surfel构造变形图的方法进行点云融合，得到三维重建模型。

【技术特征摘要】
1.一种基于GMS特征匹配的面向复杂大尺度场景三维重建方法，其特征在于，包括如下步骤：步骤一、采用融合了GMS特征匹配的SLAM方法获取图像并获得相机位姿的初值；步骤二、采用二三维特征点联合的集束调整的方法对相机位姿的初值进行优化；步骤三、利用优化后的相机位姿，通过把各个图像的像素反投影到世界坐标系下，得到点云数据，再通过使用surfel构造变形图的方法进行点云融合，得到三维重建模型。2.根据权利要求1所述的基于GMS特征匹配的面向复杂大尺度场景三维重建方法，其特征在于：所述步骤一中，采用融合了GMS特征匹配的ORB-SLAM2方法。...

【专利技术属性】
技术研发人员：徐浩楠，李长頔，付晓凡，
申请(专利权)人：司岚光电科技苏州有限公司，
类型：发明
国别省市：江苏,32