一种同时定位与稠密三维重建方法技术

本发明专利技术公开了一种同时定位与稠密三维重建方法，该方法能够鲁棒的处理快速运动和频繁回路闭合，在较大规模的场景下可以无限时间运行。该方法除了可以用来扫描高质量的三维模型，还可以满足虚拟现实和增强现实的需求。该方法提出了一种基于关键帧的同时定位与地图构建的框架。首先，同时利用深度和颜色信息，基于关键帧的定位可以在CPU上高速运行，并且可以鲁棒地运行在具有挑战性的场景下。为减少累计误差，本发明专利技术引入了增量集束调整，可以极大的减少运算量，同时将局部和和全局集束调整在一个统一的框架下完成。其次，本发明专利技术提出了基于关键帧的一种融合方法，可以在线生成模型并在关键帧姿态调整时实时更新三维模型。

A simultaneous localization and dense 3D reconstruction method

The present invention discloses a simultaneous localization and dense 3D reconstruction method, which can robustly process fast motion and frequent loop closure, and can operate indefinitely under larger scale scenes. In addition to scanning high-quality 3D models, this method can meet the needs of virtual reality and augmented reality. A framework for simultaneous localization and mapping of key frames is proposed in this method. First, by using both depth and color information, keyframe based localization can run at high speed on CPU and can be robustly run in challenging scenarios. In order to reduce the cumulative error, the invention introduces Incremental Cluster adjustment, which can greatly reduce the amount of computation, and simultaneously adjust the local and global cluster adjustment in a unified framework. Secondly, a fusion method based on keyframe is proposed, which can generate model online and update the 3D model in real-time when the key frame is adjusted.

【技术实现步骤摘要】
一种同时定位与稠密三维重建方法
本专利技术涉及一种可应用于增强现实、虚拟现实、机器人导航等领域的同时定位与稠密三维重建方法，尤其涉及一种同时定位与稠密三维重建方法。
技术介绍
同时定位与地图构建(SimultaneouslyLocatingandMapping，SLAM)是机器人和计算机视觉领域的一个基本问题。在过去的几时年来，实时运动结构学(StructurefromMotion)和视觉SLAM有很多成功的应用。然而，视觉SLAM难以处理无纹理的场景，而且要做到实时稳定地恢复稠密三维结构也比较困难。使用深度传感器可以帮助解决这两个问题。随着深度传感器(如微软Kinect和英特尔RealSense3D相机)的流行，大量基于RGB-D的SLAM方案得到提出。大多数稠密的SLAM方法使用帧到帧或帧到模型的对准方法，这类方法很容易累计误差，在具有挑战性的场景下容易失败。一些方法提出使用非刚性网格变形优化模型，减小累积误差。然而由于不精确的对准导致的模型误差无法得到消除，并且会进一步增大对准误差。最近，BundleFusion[A.Dai,M.Nieβner,M.S.Izadi,andC.T本文档来自技高网...

【技术保护点】
一种同时定位与稠密三维重建方法,其特征在于包括如下步骤：1)通过RGB‑D对准估计相机初始姿态，使用基于单应性的特征匹配优化相机姿态；2)运行“增量集束调整”算法，自适应地更新、优化关键帧的相机姿态；3)将非关键深度图融合到关键帧，基于关键帧的深度图重建三维模型，通过重融合在相机姿态改变时更新三维模型。

【技术特征摘要】
1.一种同时定位与稠密三维重建方法,其特征在于包括如下步骤：1)通过RGB-D对准估计相机初始姿态，使用基于单应性的特征匹配优化相机姿态；2)运行“增量集束调整”算法，自适应地更新、优化关键帧的相机姿态；3)将非关键深度图融合到关键帧，基于关键帧的深度图重建三维模型，通过重融合在相机姿态改变时更新三维模型。2.如权利要求1所述的一种同时定位与稠密三维重建方法，其特征在于所述的步骤1)具体为：对每个当前帧Fi，使用RGB-D对准在小模糊图上估计相机从上一帧到当前帧的相对姿态T(i-1)→i，相应相机姿态估计为Ci＝T(i-1)→iCi-1；使用单应性决定搜索区域同时用深度信息zk以及相机姿态估计Ci决定搜索区域在搜索区域上寻找3D-2D特征匹配的集合χ＝{(Xj,xj)}，其中Xj∈R3,xj∈R2分别为三维点与二维点，K为相机内参；在确定了相对姿态T(i-1)→i以及3D-2D特征匹配的集合χ＝{(Xj,xj)}后，通过最小化相对误差与重投影误差来优化相机姿态Ci：其中，log(T)将3D刚性变换T∈SE(3)映射到se(3)，并返回R6中的向量表示，是标准马氏距离，是投影函数，K是已知并且固定的相机内参，z(X)从X中提取出z分量，zj是xj在当前帧的深度，||∈||δ是Huber范数：如果追踪失败，则使用基于关键帧的重定位方法重新跟踪特征，否则，使用新特征的深度信息，用贝叶斯方法对特征的深度进行滤波；对关键帧Fk和当前帧Fi的每一对特征匹配(xi,xj)，更新xk深度的倒数ρk：这里，通过ρi→k，滤波器不断更新ρk和其内点的联合分布；最后，在每一新帧到来时决定是否选作关键帧。3.如权利1所述的一种同时定位与稠密三维重建方法，其特征在于所述的步骤2)具体为：当有新的关键帧加入或者检测到闭合回路的时候，运行如下增量集束调整：将当前相机运动参数定义为nc是相机个数，将当前三维点位置定义为Xj∈R3，np为三维点的个数，将相机i可见的三维点的集合定义为Vic，将三维点j可见的相机集合定义为用高斯-牛顿算法迭代优化：每次迭代，将当前相机运动参数定义为将当前三维点位置定义为将相机运动参数的增量定义为将三维点位置的增量定义为将e(Ci,Xj)在处线性展开：其中，表示在上叠加一个对应的se(3)增量，定义法向方程：U、V分别是nc×nc、np×np的对角块矩阵对每个子矩阵Ui∈R6×6，Vj∈R3×3，W为nc×np的块矩阵：每个子矩阵Wij∈R6×3，法向方程右侧向量：每个子向量ui∈R6，vj∈R3，定义舒尔补方程其中，S＝U-WV-1WTg＝u-WV-1vS为nc×nc的块矩阵：每个子矩阵Sij∈R6×...

【专利技术属性】
技术研发人员：鲍虎军，章国锋，刘浩敏，李晨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33