基于视觉惯性导航的快速室内重建方法技术

本发明专利技术提供了一种基于视觉惯性导航的快速室内重建方法，利用深度相机和IMU同步采集数据信息，得到图像以及与图像对应的IMU数据；选取两帧图像，得到两帧图像之间的相对位姿变换；通过对图像进行特征提取，获取当前帧图像的位姿；设定判断准则，将符合判断准则的当前帧定义为关键帧；将关键帧的位姿和其中的特征点生成三维路标点加入局部地图，同时将连续的关键帧之间的IMU预积分也放到到局部地图中，在局部地图中对连续的关键帧和路标点进行进一步优化。本发明专利技术有益效果：可以对室内环境下自主移动的终端进行定位与跟踪同时可以对周围的环境进行实时的三维重建，输出一个可以支持多种三维建模软件编辑的模型。持多种三维建模软件编辑的模型。持多种三维建模软件编辑的模型。

【技术实现步骤摘要】
基于视觉惯性导航的快速室内重建方法


[0001]本专利技术属于三维重建领域，尤其是涉及一种基于视觉惯性导航的快速室内重建方法。

技术介绍

[0002]同步定位与建图技术SLAM是指依靠自身传感器的输入，通过计算设备获取自身位置信息的技术，目前被广泛应用于自动驾驶和VR/AR等领域。目前基于视觉的vSLAM的算法已经相对比较成熟了，两个主流的研究方向分别是运用深度学习或者其他机器学习的方法提高扩展其定位以及动态环境下的效果，另一个则是与多传感器融合，提高其定位的鲁棒性，在定位成熟后研究其应用价值也目前的热门方向之一。
[0003]应用SLAM技术的室内三维重建则有着广阔的发展前景，在Kinect Fusion提出之前室内的三维重建主要是利用SfM(Struct from Motion)方法，通过大量的计算来恢复多张图像的位置关系重建出室内环境，该方法主要的缺点在于无法实时进行。Kinect Fusion第一次利用GPU完成了实时重建，但是在CPU上轻量化的方案是比较少，鲁棒性也有待进一步验证。

技术实现思路
r/>[0004]有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉惯性导航的快速室内重建方法，其特征在于，包括：利用深度相机和IMU同步采集数据信息，得到图像以及与图像对应的IMU数据；选取两帧图像，得到两帧图像之间的相对位姿变换；通过对图像进行特征提取，获取当前帧图像的位姿；设定判断准则，将符合判断准则的当前帧定义为关键帧；将关键帧的位姿和其中的特征点生成三维路标点加入局部地图，同时将连续的关键帧之间的IMU预积分也放到到局部地图中，在局部地图中对连续的关键帧和路标点进行进一步优化；利用深度相机获取到的深度信息和位姿信息，针对室内环境做基于面片的稠密三维重建；建立一个全局的八叉树模型，针对每一个体素建立TSDF值，在每次有新的数据到来时进行更新；对最小分辨率下的所有网格进行曲面的抽取，生成最终的重建表面；对生成的三角面片进行渲染和展示，进行文件保存。2.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：对图像间的IMU数据做李群和李代数形式下的矩阵预积分，得到两帧图像之间的相对位姿变换。3.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：通过对图像进行ORB特征提取，并进行两帧图像之间的特征匹配，恢复出当前帧图像追踪到的三维路标点，对当前帧的位姿与跟踪点之间建立视觉观测模型的同时利用两帧位姿与IMU测量构建惯性观测残差，通过高斯牛顿法求解优化当前帧的位姿。4.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于，判断准则包括：上一帧在当前帧被观察到的特征点的区域不超过X％；且距离上一帧已经有Y个连续帧过去。5.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：在局部地图中对连续的关键帧和路标...

【专利技术属性】
技术研发人员：盛选禹，冀世浩，孔文文，邵荣，陈军伟，郝梦琳，杨保，柳文杰，
申请(专利权)人：清华大学，
类型：发明
国别省市：