快速鲁棒的RGB-D室内三维场景重建方法技术

本发明专利技术涉及三维重建领域，具体提出了一种快速鲁棒的RGB‑D室内三维场景重建方法，旨在解决解决室内三维场景重建效率不能满足需求的问题，本发明专利技术方法包括：采用RGB‑D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB‑D图像进行多尺度体数据融合，生成完整的场景三维模型。本发明专利技术能够高效、准确地得到完整室内场景模型，系统具有良好的鲁棒性和扩展性。

Fast and robust RGB-D Indoor 3D scene reconstruction method

The invention relates to the field of three-dimensional reconstruction, and concretely proposes a fast and robust RGB_D indoor three-dimensional scene reconstruction method, aiming at solving the problem that the efficiency of indoor three-dimensional scene reconstruction can not meet the requirements. The method of the invention includes: adopting RGB_D camera to scan indoor scene in real time; and advancing based on point-line fusion camera tracking algorithm. Real-time tracking of the line camera; reducing the camera trajectory by detecting the camera state; using the reduced camera trajectory information to fuse multi-scale volume data of RGB_D image to generate a complete 3D scene model. The invention can efficiently and accurately obtain a complete indoor scene model, and the system has good robustness and expansibility.

【技术实现步骤摘要】
快速鲁棒的RGB-D室内三维场景重建方法
本专利技术涉及三维重建领域，具体涉及一种快速鲁棒的RGB-D室内三维场景重建方法。
技术介绍
室内场景三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维重建有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行三维重建，但这些仪器大多价格昂贵并且不易携带，所以应用场合有限。随着计算机视觉技术的发展，研究者们开始研究使用纯视觉的方法进行三维重建，涌现出来了大量有益的研究工作。消费级RGB-D相机MicrosoftKinect推出后，人们可以直接利用深度数据比较便捷地进行室内场景三维重建。Newcombe等人提出的KinectFusion算法利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(IterativeClosestPoint,ICP)算法将三维点在当前帧相机坐标系下的坐标与在全局模型中的坐标进行对齐来估计当前帧相机的姿态，再通过曲面隐函数(TruncatedSignedDistanceFunction,TSDF)迭代进行体数据融合，得到稠密的三维模型。虽然Kinect获取深度不受光照条件和纹理丰富程度的影响，但其深度数据范围只有0.5-4m，而且网格模型的位置和大小是固定的，所以只适用于局部、静态的室内场景。基于消费级RGB-D相机进行室内场景三维重建，一般存在以下几个问题：(1)消费级RGB-D相机获取的深度图像分辨率小、噪声大使得物体表面细节难以保持，而且深度值范围有限不能直接用于完整场景三维重建；(2)室内弱纹理区域几何结构简单、可以提取的点特征比较少，基于ICP和特征法的相机定位比较困难；(3)利用装配RGB-D相机的机器人采集室内场景，会存在冗余重复的数据，影响建模速度和精度。为了进行完整的室内场景三维重建，Whelan等人提出了Kintinuous算法，是对KinectFusion的进一步扩展。该算法使用ShiftingTSDFVolume循环利用显存的方式解决大场景重建时网格模型显存消耗的问题，并通过DBoW寻找匹配的关键帧进行闭环检测，最后对位姿图和模型做优化，从而得到大场景三维模型。Choi和Zeng等人提出了局部-全局配准的思想，先将RGB-D数据流做分段，对每段单独做视觉里程计估计，从两两段间的点云数据中提取描述子寻找匹配进行闭环检测，最后利用优化后的相机姿态进行体数据融合。Elasticfusion使用Surfel模型来表示三维模型，该算法通过优化deformationgraph的形式，提高重建和位姿估计的精度。Bunderfusion基于稀疏特征、密集几何特征和光度匹配的对应关系，来估计相机姿态，可以实时得到高质量的场景模型。但这些算法都需要依赖于高配置的计算资源才能达到实时或耗时比较久。近年来基于特征法的RGB-D相机定位逐渐引起了关注。ORB-SLAM2是一套基于ORB特征进行定位，高精度、高效的稀疏SLAM(simultaneouslocalizationandmapping)系统，可以实时运行在普通CPUs上，但在室内弱纹理区域很容易定位失败。由于室内场景中存在大量的线特征，不少系统基于直线特征进行相机定位以提高在弱纹理区域的相机定位鲁棒性，但是直线特征的提取和匹配都比较耗时。EdgeVO直接采用边缘匹配，可以非常高效地进行相机跟踪，但定位精度很差。EdgeSLAM在该算法的基础上对初始化做了优化，并加入了闭环控制，提高了定位精度，不过也降低了效率。基于TSDF的体数据融合方法可以方便地将多幅RGB-D图像融合为完整的三维模型。Steinbrucker等人提出了采用八叉树数据结构存储TSDF值的算法，可以高效、实时的进行数据融合。Nissner等人采用哈希数据结构来压缩空间，可以实现体数据的实时读取与更新。不过这些算法没有考虑RGB-D相机的噪声特点和数据冗余的情况，并不能完全保证模型表面的几何细节。
技术实现思路
为了解决现有技术中的上述问题，即为了解决室内三维场景重建效率不能满足需求的问题，本专利技术提出了一种快速鲁棒的RGB-D室内三维场景重建方法，该方法包括：采用RGB-D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型。在本专利技术的优选实施方式中，“基于点线融合相机跟踪算法进行相机实时跟踪”包括三个线程：跟踪线程、局部构图线程、闭环检测线程；所述跟踪线程，基于RGB-D相机采集到的彩色图像与深度图像序列，进行初始姿态估计、跟踪局部地图、关键帧的判断；其中，所述初始状态估计通过松耦合的方式联合特征点跟踪与边缘跟踪，通过最小化能量函数估计相机姿态；所述局部构图线程，用于对每个新的关键帧完成局部地图构建；所述闭环检测线程，用于对局部地图构建过程中最后处理的关键帧进行闭环检测，并在确定闭环后进行闭环修正。在本专利技术的优选实施方式中，所述初始状态估计中，通过松耦合的方式联合特征点跟踪与边缘跟踪估计相机姿态所采用的最小化能量函数为：其中，ep是特征点的重投影误差，ee是边缘的几何距离误差，χC表示相邻帧的匹配集合，ρp和ρe是Huber函数，λ∈[0,1]是权重因子，B为相邻帧图像间的变换关系。在本专利技术的优选实施方式中，特征点的重投影误差ep为：ep＝X'-KBX其中，X表示ORB特征点的三维坐标，X'表示匹配点的位置，K为相机内参矩阵，B为相邻帧图像间的变换关系；边缘的几何距离误差ee为：ee＝d(L',τ(K,B,L))其中，L表示边缘上像素的坐标，L'表示匹配点的位置，d表示几何距离误差，τ(K,B,L)为边缘上像素的坐标L在相邻帧图像中对应的三维点坐标；权重因子λ基于场景纹理的丰富程度进行取值：其中，N表示每帧图像上提取的ORB特征数量，Nmax和Nmin是最大、最小阈值。在本专利技术的优选实施方式中，所述初始状态估计中，进行边缘匹配之前设置有像素点深度值修正步骤，包括：将像素点深度值与预设深度区间进行对比，如果该数值不在所述预设深度区间，则采用EKF进行深度估计，得到新的深度值。在本专利技术的优选实施方式中，“通过检测相机状态对相机轨迹进行约减”，其方法为：计算相邻帧之间相机运动的线速度；如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；如果相似度低于设定第二阈值，则删除该帧位姿；输出约减后的图像帧位姿。在本专利技术的优选实施方式中，“计算该帧图像与闭环帧图像的相似度”，其方法为：步骤301，根据像素点与空间三维点的投影关系、第i帧深度图像的深度值，计算深度图像上每个像素所对应的空间三维坐标，计算公式如下：p＝π-1(x,z(x))其中，xp是图像上的任一像素，对应的深度值和空间三维点分别为z(x)和p，π表示2D-3D投影变换关系；步骤302，将步骤301计算得到空间三维点p从第i帧相机坐标系做旋转平移变换到世界坐标系下，得到新的三维点坐标q，计算公式为：q＝Bip其中，Bi为相机坐标系与世界坐标系的变换关系，p和q的坐标分别表示为p本文档来自技高网...

【技术保护点】
1.一种快速鲁棒的RGB‑D室内三维场景重建方法，其特征在于，该方法包括：采用RGB‑D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB‑D图像进行多尺度体数据融合，生成完整的场景三维模型。

【技术特征摘要】
1.一种快速鲁棒的RGB-D室内三维场景重建方法，其特征在于，该方法包括：采用RGB-D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型。2.根据权利要求1所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“基于点线融合相机跟踪算法进行相机实时跟踪”包括三个线程：跟踪线程、局部构图线程、闭环检测线程；所述跟踪线程，基于RGB-D相机采集到的彩色图像与深度图像序列，进行初始姿态估计、跟踪局部地图、关键帧的判断；其中，所述初始状态估计通过松耦合的方式联合特征点跟踪与边缘跟踪，通过最小化能量函数估计相机姿态；所述局部构图线程，用于对每个新的关键帧完成局部地图构建；所述闭环检测线程，用于对局部地图构建过程中最后处理的关键帧进行闭环检测，并在确定闭环后进行闭环修正。3.根据权利要求2所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，所述初始状态估计中，通过松耦合的方式联合特征点跟踪与边缘跟踪估计相机姿态所采用的最小化能量函数为：其中，ep是特征点的重投影误差，ee是边缘的几何距离误差，χC表示相邻帧的匹配集合，ρp和ρe是Huber函数，λ∈[0,1]是权重因子，B为相邻帧图像间的变换关系。4.根据权利要求3所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，特征点的重投影误差ep为：ep＝X′-KBX其中，X表示ORB特征点的三维坐标，X'表示匹配点的位置，K为相机内参矩阵，B为相邻帧图像间的变换关系；边缘的几何距离误差ee为：ee＝d(L',τ(K,B,L))其中，L表示边缘上像素的坐标，L'表示匹配点的位置，d表示几何距离误差，τ(K,B,L)为边缘上像素的坐标L在相邻帧图像中对应的三维点坐标；权重因子λ基于场景纹理的丰富程度进行分别取值：其中，N表示每帧图像上提取的ORB特征数量，Nmax和Nmin是最大、最小阈值。5.根据权利要求3所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，所述初始状态估计中，进行边缘匹配之前设置有像素点深度值修正步骤，包括：将像素点深度值与预设深度区间进行对比，如果该数值不在所述预设深度区间，则采用EKF进行深度估计，得到新的深度值。6.根据权利要求1所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“通过检测相机状态对相机轨迹进行约减”，其方法为：计算相邻帧之间相机运动的线速度；如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；如果相似度低于设定第二阈值，则删除该帧位姿；输出约减后的图像帧位姿。7.根据权利要求6所述的快速鲁棒的R...

【专利技术属性】
技术研发人员：李建伟，李和平，唐付林，高伟，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11