基于深度相机进行室内完整场景三维重建的方法及系统技术方案

本发明专利技术公开一种基于消费级深度相机进行室内完整场景三维重建的方法及系统。其中，该方法包括获取深度图像进行自适应双边滤波；利用滤波后的深度图像进行视觉里程计估计，基于视觉内容对图像序列做自动分段，段与段之间做闭环检测，并进行全局优化；根据优化后的相机轨迹信息进行加权体数据融合，从而重建室内完整场景三维模型。本发明专利技术实施例通过自适应双边滤波算法实现对深度图的保边、去噪，基于视觉内容自动分段算法能有效降低视觉里程计估计中的累积误差并提高配准精度，还采用了加权体数据融合算法，可以有效保持物体表面的几何细节。由此，解决了如何提高室内场景下三维重建精度的技术问题，从而能够得到完整、准确、精细化的室内场景模型。

【技术实现步骤摘要】
基于深度相机进行室内完整场景三维重建的方法及系统
本专利技术涉及计算机视觉
，具体地，涉及一种基于消费级深度相机进行室内完整场景三维重建的方法及系统。
技术介绍
室内场景高精度三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维重建有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行三维重建，但这些仪器大多价格昂贵并且不易携带，所以应用场合有限。随着计算机视觉技术的发展，研究者们开始研究使用纯视觉的方法进行三维重建，其中涌现出来了大量有益的研究工作。消费级深度摄像机MicrosoftKinect推出后，人们可以直接利用深度数据比较便捷地进行室内场景三维重建。Newcombe等人提出的KinectFusion算法利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(IterativeClosestPoint,ICP)算法将三维点在当前帧相机坐标系下的坐标与在全局模型中的坐标进行对齐来估计当前帧相机的姿态，再通过曲面隐函数(TruncatedSignedDistanceFunction,TSDF)迭代进行体数据融合，得到稠密的三维模型。虽然Kinect获取深度不受光照条件和纹理丰富程度的影响，但其深度数据范围只有0.5-4m，而且网格模型的位置和大小是固定的，所以只适用于局部、静态的室内场景。基于消费级深度相机进行室内场景三维重建，一般存在以下几个问题：(1)消费级深度相机获取的深度图像分辨率小、噪声大使得物体表面细节难以保持，而且深度值范围有限不能直接用于完整场景三维重建；(2)相机姿态估计产生的累积误差会造成错误、扭曲的三维模型；(3)消费级深度相机一般都是手持式拍摄，相机的运动状态比较随意，获取的数据质量有好有坏，影响重建效果。为了进行完整的室内场景三维重建，Whelan等人提出了Kintinuous算法，其是对KinectFusion的进一步扩展。该算法使用ShiftingTSDFVolume循环利用显存的方式解决大场景重建时网格模型显存消耗的问题，并通过DBoW寻找匹配的关键帧进行闭环检测，最后对位姿图和模型做优化，从而得到大场景三维模型。Choi等人提出了ElasticFragment思想，先将RGBD数据流每隔50帧做分段，对每段单独做视觉里程计估计，从两两段间的点云数据中提取几何描述子FPFH寻找匹配进行闭环检测，再引入lineprocesses约束对检测结果进行优化、去除错误的闭环，最后利用优化后的里程计信息进行体数据融合。通过分段处理和闭环检测实现了室内完整场景重建，但是没有考虑保留物体的局部几何细节，而且这种固定分段的方法在进行真实室内场景重建时并不鲁棒。Zeng等人提出了3DMatch描述子概念，该算法先将RGBD数据流进行固定分段处理并重建得到局部模型，从每个分段的3D模型上提取关键点作为3D卷积网络(ConvNet)的输入，用该网络学习得到的特征向量作为另一矩阵网络(Metricnetwork)的输入，通过相似度比较输出匹配结果。由于深度网络具有非常明显的特征学习优势，相对其他描述子用3DMatch来做几何配准可以提高重建精度。但这种方法需要先进行局部三维重建，利用深度学习网络来做几何配准，再输出全局三维模型，而且网络训练需要大量的数据，整个重建流程效率较低。在提高三维重建精度方面，Angela等人提出了VSBR算法，其主要思想是利用明暗恢复形状(ShapefromShading，SFS)技术对TSDF数据进行分层优化后再进行融合，以解决TSDF数据融合时过度平滑导致物体表面细节丢失的问题，从而得到较为精细的三维结构模型。但这种方法只对理想光源下的单体重建比较有效，室内场景由于光源变化较大精度提升不明显。有鉴于此，特提出本专利技术。
技术实现思路
为了解决现有技术中的上述问题，即为了解决如何提高室内场景下三维重建精度的技术问题，提供一种基于消费级深度相机进行室内完整场景三维重建的方法及系统。为了实现上述目的，一方面，提供以下技术方案：一种基于消费级深度相机进行室内完整场景三维重建的方法，该方法可以包括：获取深度图像；对所述深度图像进行自适应双边滤波；对滤波后的深度图像进行基于视觉内容的分块融合和配准处理；根据处理结果，进行加权体数据融合，从而重建室内完整场景三维模型。优选地，所述对所述深度图像进行自适应双边滤波具体包括：根据下式进行自适应双边滤波：其中，所述u和所述uk分别表示所述深度图像上的任一像素及其领域像素；所述Z(u)和所述Z(uk)分别表示对应所述u和所述uk的深度值；所述表示滤波后对应的深度值；所述W表示在领域上的归一化因子；所述ws和所述wc分别表示在空间域和值域滤波的高斯核函数。优选地，所述在空间域和值域滤波的高斯核函数根据下式来确定：其中，所述δs和所述δc分别是空间域和值域高斯核函数的方差；其中，所述δs和所述δc根据下式来确定：其中，所述f表示所述深度相机的焦距，所述Ks和所述Kc表示常数。优选地，所述对滤波后的深度图像进行基于视觉内容的分块融合和配准处理具体包括：基于视觉内容对深度图像序列进行分段，并对每一分段进行分块融合，且所述分段间进行闭环检测，对闭环检测的结果做全局优化。优选地，所述基于视觉内容对深度图像序列进行分段，并对每一分段进行分块融合，且所述分段间进行闭环检测，对闭环检测的结果做全局优化具体包括：基于视觉内容检测自动分段方法对深度图像序列进行分段，将相似的深度图像内容分在一个分段中，并对每一分段进行分块融合，确定所述深度图像之间的变换关系，并根据所述变换关系在段与段之间做闭环检测，以实现全局优化。优选地，所述基于视觉内容检测自动分段方法对深度图像序列进行分段，将相似的深度图像内容分在一个分段中，并对每一分段进行分块融合，确定所述深度图像之间的变换关系，并根据所述变换关系在段与段之间做闭环检测，以实现全局优化，具体包括：采用Kintinuous框架，进行视觉里程计估计，得到每帧深度图像下的相机位姿信息；根据所述相机位姿信息，将由所述每帧深度图像对应的点云数据反投影到初始坐标系下，用投影后得到的深度图像与初始帧的深度图像进行相似度比较，并当相似度低于相似度阈值时，初始化相机位姿，进行分段；提取每一分段点云数据中的PFFH几何描述子，并在每两段之间进行粗配准，以及采用GICP算法进行精配准，得到段与段之间的匹配关系；利用每一分段的位姿信息以及所述段与段之间的匹配关系，构建图并采用G2O框架进行图优化，得到优化后的相机轨迹信息，从而实现所述全局优化。优选地，所述根据所述相机位姿信息，将由所述每帧深度图像对应的点云数据反投影到初始坐标系下，用投影后得到的深度图像与初始帧的深度图像进行相似度比较，并当相似度低于相似度阈值时，初始化相机位姿，进行分段，具体包括：步骤1：计算所述每帧深度图像与第一帧深度图像的相似度；步骤2：判断所述相似度是否低于相似度阈值；步骤3：若是，则对所述深度图像序列进行分段；步骤4：将下一帧深度图像作为下一分段的起始帧深度图像，并重复执行步骤1和步骤2，直至处理完所有帧深度图像。优选地，所述步骤1本文档来自技高网...

【技术保护点】
一种基于消费级深度相机进行室内完整场景三维重建的方法，其特征在于，所述方法包括：获取深度图像；对所述深度图像进行自适应双边滤波；对滤波后的深度图像进行基于视觉内容的分块融合和配准处理；根据处理结果，进行加权体数据融合，从而重建室内完整场景三维模型。

【技术特征摘要】
1.一种基于消费级深度相机进行室内完整场景三维重建的方法，其特征在于，所述方法包括：获取深度图像；对所述深度图像进行自适应双边滤波；对滤波后的深度图像进行基于视觉内容的分块融合和配准处理；根据处理结果，进行加权体数据融合，从而重建室内完整场景三维模型。2.根据权利要求1所述的方法，其特征在于，所述对所述深度图像进行自适应双边滤波具体包括：根据下式进行自适应双边滤波：其中，所述u和所述uk分别表示所述深度图像上的任一像素及其领域像素；所述Z(u)和所述Z(uk)分别表示对应所述u和所述uk的深度值；所述表示滤波后对应的深度值；所述W表示在领域上的归一化因子；所述ws和所述wc分别表示在空间域和值域滤波的高斯核函数。3.根据权利要求2所述的方法，其特征在于，所述在空间域和值域滤波的高斯核函数根据下式来确定：其中，所述δs和所述δc分别是空间域和值域高斯核函数的方差；其中，所述δ和所述δ根据下式来确定：其中，所述f表示所述深度相机的焦距，所述Ks和所述Kc表示常数。4.根据权利要求1所述的方法，其特征在于，所述对滤波后的深度图像进行基于视觉内容的分块融合和配准处理具体包括：基于视觉内容对深度图像序列进行分段，并对每一分段进行分块融合，且所述分段间进行闭环检测，对闭环检测的结果做全局优化。5.根据权利要求4所述的方法，其特征在于，所述基于视觉内容对深度图像序列进行分段，并对每一分段进行分块融合，且所述分段间进行闭环检测，对闭环检测的结果做全局优化具体包括：基于视觉内容检测自动分段方法对深度图像序列进行分段，将相似的深度图像内容分在一个分段中，并对每一分段进行分块融合，确定所述深度图像之间的变换关系，并根据所述变换关系在段与段之间做闭环检测，以实现全局优化。6.根据权利要求5所述的方法，其特征在于，所述基于视觉内容检测自动分段方法对深度图像序列进行分段，将相似的深度图像内容分在一个分段中，并对每一分段进行分块融合，确定所述深度图像之间的变换关系，并根据所述变换关系在段与段之间做闭环检测，以实现全局优化，具体包括：采用Kintinuous框架，进行视觉里程计估计，得到每帧深度图像下的相机位姿信息；根据所述相机位姿信息，将由所述每帧深度图像对应的点云数据反投影到初始坐标系下，用投影后得到的深度图像与初始帧的深度图像进行相似度比较，并当相似度低于相似度阈值时，初始化相机位姿，进行分段；提取每一分段点云数据中的PFFH几何描述子，并在每两段之间进行粗配准，以及采用GICP算法进行精配准，得到段与段之间的匹配关系；利用每一分段的位姿信息以及所述段与段之间的匹配关系，构建图并采用G2O框架进行图优化，得到优化后的相机轨迹信息，从而实现所述全局优化。7.根据权利要求6所述的方法，其特征在于，所述根据所述相机位姿信息，将由所述每帧深度图像对应的点云数据反投影到初始坐标系下，用投影后得到的深度图像与初始帧的深度图像进行相似度比较，并当相似度低于相似度阈值时，初始化相机位姿，进行分段，具体包括：步骤1：计算所述每帧深度图像与第一帧深度图像的相似度；步骤2：判断所述相似度是否低于相似度阈值；步骤3：若是，则对所述深度图像序列进行分段；步骤4：将下一帧深度图像作为下一分段的起始帧深度图像，并重复执行步骤1和步骤2，直至处理完所有帧深度图像。8.根据权利要求7所述的方法，其特征在于，所述步骤1具体包括：根据投影关系和任一帧深度图像的深度值，并利用下式计算所述深度图像上每个像素所对应的第一空间三维点：p＝π-1(up,Z(up))其中，所述up是所述深度图像上的任一像素；所述Z(up)和所述p分别表示所述up对应的深度值和所述第一空间三维点；所述π表示所述投影关系；根据下式将所述第一空间三维点旋转平移变换到世界坐标系下，得到第二空间三维点：q＝Tip其中，所述Ti表示第i帧深度图对应空间三维点到世界坐标系下的旋转平移矩阵；所述p表示所述第一空间三维点，所述q表示所述第二空间三维点；所述i取正整数；根据下式将所述第二空间三维点反投影到二维图像平面，得到投影后的深度图像：其中，所述uq是所述q对应的投影后深度图像上的像素；所述fx、所述fy、所述cx和所述cy表示深度相机的内参；所述xq、yq、zq表示所述q的坐标；所述T表示矩阵的转置；分别计算所述起始帧深度图像和任一帧投影后的深度图像上的有效像素个数，并将两者比值作为相似度。9.根据权利要求1所述的方法，其特征在于，所述根据处理结果，进行加权体数据融合，从而重建室内完整场景三维模型具体包括：根据所述处理结果，利用截断符号距离函数网格模型融合各帧的深度图像，并使用体素网格来表示三维空间，从而得到室内完...

【专利技术属性】
技术研发人员：李建伟，高伟，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11