基于三阶球面谐波的动态场景高精度实时三维重建方法及系统技术方案

本发明专利技术公开了一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统，其中，方法包括：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点联合能量函数，对能量函数进行求解，以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过彩色图像自适应地补全和更新场景表面的反射率信息。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

High accuracy real-time 3D reconstruction method and system for dynamic scene based on three order spherical harmonics

The invention discloses a high-precision real-time three-dimensional reconstruction method and system for dynamic scene based on third-order spherical harmonics. The method includes: shooting dynamic scene through RGBD camera to obtain depth and color image sequence; transforming a single depth image into three-dimensional point cloud to obtain three-dimensional point cloud and reconstruct a heavy top. Matching point pairs between vertices of a parameterized human body model; solving the energy function according to the joint energy function of matching points, aligning the geometric and surface reflectivity of the reconstructed model with three-dimensional point clouds and color image sequences, respectively, according to the results of the solution; adaptively updating and completing the following by depth map The 3D model is used to adaptively complement and update the reflectivity information of the scene surface through color images. The method is accurate, robust, simple and easy to solve, and runs at real time. It has broad application prospects. It can be implemented quickly on PC or workstation hardware systems.

【技术实现步骤摘要】
基于三阶球面谐波的动态场景高精度实时三维重建方法及系统
本专利技术涉及计算机视觉和计算机图形学
，特别涉及一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统。
技术介绍
动态场景三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态场景三维模型在影视娱乐、物体三维数据统计分析等领域有着广泛的应用前景和重要的应用价值。然而，相关技术中，高质量三维场景模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求场景保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中。第三，速度慢，重建一个中规模三维模型需要很长的时间。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建方法，该方法求解准确鲁棒，简单易行，运行速度快，适用性广。本专利技术的另一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建系统。为达到上述目的，本专利技术一方面实施例提出了一种基于三阶球面谐波的动态场景高精度实时三维重建系统，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。本专利技术实施例的基于三阶球面谐波的动态场景高精度实时三维方法，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。另外，根据本专利技术上述实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述能量函数为：其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照；Edepth为深度数据项；Eshading为光照项；Emreg为局部刚性运动约束项；Elerg为场景光照求解正则项；λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。进一步地，在本专利技术的一个实施例中，所述深度图像的投影公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。进一步地，在本专利技术的一个实施例中，所述顶点的计算公式为：其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为变形矩阵的旋转部分。进一步地，在本专利技术的一个实施例中，根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。为达到上述目的，本专利技术另一方面实施例提出了一种基于三阶球面谐波的动态场景高精度实时三维重建系统，包括：信息采集模块，用于通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；联合匹配模块，用于将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；光照、运动联合解算模块，用于根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；图像序列对齐模块，用于对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；自适应模型更新模块，用于通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。本专利技术实施例的基于三阶球面谐波的动态场景高精度实时三维系统，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该系统具有设备简单，方便部署和可扩展性强等优点，所需的输入信息容易采集，且求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景。另外，根据本专利技术上述实施例的基于三阶球面谐波的动态场景高精度实时三维重建系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述能量函数为：其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。进一步地，在本专利技术的一个实施例中，所述深度图像的投影公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。进一步地，在本专利技术的一个实施例中，所述顶点的计算公式为：其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分，为变形矩阵的旋转部分。进一步地，在本专利技术的一个实施例中，包括加权求解模块，用于：根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法的流程图；和图2为根据本专利技术一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于三阶球面谐波的动态场景高精度实时三维重建方法及系统，首先将参照附图描述根据本专利技术实施例提出的基于三阶球面谐波的动态场景高精度实时三维重建方法。图1为根据本专利技术一个实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法的流程图。如图1所示，该基于三阶球面谐波的动态场景高精度实时三维重建方法包括以下步骤：在步骤S101中，通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列。具体而言，使用RGBD相机对动态场景进行拍摄，获得连续的深度图像序列和彩色图像序列。在步骤S102中，本文档来自技高网...

【技术保护点】
1.一种基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。

【技术特征摘要】
1.一种基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。2.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述能量函数为：其中，Etotal为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，Edepth为深度数据项，Eshading为光照项，Emreg为局部刚性运动约束项，Elerg为场景光照求解正则项，λdepth、λshading、λmreg和λlreg分别为对应各个能量项的权重系数。3.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述深度图像的投影公式为：其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，为深度相机内参矩阵。4.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述顶点的计算公式为：其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为变形矩阵的旋转部分。5.根据权利要求1-4任一项所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。6.一种基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征...

【专利技术属性】
技术研发人员：刘烨斌，郭凯文，徐枫，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11