联合刚性运动和非刚性形变的三维重建方法及装置制造方法及图纸

本发明专利技术公开了一种联合刚性运动和非刚性形变的三维重建方法及装置，其中，方法包括：对目标对象进行基于深度相机的拍摄得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；获取三维点云和重建模型顶点之间的匹配点对；根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；获得当前帧的更新后的模型，以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

【技术实现步骤摘要】
联合刚性运动和非刚性形变的三维重建方法及装置
本专利技术涉及计算机视觉和计算机图形学
，特别涉及一种联合刚性运动和非刚性形变的三维重建方法及装置。
技术介绍
动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。从技术角度，现有的重建方法要么集中在先求解对象的刚性运动信息，获得对象的逼近，进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面，现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种联合刚性运动和非刚性形变的三维重建方法，该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。本专利技术的另一个目的在于提出一种联合刚性运动和非刚性形变的三维重建装置。为达到上述目的，本专利技术一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建方法，包括以下步骤：对目标对象进行基于深度相机的拍摄，以得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对所述能量函数进行GPU(GraphicsProcessingUnit，图形处理器)优化求解，以获得每个表面顶点的非刚性形变，根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。本专利技术实施例的联合刚性运动和非刚性形变的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。另外，根据本专利技术上述实施例的联合刚性运动和非刚性形变的三维重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为所述深度相机的内参矩阵。进一步地，在本专利技术的一个实施例中，所述能量函数为：Et＝λnEn+λsEs+λjEj+λgEg+λbEb，其中，Et为总能量项，En为非刚性表面形变约束项，Es为刚性骨架运动约束项，Ej为刚性骨架识别约束项，Eg为局部刚性运动约束项，λn、λs、λj和λg分别为对应各个约束项的权重系数。进一步地，在本专利技术的一个实施例中，其中，其中，ui表示同一匹配点对中三维点云的位置坐标，ci表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，表示模型上第i个顶点周围的邻近顶点的集合，和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用，和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。进一步地，在本专利技术的一个实施例中，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为该变形矩阵的旋转部分；为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。为达到上述目的，本专利技术另一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建装置，包括：拍摄模块，用于对目标对象进行基于深度相机的拍摄，以得到单张深度图像；提取模块，用于通过三维骨架提取算法对深度点云进行三维骨架提取；匹配模块，将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；解算模块，用于根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；求解模块，用于对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；模型更新模块，用于融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。本专利技术实施例的联合刚性运动和非刚性形变的三维重建装置，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。另外，根据本专利技术上述实施例的联合刚性运动和非刚性形变的三维重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述匹配模块进一步用于通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为所述深度相机的内参矩阵。进一步地，在本专利技术的一个实施例中，所述能量函数为：Et＝λnEn+λsEs+λjEj+λgEg+λbEb，其中，Et为总能量项，En为非刚性表面形变约束项，Es为刚性骨架运动约束项，Ej为刚性骨架识别约束项，Eg为局部刚性运动约束项，λn、λs、λj和λg分别为对应各个约束项的权重系数。进一步地，在本专利技术的一个实施例中，其中，其中，ui表示同一匹配点对中三维点云的位置坐标，ci表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，表示模型上第i个顶点周围的邻近顶点的集合，和分别代表已知非刚性运动对模型表面顶本文档来自技高网...

【技术保护点】
1.一种联合刚性运动和非刚性形变的三维重建方法，其特征在于，包括以下步骤：对目标对象进行基于深度相机的拍摄，以得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；以及融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

【技术特征摘要】
1.一种联合刚性运动和非刚性形变的三维重建方法，其特征在于，包括以下步骤：对目标对象进行基于深度相机的拍摄，以得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；以及融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。2.根据权利要求1所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为所述深度相机的内参矩阵。3.根据权利要求1所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，所述能量函数为：Et＝λnEn+λsEs+λjEj+λgEg+λbEb，其中，Et为总能量项，En为非刚性表面形变约束项，Es为刚性骨架运动约束项，Ej为刚性骨架识别约束项，Eg为局部刚性运动约束项，λn、λs、λj和λg分别为对应各个约束项的权重系数。4.根据权利要求3所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，其中，其中，ui表示同一匹配点对中三维点云的位置坐标，ci表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，表示模型上第i个顶点周围的邻近顶点的集合，和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用，和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。5.根据权利要求1-4任一项所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：其中，为作用于顶点vi的变形矩阵，包括旋转和平移两部分；为该变形矩阵的旋转部分；为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。6.一种联合刚性运动和非...

【专利技术属性】
技术研发人员：刘烨斌，戴琼海，徐枫，方璐，
申请(专利权)人：清华大学，清华大学深圳研究生院，
类型：发明
国别省市：北京,11