基于隐函数融合的动态人体三维重建方法和装置制造方法及图纸

本发明专利技术提出一种基于隐函数融合的动态人体三维重建方法和装置，其中，方法包括：通过单个RGBD相机拍摄RGBD图像帧序列；根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取每一帧RGBD图像帧的姿态参数；根据姿态参数确定RGBD图像帧序列中的关键图像帧，并获取关键图像帧的隐含函数；将关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。由此，可以重建出动态、具有丰富几何细节的人体三维模型序列。节的人体三维模型序列。节的人体三维模型序列。

【技术实现步骤摘要】
基于隐函数融合的动态人体三维重建方法和装置


[0001]本专利技术涉及计算机视觉与计算机图形学
，尤其涉及一种基于隐函数融合的动态人体三维重建方法和装置。

技术介绍

[0002]动态人体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。
[0003]但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的第一个目的在于提出一种基于隐函数融合的动态人体三维重建方法，以实现重建出动态、具有丰富几何细节的人体三维模型序列。不仅如此，由于该方法为快速重建方法，可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。
[0006]本专利技术的第二个目的在于提出一种基于隐函数融合的动态人体三维重建装置。
[0007]本专利技术的第三个目的在于提出一种计算机设备。
[0008]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0009]本专利技术的第五个目的在于提出一种计算机程序产品。
[0010]为达上述目的，本专利技术第一方面实施例提出了一种基于隐函数融合的动态人体三维重建方法，包括：通过单个RGBD相机拍摄RGBD图像帧序列；
[0011]根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取所述每一帧RGBD图像帧的姿态参数；
[0012]根据所述姿态参数确定所述RGBD图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；
[0013]将所述关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。
[0014]为达上述目的，本专利技术第二方面实施例提出了一种基于隐函数融合的动态人体三维重建装置，包括：相机拍摄模块，用于通过单个RGBD相机拍摄RGBD图像帧序列；
[0015]深度跟踪模块，用于根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取所述每一帧RGBD图像帧的姿态参数；
[0016]隐函数推导模块，用于根据所述姿态参数确定所述RGBD图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；
[0017]隐函数融合模块，用于将所述关键图像帧与对应的隐含函数融合，并对融合的隐
函数提取等值面生成三维模型。
[0018]为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
[0019]为了实现上述目的，本专利技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
[0020]为了实现上述目的，本专利技术第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
[0021]本专利技术的实施例，至少具有如下的技术效果：
[0022]相较于其他单帧重建或体素融合的方法，具有时域平滑、运动形变合理、重建模型几何细节丰富等优点。该方法基于单个RGBD相机捕获RGBD图像序列，并根据此序列生成时域连续、几何细节丰富的动态人体模型序列。该方法主要包括以下步骤：首先，基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数；然后基于深度神经网络对每一帧RGBD图像预测空间隐函数；以当前帧作为参考帧，根据可见性以及姿势相近性选取关键帧，将当前帧依次变形到关键帧以融合隐函数，最终从融合后的隐函数中提取等值面生成三维模型。
[0023]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0024]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0025]图1为本专利技术实施例所提供的一种基于隐函数融合的动态人体三维重建方法的流程示意图；以及
[0026]图2为本专利技术实施例所提供的一种基于隐函数融合的动态人体三维重建装置的结构示意图。
具体实施方式
[0027]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0028]下面参考附图描述本专利技术实施例的基于隐函数融合的动态人体三维重建方法和装置。
[0029]为了解决上述提到的人体三维模型重建效率低以及成本高的技术问题，本专利技术技术仅需要一个RGBD相机，并且可以快速重建动态人体三维模型。
[0030]图1为本专利技术实施例所提供的一种基于隐函数融合的动态人体三维重建方法的流
程示意图。
[0031]如图1所示，该方法包括以下步骤：
[0032]步骤101，通过单个RGBD相机拍摄RGBD图像帧序列。
[0033]步骤102，根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取每一帧RGBD图像帧的姿态参数。
[0034]在本实施例中，基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数：
[0035]将每张深度图投影到三维空间得到三维点云，寻找点云与参数化模型之间的对应点；根据对应点建立如下能量函数，通过最优化求解出参数化模型的姿势参数。
[0036]E＝E
data
+λ
prior
E
prior
[0037]其中，
[0038][0039]是数据项，保证了经过骨架运动后参数化模型能够与从深度图获得的三维点云尽可能对齐，其中，C是参数化模型与深度点云之间的对应点集合，v和n
v
分别表示经过骨架运动后的参数化模型的顶点坐标及其法向，u为与之对应的对应点坐标。
[0040]E
prior
为先验项，基于高斯混合模型避免求解出不合理的姿势参数。λ
prior
为先验项的权重系数。
[0041]步骤103，根据姿态参数确定RGBD图像帧序列中的关键图像帧，并获取关键图像帧的隐含函数。
[0042]在本实施例中，通过深度神经网络，对每帧RGBD图像预测空间隐函数分布f
t
(x)，其中t代表第t帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐函数融合的动态人体三维重建方法,其特征在于，包括：通过单个RGBD相机拍摄RGBD图像帧序列；根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取所述每一帧RGBD图像帧的姿态参数；根据所述姿态参数确定所述RGBD图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；将所述关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。2.如权利要求1所述的方法，其特征在于，所述根据预设的参数人体模型对每一帧RGBD图像帧运动跟踪，获取所述每一帧RGBD图像帧的姿态参数，包括：将所述每一帧RGBD图像帧投影到三维空间得到三维点云，确定所述三维点云与所述参数人体模型之间的对应点；根据预设的能量函数和所述对应点计算所述姿势参数。3.如权利要求2所述的方法，其特征在于，所述预设的能量函数为：E＝E
data
+λ
prior
E
prior
其中，C是参数人体模型与深度点云之间的对应点集合，v和n
v
分别表示经过骨架运动后的参数人体模型的顶点坐标及其法向，u为与之对应的对应点坐标，E
prior
为先验项，λ
prior
为先验项的权重系数。4.如权利要求1所述的方法，其特征在于，所述获取所述关键图像帧的隐含函数，包括：对所述关键图像帧预测空间隐函数分布f
t
(x)，其中t代表第t帧，x∈R3是空间中一点，其中，5.如权利要求1所述的方法，其特征在于，所述将所述关键图像帧与对应的隐含函数融合，包括：对所述关键图像帧的空间进行采样得...

【专利技术属性】
技术研发人员：刘烨斌，李哲，戴琼海，于涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：