动态人体三维模型补全方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种动态人体三维模型补全方法、装置、设备和介质，涉及计算机视觉、计算机图形学、三维重建、虚拟现实及增强现实等技术领域。具体实施方案为：利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；对所述部分三维模型和所述完整三维模型进行配准；融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。根据本发明专利技术得技术实现了利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。

【技术实现步骤摘要】
动态人体三维模型补全方法、装置、设备和介质
本专利技术实施例涉及计算机视觉、计算机图形学、三维重建、虚拟现实及增强现实等
尤其涉及一种动态人体三维模型补全方法、装置、设备和介质。
技术介绍
在计算机视觉和计算机图形学中，从静态场景的重建、渲染问题到运动物体(尤其是人)的跟踪和表面重建，重建一直是两个学科的重要研究问题。目前的单视角动态重建方法为：基于RGBD的单视角动态重建方法。该方法基于单RGBD单视角动态重建可以通过融合时序信息，将动态重建分为物体运动场估计与参考帧下表面融合这两部分，解决了单帧无法观测到完整模型的问题。然而这种单视角方法依赖于精心设计或者小心谨慎的人体自扫描过程，往往需要人体在相机前转一周。该操作极大限制了其应用范围，对用户不够友好。
技术实现思路
本专利技术提供一种动态人体三维模型补全方法、装置、设备和介质，以实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。第一方面，本专利技术实施例提供了动态人体三维模型补全方法，该方法包括：利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；对所述部分三维模型和所述完整三维模型进行配准；融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。第二方面，本专利技术实施例还提供了动态人体三维模型补全装置，该装置包括：图像采集模块，用于利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；模型重建模块，用于根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；完整模型确定模块，用于将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；模型配准模块，用于对所述部分三维模型和所述完整三维模型进行配准；模型融合模块，用于融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型第三方面，本专利技术实施例还提供了一种电子设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例中任一所述的动态人体三维模型补全方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一所述的动态人体三维模型补全方法。本专利技术通过根据单视角采集的深度图像和RGB图像，确定目标人体的部分三维模型和完整三维模型；配准部分三维模型和完整三维模型；融合配准后的部分三维模型和完整三维模型，从而实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。附图说明图1为本专利技术实施例一提供的一种动态人体三维模型补全方法的流程图；图2是本申请实施例二提供的一种动态人体三维模型补全方法的流程图；图3是本申请实施例三提供的一种动态人体三维模型补全方法的流程图；图4是本申请实施例四提供的一种动态人体三维模型补全方法的流程图；图5是本申请实施例五提供的一种动态人体三维模型补全方法的流程图；图6是本申请实施例五提供的一种人体三维重建的效果示意图；图7是本申请实施例六提供的一种动态人体三维模型补全装置的结构示意图；图8为本专利技术实施例七提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种动态人体三维模型补全方法的流程图。本实施例可适用于利用单视角对人体进行完整动态重建的情况。该方法可以由一种动态人体三维模型补全装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本申请实施例提供的动态人体三维模型补全方法包括：S110、利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像。其中，至少一个深度图像采集设备的数量可以是一个、两个或多个，该设备的采集视角也可以是一个、两个或多个。因为采集不同视角的图像越多，重建出的人体三维模型越完整。所以此处深度图像采集设备的数量和采集视角可以根据实际需要确定，本实施例对此并不进行限定。目标人体是指待重建三维模型的人体。至少一张深度图像的数量也可以是一张、两张或多张，具体可以根据实际需要确定，本实施例对此也不进行限定。典型地，可以利用一个深度图像采集设备，采集目标人体正面视角的多张深度图像，以进行目标人体的三维重建。S120、根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型。其中，部分三维模型是根据上述至少一张深度图像重建出的不完整的三维模型。因为上述至少一张深度图像的数量和采集视角有限，所以基于上述至少一张深度图像重建出的三维模型通常是不完整的。部分三维模型的重建算法可以现有技术中任一中重建算法。在一个实施例中，该重建算法可以是：利用单视角非刚性动态重建技术(EDnode-graphbased)融合多帧深度图得到当前帧的人体几何模型，该模型用TSDF(TruncatedSignedDistanceFunction，截断符号距离函数)进行体素化模型表征；将融合得到的人体几何模型作为上述部分三维模型。S130、将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型。其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。上述神经网络模型通过利用多张RGB图像和多张RGB图像对应的完整人体三维模型训练得到。完整三维模型是指能完整描述目标人体表面的模型。因为完整三维模型是基于神经网络在已经学习到的重建数据的基础上，根据输入的RGB图像重建得到的，而部分三维模型是利用深度图像重建得到的，所以通常完整三维模型的准确率低于部分三维模型的准确率。S140、对所述部分三维模型和所述完整三维模型进行配准。在一个实施例中，可以基于部分三维模型和完整三维模型之间的刚性运动信息，对部分三维模型和完整三维模型进行配准。S150、融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。其中，最终三维模型包括几何细节的完整人体模型。该模型的准确率大于本文档来自技高网...

【技术保护点】
1.一种动态人体三维模型补全方法，其特征在于，包括：/n利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；/n根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；/n将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；/n对所述部分三维模型和所述完整三维模型进行配准；/n融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。/n

【技术特征摘要】
1.一种动态人体三维模型补全方法，其特征在于，包括：
利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
对所述部分三维模型和所述完整三维模型进行配准；
融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。


2.根据权利要求1所述的方法，其特征在于，所述对所述部分三维模型和所述完整三维模型进行配准，包括：
计算所述部分三维模型与所述完整三维模型之间的非刚性变形信息；
根据计算的非刚性变形信息，对所述部分三维模型和所述完整三维模型进行配准。


3.根据权利要求2所述的方法，其特征在于，通过联合求解如下优化方程，确定所述非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为nodegraph图模型，β0为所述部分三维模型对应拟合的SMPL参数化人体模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。


4.根据权利要求1-3中任一所述的方法，其特征在于，所述将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像，包括：
将所述目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；
其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。


5.根据权利要求1-3中任一所述的方法，其特征在于，所述融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型，包括：
确定配准后的所述部分三维模型的TSDF截断符号距离函数体素化模型表征中，每个部分体素周围非空体素的数量；
根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重，其中该权重与所述每个部分体素周围非空体素的数量负相关，所述每个完整体素是指配准后的所述完整三维模型的TSDF体素化模型表征中，与所述每个部分体素对应的体素；
根据所述每个部分体素的距离值和权重，以及所述每个完整体素的距离值和权重，融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型。


6.根据权利要求5所述的方法，其特征在于，依照如下公式确定所述每个完整体素的权重，
w(v)＝1/(1+N(v))
其中，N(v)表示所述每个部分体素周围非空体素的数量。


7.根据权利要求5所述的方法，其特征在于，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的距离值，



其中，W(v)是所述每个部分体素的权重，d(v)是与所述每个部分体素对应的每个完整体素的距离值，ω(v)是与所述每个部分体素对应的每个完整体素的权重。


8.根据权利要求7所述的方法，其特征在于，依据如下公式，确定与所述每个部分体素对应的每个完整体素的距离值，



其中，表示所述每个部分体素通过非刚性变形后的位置，u是与对应的在所述完整三维模型的三维点，sgn(.)是符号函数，用来判断d(v)取值的正负。


9.根据权利要求5所述的方法，其特征在于，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的权重，
W(v)←W(v)+ω(v)
其中，ω(v)是与所述每个部分体素对应的每个完整体素的权重。


10.一种动态人体三维模型补全装置，包括：
图像采集模块，用于利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
模型重建模块，用于根据所述至少一张深度图像重...

【专利技术属性】
技术研发人员：方璐，苏卓，许岚，温建伟，袁潮，
申请(专利权)人：北京拙河科技有限公司，
类型：发明
国别省市：北京;11