一种人体三维重建方法及设备技术

本申请涉及计算机视觉和计算机图形学技术领域，提供一种人体三维重建方法及设备，通过多个预设关键点和正面点云数据，对参数化人体模型和被驱动模型进行了两次拟合，得到目标参数化人体模型，根据预设的距离策略，自动地将被驱动模型的各个顶点与目标参数化人体模型的相应节点进行快速、合理的绑定，减少了绑定时间，提高了重建效率，并且根据绑定节点的蒙皮权重和获取的参数化人体模型的骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重，使得捕捉到的运动逻辑数据更能贴合被驱动模型，保证被驱动模型与重建对象的姿态和动作一致，避免“穿帮”和“滑步”现象，进而提高了重建模型的精度和真实性。提高了重建模型的精度和真实性。提高了重建模型的精度和真实性。

【技术实现步骤摘要】
一种人体三维重建方法及设备


[0001]本申请涉及计算机视觉和计算机图形学
，尤其涉及一种人体三维重建方法及设备。

技术介绍

[0002]随着虚拟现实(Virtual Reality，VR)技术和增强现实(Augmented Reality，AR)技术逐渐从军事和工业领域正逐步扩展到娱乐和生活领域，人们的社交方式发生了改变。形象逼真的虚拟化身在虚拟空间中进行社交，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。而人体三维重建作为虚拟社交的关键技术，具有重要的研究意义。
[0003]通常的，人体三维重建涉及形态、姿态和纹理数据。重建过程中，首先从各类传感器获得采集信息，然后使用三维重建方法对采集信息进行处理，从而重建出人体三维模型。
[0004]由于网络带宽的限制，目前，3D全息通讯和虚拟直播等社交场景中，大多采用
″
预建模+人体姿态
″
的方式实现实时驱动以满足带宽要求，通过运动捕捉技术获取人体姿态以实时驱动一个预先生成的人体三维模型，从而完成人体的动态三维重建。重建过程中，人体姿态与人体三维模型的运动匹配与绑定作为实时驱动的关键技术，直接影响了模型的重建质量。
[0005]目前，运动匹配和绑定主要有两种方式：一种是动画师手工绑定，这种方式精度高，但是往往需要花费数十个小时，导致模型的重建效率较低；另一种是自动将定义好的人体骨架绑定到人体三维模型，这种方式节约了绑定时间，但精度低，绑定不合理会造成驱动效果差，进而降低了重建模型的保真度。

技术实现思路

[0006]本申请实施例提供了一种人体三维重建方法即设备，用以提高三维模型的重建效率和重建精度。
[0007]第一方面，本申请实施例提供一种人体三维重建方法，包括：
[0008]获取预先构建的参数化人体模型中骨骼节点的运动逻辑数据；
[0009]根据预先构建的被驱动模型中多个预设关键点的三维坐标，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型；
[0010]分别提取所述被驱动模型和所述初始参数化人体模型正面视角下的点云数据，并根据提取的点云数据，确定模型之间的刚性变换关系；
[0011]根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型；
[0012]根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，并根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重；所述节点的蒙皮权重是基于所述骨骼节点预先确定
的；
[0013]根据所述被驱动模型中各个顶点的运动逻辑数据和蒙皮权重，驱动所述被驱动模型运动，得到人体三维模型。
[0014]第二方面，本申请实施例提供一种重建终端，包括处理器、存储器、显示器和至少一个外部通信接口，所述至少一个外部通信接口、所述显示器、所述存储器和所述处理器之间通过总线连接，所述存储器存储有计算机程序指令，所述处理器被配置为基于所述计算机程序指令，执行以下操作：
[0015]通过所述至少一个外部通信接口，获取预先构建的参数化人体模型中骨骼节点的运动逻辑数据；
[0016]根据预先构建的被驱动模型中多个预设关键点的三维坐标，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型；
[0017]分别提取所述被驱动模型和所述初始参数化人体模型正面视角下的点云数据，并根据提取的点云数据，确定模型之间的刚性变换关系；
[0018]根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型；
[0019]根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，并根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重；所述节点的蒙皮权重是基于所述骨骼节点预先确定的；
[0020]根据所述被驱动模型中各个顶点的运动逻辑数据和蒙皮权重，驱动所述被驱动模型运动，得到人体三维模型并由所述显示器显示。
[0021]第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行人体三维重建方法。
[0022]本申请的上述实施例中，基于多个预设关键点，对参数化人体模型进行刚性变换，得到拟合后的初始参数化人体模型，并根据被驱动模型和初始参数化人体模型正面视角下的点云数据，将被驱动模型和初始参数化模型进行对齐并进行非刚性拟合，得到目标参数化人体模型，进一步地，根据预设的距离策略，自动地将被驱动模型的各个顶点与目标参数化人体模型的相应节点进行快速、合理的绑定，减少了绑定时间，提高了重建效率，并且根据绑定节点的蒙皮权重和获取的参数化人体模型的骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重使得捕捉到的运动逻辑数据更能贴合被驱动模型，避免“穿帮”和“滑步”现象，进而提高了重建模型的精度；根据绑定后确定的各个顶点的运动逻辑数据和蒙皮权重，驱动被驱动模型运动，使得被驱动模型与重建对象的姿态和动作一致，保证模型的真实性。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1示例性示出了本申请实施例提供的实时驱动系统的架构图；
[0025]图2示例性示出了本申请实施例提供的人体三维重建方法的整体框架图；
[0026]图3示例性示出了本申请实施例提供的人体三维重建方法中运动匹配和绑定的逻辑图；
[0027]图4示例性示出了本申请实施例提供的人体三维重建的方法流程图；
[0028]图5示例性示出了本申请实施例提供的模型关键点示意图；
[0029]图6示例性示出了本申请实施例提供的模型正面点云提取示意图；
[0030]图7示例性示出了本申请示例提供的重建终端的结构图。
具体实施方式
[0031]为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0032]基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0033]需要说明的是，本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体三维模型重建方法，其特征在于，包括：获取预先构建的参数化人体模型中骨骼节点的运动逻辑数据；根据预先构建的被驱动模型中多个预设关键点的三维坐标，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型；分别提取所述被驱动模型和所述初始参数化人体模型正面视角下的点云数据，并根据提取的点云数据，确定模型之间的刚性变换关系；根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型；根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，并根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重；所述节点的蒙皮权重是基于所述骨骼节点预先确定的；根据所述被驱动模型中各个顶点的运动逻辑数据和蒙皮权重，驱动所述被驱动模型运动，得到人体三维模型。2.如权利要求1所述的方法，其特征在于，所述根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，包括：对所述目标参数化人体模型表面的点进行采样，得到所述目标参数化人体模型的各个节点；针对所述被驱动模型的各个顶点中任意一个顶点，确定所述目标参数化人体模型的各个节点中，与所述一个顶点距离最近的至少一个节点，并将所述至少一个节点与所述一个顶点进行绑定。3.如权利要求1所述的方法，其特征在于，所述根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重，包括：针对所述各个顶点中的任意一个顶点，执行以下操作：分别确定所述一个顶点绑定的至少一个节点到所述一个顶点的距离，对所述至少一个距离进行归一化，得到所述一个顶点的蒙皮权重；根据所述至少一个节点各自关联的各个骨骼节点的运动逻辑数据，以及所述至少一个节点各自的蒙皮权重，确定所述至少一个节点各自的运动逻辑数据；根据所述至少一个节点的运动逻辑数据和所述一个顶点的蒙皮权重，确定所述一个顶点的运动逻辑数据。4.如权利要求1所述的方法，其特征在于，通过以下方式确定所述多个预设关键点的三维坐标：确定所述被驱动模型的中心点在世界坐标系中的三维坐标；按照所述被驱动模型中多个预设关键点与所述中心点的预设缩放比例，根据所述中心点的三维坐标，确定所述多个预设关键点的三维坐标。5.如权利要求1
‑
4中任一项所述的方法，其特征在于，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型，包括：对所述参数化人体模型中相应的关键点进行刚性变换，确定所述参数化人体模型的初始形状参数和根节点的姿态参数；根据所述初始形状参数和根节点的姿态参数，更新所述参数化人体模型，得到初始参
数化人体模型。6.如权利要求1
‑
4中任一项所述的方法，其特征在于，所述根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型，包...

【专利技术属性】
技术研发人员：许瀚誉，陈春朋，张思栋，刘帅，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：