在被跟踪网格序列中保持几何细节制造技术

提供了被跟踪网格中几何细节的保持的电子设备和方法。获取感兴趣对象的一组三维(3D)扫描和被跟踪网格序列。被跟踪网格序列包括与该一组3D扫描在时间上对应的一组被跟踪网格。基于该一组被跟踪网格和该一组3D扫描之间的差异，生成一组位移贴图。计算多个向量，该多个向量中的每个向量包括与对应的被跟踪网格的网格顶点相关联的表面张力值。基于该一组位移贴图和对应的一组向量，关于位移贴图生成任务训练神经网络。将经训练的神经网络模型应用于该多个向量以生成位移贴图。基于对应的位移贴图更新每个被跟踪网格。图更新每个被跟踪网格。图更新每个被跟踪网格。

【技术实现步骤摘要】
【国外来华专利技术】在被跟踪网格序列中保持几何细节
[0001]相关申请的交叉引用/通过引用并入
[0002]本申请要求于2021年8月25日在美国专利局提交的美国专利申请No.17/411,432的优先权权益。上述参考申请中的每一个在此通过引用将其整体并入本文中。


[0003]本公开的各种实施例涉及3D计算机图形、动画和人工神经网络。更具体地，本公开的各种实施例涉及在被跟踪网格序列(sequence of tracked meshes)中保持几何细节的电子设备和方法。

技术介绍

[0004]计算机图形学的领域中的进步已经导致了各种三维(3D)建模和网格跟踪技术的发展，以用于被跟踪3D网格序列的生成。在计算机图形学中，网格跟踪被广泛用于电影和视频游戏行业中，以产生3D计算机图形(CG)角色。通常，可以使用多个摄像机来产生被跟踪网格。网格跟踪是具有挑战性的问题，因为可能难以在保持几何细节的同时生成被跟踪网格。许多电影和视频游戏工作室仅使用摄像机来产生被跟踪网格，并单独使用数码相机来捕获精细的几何细节。几何细节可以由CG艺术家手动清理然后添加到3D CG角色模型，这可能很耗时。
[0005]如在本申请的其余部分中参照附图阐述的那样，通过将所描述的系统与本公开的一些方面进行比较，常规方法和传统方法的限制和缺点对本领域的技术人员来说将变得明显。

技术实现思路

[0006]如在权利要求中更完整地阐述的那样，提供一种基本上如至少一个图中所示和/或关于至少一个图所述的在被跟踪网格序列中保持几何细节的电子设备和方法。
[0007]通过审视本公开的以下详细说明连同附图，可以理解本公开的这些和其他特征及优点，在附图中，相同的附图标记始终指代相同的部分。
附图说明
[0008]图1是图示根据本公开的实施例的用于被跟踪网格中几何细节的保持的示例性网络环境的框图。
[0009]图2是图示根据本公开的实施例的用于在被跟踪网格中保持几何形状的示例性电子设备的框图。
[0010]图3A是图示根据本公开的实施例的面部或头部的示例性一组三维(3D)扫描和被跟踪网格的示图。
[0011]图3B是图示根据本公开的实施例的穿着衣服的全身的示例性一组三维(3D)扫描和被跟踪网格的示图。
[0012]图4A是图示根据本公开的实施例的用于生成位移贴图(displacement map)的操作的示图。
[0013]图4B是图示根据本公开的实施例的用于计算被跟踪网格和3D扫描之间的差异的操作的示图。
[0014]图5是图示根据本公开的实施例的多个向量的计算的示图。
[0015]图6是图示根据本公开的实施例的关于位移贴图生成任务的神经网络模型的训练的示图。
[0016]图7是图示根据本公开的实施例的多个位移贴图的生成的示图。
[0017]图8是图示根据本公开的实施例的基于在图7中生成的位移贴图来更新被跟踪网格序列的操作的示图。
[0018]图9是图示根据本公开的实施例的用于在被跟踪网格中保持几何形状的示例性方法的流程图。
具体实施方式
[0019]以下描述的实现方案可以在所公开的用于被跟踪网格序列的几何细节的保持的电子设备和方法中找到。本公开的示例性方面提供一种电子设备，该电子设备可以被配置为获取混合数据集，即，感兴趣对象的一组3D扫描(诸如高质量、低帧速率原始扫描)和被跟踪网格(诸如高帧速率被跟踪网格)序列。通过举例而非限制的方式，被跟踪网格序列可以使用摄像机和现有网格跟踪工具来获取。类似地，该一组3D扫描可以使用数码静止相机或高端摄像机以及现有摄影测量工具来获取。
[0020]首先，可以计算被跟踪网格和对应的3D扫描之间的差异，并且可以使用被跟踪网格的每个顶点的UV坐标在纹理中烘焙(bake)该差异。该操作可以产生位移贴图(3通道图像)，其中顶点的XYZ位移可以被存储在RGB图像通道中。可以针对该一组3D扫描中的每个3D扫描生成位移贴图。此后，可以计算被跟踪网格的每个顶点的表面张力值。通常，当面部从中性表情变形为另一表情时，面部上的一些区域可能出现拉伸或挤压。在对于被跟踪网格的所有顶点计算表面张力值之后，此类值可以被堆叠到被跟踪网格的列向量中。该操作可以为每个被跟踪网格产生向量(也被称为表面张力向量)。对于一些被跟踪网格，表面张力向量和位移贴图两者可能可用，但是对于同一序列的其他被跟踪网格，可能只有向量(表面张力向量)可用。因此，目标是为可能缺少位移贴图的被跟踪网格生成位移贴图。为了生成位移贴图，可以关于位移贴图生成任务训练神经网络模型形式的向量到图像函数。利用表面张力向量和位移贴图的所有可用的对，神经网络模型可以接收表面张力向量作为输入，并且可以输出位移贴图。
[0021]在训练神经网络之后，可以用每个被跟踪网格的表面张力向量来馈送经训练的神经网络，以生成每个被跟踪网格的位移贴图。最后，可以将所生成的位移贴图应用于每个被跟踪网格(诸如低质量、高帧速率的被跟踪网格)上。该操作可以产生高质量、高帧速率的被跟踪网格序列。
[0022]在常规方法中，可能难以产生可具有比阈值更高的帧速率和更高的质量(就多边形计数或精细的几何细节而言)两者的被跟踪网格序列。传统上，诸如皮肤几何形状或微观几何形状之类的几何细节可以使用软件工具手动提取，然后可以被处理以应用于被跟踪网
格上。这可能是耗时且冗长的过程。相比之下，本公开提供关于位移贴图生成任务的神经网络模型的训练。在关于一组位移贴图和多个向量(即，表面张力向量)训练神经网络模型之后，经训练的神经网络模型可以生成每个被跟踪网格的位移贴图。随着每个被跟踪网格的位移贴图的可用，可以将原始3D扫描的精细几何细节转移到被跟踪网格上。因此，由经训练的神经网络模型产生的位移贴图可以被应用于所获取的被跟踪网格序列，以利用包括在一组3D扫描中的精细几何细节来更新被跟踪网格序列。这可以消除通过使用已知软件工具手动提取和处理几何细节的需要。
[0023]图1是图示根据本公开的实施例的用于被跟踪网格中几何细节的保持的示例性网络环境的框图。参照图1，图中示出了网络环境100。网络环境100可以包括电子设备102、捕获系统104、第一成像设备106、第二成像设备108和服务器110。网络环境100还可以包括通信网络112和神经网络模型114。网络环境100还可以包括感兴趣对象，诸如人116。第一成像设备106可以捕获与人116相关联的第一图像帧序列118，而第二成像设备108可以捕获与人116相关联第二图像帧序列120。
[0024]电子设备102可以包括可被配置为获取感兴趣对象的一组三维(3D)扫描和感兴趣对象的被跟踪网格序列的合适的逻辑、电路和接口。可以假设该一组3D扫描(也被称为四维(4D)扫描)是高质量的原始扫描，并且被跟踪网格序列(也被称为4D被跟踪网格)可以是低质量的被跟踪网格。电子设备102可以将精细的几何细节从高质量的原始扫描(即，该一组3D扫描)转移到低质量的被跟踪网格(即，被跟踪网格序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种电子设备，包括：电路，所述电路被配置为：获取感兴趣对象的一组三维(3D)扫描；获取所述感兴趣对象的被跟踪网格序列，其中所获取的被跟踪网格序列包括与所获取的一组3D扫描在时间上对应的一组被跟踪网格；基于所述一组被跟踪网格和所获取的一组3D扫描之间的差异来生成一组位移贴图；计算多个向量，所述多个向量中的每个向量包括与所述被跟踪网格序列中的对应被跟踪网格的网格顶点相关联的表面张力值；基于所计算的一组位移贴图和所计算的多个向量中的对应的一组向量，关于位移贴图生成任务训练神经网络模型；将经训练的神经网络模型应用于所计算的多个向量以生成多个位移贴图；以及基于所生成的多个位移贴图中的对应位移贴图来更新所获取的被跟踪网格序列中的每个被跟踪网格。2.根据权利要求1所述的电子设备，其中所述电路还被配置为：使第二成像设备与第一成像设备同步；在所述同步之后，控制第一成像设备捕获处于动态状态的所述感兴趣对象的第一图像帧序列；以及控制第二成像设备捕获处于所述动态状态的所述感兴趣对象的第二图像帧序列。3.根据权利要求2所述的电子设备，其中第一成像设备是数码静止相机，并且第二成像设备是摄像机，并且第一成像设备以比第二成像设备捕获第二图像帧序列的帧速率更小的帧速率捕获第一图像帧序列。4.根据权利要求2所述的电子设备，其中第一图像帧序列中的每个图像帧的图像分辨率大于第二图像帧序列中的每个图像帧的图像分辨率。5.根据权利要求2所述的电子设备，其中所述电路还被配置为执行包括摄影测量操作的第一组操作以获取所述一组3D扫描，并且其中所述执行基于所捕获的第一图像帧序列。6.根据权利要求2所述的电子设备，其中所述电路还被配置为执行包括网格跟踪操作的第二组操作以获取所述被跟踪网格序列，并且其中所述执行基于所捕获的第二图像帧序列和所述感兴趣对象的参数化3D模型。7.根据权利要求1所述的电子设备，其中所获取的被跟踪网格序列中的每个被跟踪网格中的多边形计数小于所获取的一组3D扫描中的每个3D扫描中的多边形计数。8.根据权利要求1所述的电子设备，其中所述电路还被配置为构造训练数据集以包括输入
‑
输出值对，所述输入
‑
输出值对中的每个输入
‑
输出值对包括：与所述一组被跟踪网格对应的所计算的一组向量中的向量，作为给所述神经网络模型的输入，以及所生成的一组位移贴图中的位移贴图，作为所述神经网络模型的输出的基准真值，其中所述神经网络模型关于所述输入
‑
输出值对被训练多个轮次，直到所述基准真值
与所述神经网络模型的输出之间的损失低于阈值为止。9.根据权利要求1所述的电子设备，其中所述感兴趣对象是人的面部。10.根据权利要求9所述的电子设备，其中所述电路还被配置为：确定所述被跟踪网格序列中的一个或多个第一被跟踪网格与中性面部表情相关联；将与所确定的一个或多个第一被跟踪网格中的每一个的网格顶点相关联的表面张力值确定为零；确定所述被跟踪网格序列中的一个或多个第二被跟踪网格与不同于所述中性面部表情的面部表情相关联；将所确定的一个或多个第二被跟踪网格中的每一个的网格顶点与所述中性面部表情的网格顶点的参考值进行比较；以及基于所述比较，确定与所确定的一个或多个第二被跟踪网格中的每一个的网格顶点相关联的表面张力值。11.根据权利要求1所述的电子设备，其中所述电路还被配置为对所生成的多个位移贴图中的每个位移贴图进行重采样，直到所生成的多个位移贴图中的每个重采样的位移贴图的分辨率对应于所获取的一组3D扫描中的3D扫描的多边形计数为止。12.根据权利要求11所述的电子设备，其中所述更新包括：对所述被跟踪网格序列中的每个被跟踪网格的重采样操作的第一应用，直到重采样的被跟踪网格序列中的每个重采样网格的多边形计数与...

【专利技术属性】
技术研发人员：古川権大，M，
申请(专利权)人：美国索尼公司，
类型：发明
国别省市：