像素对齐的体积化身制造技术

一种形成像素对齐的体积化身的方法包括接收多个二维图像，该多个二维图像具有主体的至少两个或更多个视场。该方法还包括使用可学习权重集来从该多个二维图像中提取多个图像特征；沿着该主体的三维模型与观看者的所选择的观察点之间的方向对该多个图像特征进行投影；以及向该观看者提供该主体的三维模型的图像。还提供了一种系统和一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储指令以执行上述方法。执行上述方法。执行上述方法。

【技术实现步骤摘要】
【国外来华专利技术】像素对齐的体积化身
[0001]相关申请的交叉引用
[0002]本公开涉及并根据35 U.S.C.
§
119(e)要求于2020年12月23日提交的、Lombardi等人的名称为LEARNING TO PREDICT IMPLICIT VOLUMETRIC AVATARS的、第63/129,989号美国临时申请的优先权，出于所有目的，该美国临时申请的内容特此通过引用全部并入。


[0003]本公开涉及在虚拟现实(virtual reality，VR)和增强现实(augmented reality，AR)应用中生成忠实的面部表情，以用于生成实时体积化身。更具体地，本公开提供了VR/AR应用的多身份设置中的实时体积化身。

技术介绍

[0004]在VR/AR应用领域，获取并渲染逼真的人类头部是实现虚拟远程呈现的一个具有挑战性的问题。目前，通过在多视角数据上以特定于个人的方式进行训练的体积方法来实现最高质量。与更简单的基于网格的模型相比，这些模型更好地表示精细的结构，例如头发。体积模型通常采用全局代码来表示面部表情，使得体积模型可以由小的动画参数集来驱动。虽然这种架构实现了令人印象深刻的渲染质量，但是这些架构无法轻易地扩展到多身份设置，并且这些架构计算成本高并且难以在“实时”应用中实践。

技术实现思路

[0005]在第一方面，提供了一种计算机实现的方法，该方法包括：接收多个二维图像，该多个二维图像具有主体的至少两个或更多个视场；使用可学习权重集来从该多个二维图像中提取多个图像特征；沿着该主体的三维模型与观看者的所选择的观察点之间的方向对该多个图像特征进行投影；以及向该观看者提供该主体的三维模型的图像。
[0006]提取多个图像特征可以包括：提取用于收集该多个二维图像的摄像头的固有特性。
[0007]沿着该主体的三维模型与观看者的所选择的观察点之间的方向对多个图像特征进行投影可以包括：对与第一方向相关联的特征图和与第二方向相关联的特征图进行插值。
[0008]沿着该主体的三维模型与所选择的观察点之间的方向对多个图像特征进行投影可以包括：沿着该主体的三维模型和所选择的观察点之间的方向，针对多个像素对多个图像特征进行聚合。
[0009]沿着该主体的三维模型与所选择的观察点之间的方向对多个图像特征进行投影可以包括：以置换不变组合来串联由多个摄像头中的各个摄像头产生的多个特征图，该多个摄像头中的每个摄像头具有固有特性。
[0010]该方法还可以包括：基于该主体的三维模型的图像与该主体的地面真值图像之间的差异来评估损失函数，以及基于该损失函数来更新该可学习权重集中的至少一个可学习
权重。
[0011]该主体可以是客户端设备的用户，该客户端设备具有指向该用户的网络摄像头。该方法还可以包括将所选择的观察点识别为从该客户端设备指向用户的网络摄像头的位置。
[0012]该观看者可以正在使用网络耦接的客户端设备，并且提供该主体的三维模型的图像可以包括：将如下视频流式传输到该网络耦接的客户端设备：该视频具有该主体的三维模型的多个图像。
[0013]该主体可以是客户端设备的用户，该客户端设备具有运行在其中的沉浸式现实应用，并且该方法还可以包括：将所选择的观察点识别为该沉浸式现实应用内观看者所在的位置。
[0014]在第二方面，提供了一种系统，该系统包括：存储器，该存储器存储多个指令；以及一个或多个处理器，该一个或多个处理器被配置为执行该多个指令以使该系统执行第一方面的方法。
[0015]还描述了一种计算机程序产品，该计算机程序产品包括指令，在程序由计算机执行时，该多个指令使计算机执行第一方面的方法。
[0016]还描述了一种计算机可读存储介质，该计算机可读存储介质包括指令，这些指令在由计算机执行时，使该计算机执行第一方面的方法。该介质可以是非暂时性的。
[0017]在第三方面，提供了一种计算机实现的方法，该计算机实现的方法用于训练模型以向虚拟现实头戴式视图器中的自动立体显示器提供主体的视图，该方法包括：从多个用户的面部收集多个地面真值图像；用多个存储的经校准的立体图像对，来修正该多个地面真值图像；用三维面部模型生成多个主体的多个合成视图，其中，该多个主体的多个合成视图包括沿着与该多个主体的多个视图相对应的不同方向投影的多个特征图的插值；以及基于该多个地面真值图像与该多个主体的多个合成视图之间的差异来训练该三维面部模型。
[0018]生成多个合成视图可以包括：沿着所选择的观察方向对来自多个地面真值图像中的各个地面真值图像的图像特征进行投影，以及以置换不变组合来串联由该多个地面真值图像中的各个地面真值图像产生的多个特征图，该多个地面真值图像中的每个地面真值图像具有固有特性。
[0019]训练该三维面部模型可以包括：基于指示该多个地面真值图像与该多个主体的多个合成视图之间的差异的损失函数的值，来更新可学习权重集中的、用于多个特征图中的多个特征中的每个特征的至少一个可学习权重。
[0020]训练该三维面部模型可以包括：基于从该多个地面真值图像投影的像素背景值，来训练用于该多个地面真值图像中的多个像素中的每个像素的背景值。
[0021]该方法还可以包括通过如下的方式来对该多个特征图进行插值：对来自多个摄像头的多个特征向量进行平均以在期望点处形成不同方向的摄像头汇总特征向量。
[0022]训练该三维面部模型可以包括：使用用于收集该多个地面真值图像的多个摄像头中的每个摄像头的特定特征来生成背景模型。
[0023]还描述了一种系统，该系统包括：存储器，该存储器存储多个指令；以及一个或多个处理器，该一个或多个处理器被配置为执行该多个指令以促使该系统执行第三方面的方法。
[0024]还描述了一种计算机程序产品，该计算机程序产品包括指令，在程序由计算机执行时，该多个指令使该计算机执行第三方面的方法。
[0025]还描述了一种计算机可读存储介质，该计算机可读存储介质包括指令，这些指令在由计算机执行时，使该计算机执行第三方面的方法。该介质可以是非暂时性的。
附图说明
[0026]图1示出了适用于在虚拟现实环境中提供实时的、穿着衣服的主体动画的示例架构。
[0027]图2是示出了来自图1的架构的示例服务器和客户端的框图。
[0028]图3示出了如下模型架构的框图：该模型架构用于VR/AR头戴式视图器(headset)用户的面部的一部分的3D再现。
[0029]图4A至图4C示出了在仅给出两个视图作为输入的情况下计算的体积化身。
[0030]图5示出了与地面真值身份相比的不同技术：现实捕获、神经体积、全局调节的神经辐射场(Neural Radiance Field，NeRF)和像素对齐的技术。
[0031]图6示出了与地面真值相比的在典型视点使用eNerf和像素对齐的化身生成的阿尔法(alpha)/正常/化身。
[0032]图7示出了关本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：接收多个二维图像，所述多个二维图像具有主体的至少两个或更多个视场；使用可学习权重集来从所述多个二维图像中提取多个图像特征；沿着所述主体的三维模型与观看者的所选择的观察点之间的方向对所述多个图像特征进行投影；以及向所述观看者提供所述主体的所述三维模型的图像。2.根据权利要求1所述的计算机实现的方法，其中，提取多个图像特征包括：提取摄像头的固有特性，所述摄像头用于收集所述多个二维图像。3.根据权利要求1或2所述的计算机实现的方法，其中，沿着所述主体的三维模型与观看者的所选择的观察点之间的方向对多个图像特征进行投影包括：对与第一方向相关联的特征图和与第二方向相关联的特征图进行插值。4.根据任一项前述权利要求所述的计算机实现的方法，其中，沿着所述主体的三维模型与所选择的观察点之间的方向对多个图像特征进行投影包括：沿着所述主体的三维模型与所述所选择的观察点之间的所述方向，针对多个像素对所述多个图像特征进行聚合。5.根据任一项前述权利要求所述的计算机实现的方法，其中，沿着所述主体的三维模型与所选择的观察点之间的方向对多个图像特征进行投影包括：以置换不变组合来串联由多个摄像头中的各个摄像头产生的多个特征图，所述多个摄像头中的每个摄像头具有固有特性。6.根据任一项前述权利要求所述的计算机实现的方法，还包括：基于所述主体的三维模型的图像与所述主体的地面真值图像之间的差异来评估损失函数，以及基于所述损失函数来更新所述可学习权重集中的至少一个可学习权重。7.根据任一项前述权利要求所述的计算机实现的方法，其中，所述主体是客户端设备的用户，所述客户端设备具有指向所述用户的网络摄像头，所述方法还包括：将所述所选择的观察点识别为从所述客户端设备指向所述用户的所述网络摄像头的位置。8.根据任一项前述权利要求所述的计算机实现的方法，其中，所述观看者正在使用网络耦接的客户端设备，并且提供所述主体的所述三维模型的图像包括：将如下视频流式传输到所述网络耦接的客户端设备：所述视频具有所述主体的三维模型的多个图像。9.根据任一项前述权利要求所述的计算机实现的方法，其中，所述主体是客户端设备的用户，...

【专利技术属性】
技术研发人员：斯蒂芬，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：