训练和使用隐式表示网络来表示三维对象的系统和方法技术方案

本申请涉及用于训练和使用隐式表示网络来表示三维对象的系统和方法。用于使用隐式表示网络(IRN)进行三维(3D)动画制作的系统和方法，包括：将IRN网络与表情提取网络和身份提取网络一起训练，其中表情提取网络被训练以从人脸的输入图像生成表情嵌入，身份提取网络被训练以从输入图像生成身份嵌入，以及IRN网络被训练以获得表情嵌入和身份嵌入并生成人脸的隐式3D表示；以及通过改变身份嵌入和表情嵌入中的至少一个来控制人脸的隐式3D表示的表情和身份中的至少一个。

【技术实现步骤摘要】

专利
本专利技术的实施例总体上涉及计算机图形学领域。更具体地，本专利技术的实施例涉及训练和使用隐式表示网络(implicit representation network)来表示三维对象。

技术介绍

0、背景

1、随着视频游戏或沉浸式体验中使用的虚拟环境的兴起，例如出现在用户周围的计算机化三维(3d)图像或场景，例如虚拟现实(vr)或混合现实(xr)，对人类的详细3d表示的需求也增加。优选地，这些3d表示可以在形状(例如，外部形式)和纹理(例如，外部覆盖物)方面尽可能详细，并且可以允许可控性和集成到现有的3d引擎中。从受试者的部分信息重建这些高质量的表示是非常有用的，其中描述3d形状的信息可能是部分的，因为它取自图像、部分扫描或单个图像的集合。

2、隐式表示网络(irn)可以包括一种生成式人工智能(ai)或机器学习(ml)网络，其可以通过预测信号、形状或对象在查询的连续点处的局部属性来表示复合的信号、形状或对象。这些模型可以描述复合的3d对象和先验(prior)，以及表示高质量的纹理。

3、隐式表示可以因模型而异，本文档来自技高网...

【技术保护点】

1.一种用于使用隐式表示网络IRN来产生三维(3D)动画的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，改变所述身份嵌入包括向所述身份提取网络提供具有所需身份的人脸的新输入图像，并且其中，改变所述表情嵌入包括向所述表情提取网络提供具有所需表情的人脸的新输入图像。

3.根据权利要求1所述的方法，其中，所述IRN还获得从人脸的所述输入图像生成的语音嵌入。

4.根据权利要求3所述的方法，其中，所述IRN包括：

5.根据权利要求1所述的方法，其中，所述IRN包括：

6.根据权利要求5所述的方法，包括通过以下方式将所述隐式3D...

【技术特征摘要】

1.一种用于使用隐式表示网络irn来产生三维(3d)动画的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，改变所述身份嵌入包括向所述身份提取网络提供具有所需身份的人脸的新输入图像，并且其中，改变所述表情嵌入包括向所述表情提取网络提供具有所需表情的人脸的新输入图像。

3.根据权利要求1所述的方法，其中，所述irn还获得从人脸的所述输入图像生成的语音嵌入。

4.根据权利要求3所述的方法，其中，所述irn包括：

5.根据权利要求1所述的方法，其中，所述irn包括：

6.根据权利要求5所述的方法，包括通过以下方式将所述隐式3d表示转换为显式3d表示：

7.根据权利要求6所述的方法，其中...

【专利技术属性】
技术研发人员：奥尔·戈罗迪斯基，阿米泰·纳赫马尼，马坦·费尔德曼，伊利安·库塔，吉尔·佩里，萨拉·布朗德海姆，
申请(专利权)人：去识别化有限公司，
类型：发明
国别省市：