使用神经网络在3D资产渲染中传输几何和纹理样式制造技术

本公开涉及使用神经网络在3D资产渲染中传输几何和纹理样式。对于没有足够的内容创建技能集的用户来说，生成三维(3D)对象模型可能具有挑战性，并且可能需要大量资源。一个或更多个样式传输网络可用于将源资产的几何特征和纹理组件的部分感知样式转换为目标资产。可以将源资产分割为特定部分，然后根据特定部分与目标资产的对应关系扭曲椭球近似。此外，与目标资源相关联的纹理可用于扭曲或调整源纹理，其中新纹理可应用于扭曲的部分。其中新纹理可应用于扭曲的部分。其中新纹理可应用于扭曲的部分。

【技术实现步骤摘要】
使用神经网络在3D资产渲染中传输几何和纹理样式

技术介绍

[0001]三维(3D)对象模型可用于在各种应用中向用户提供内容，诸如视频、动画媒体、视频游戏或其他类型的内容。开发这些对象模型可能很困难，因为创造者通常具有相当高的技能水平，并使用大量时间来生成逼真的研究模型。对于希望生成对象模型的用户来说，时间和技能水平通常是进入的障碍。此外，时间限制可能会导致在应用程序中进行更多复制和粘贴，诸如视频游戏，其中场景中存在大量背景角色，但可能不是活动的焦点。因此，用户驱动的内容创建可能仅限于有用于生成内容的足够时间和资源的某些个人或实体。
附图说明
[0002]将参考附图描述根据本公开的各种实施例，其中：
[0003]图1示出了根据至少一个实施例的用于内容生成的环境的示意图；
[0004]图2A和2B示出了根据至少一个实施例的样式传输网络的示意图；
[0005]图3示出了根据至少一个实施例的几何样式传输网络的示意图；
[0006]图4示出了根据至少一个实施例的示例分割过程；
[0007]图5示出了根据至少一个实施例的示例样式转移过程；
[0008]图6A示出了根据至少一个实施例的用于生成样式化对象模型的示例过程；
[0009]图6B示出了根据至少一个实施例的用于生成样式化对象模型的示例过程；
[0010]图7示出了根据至少一个实施例的示例数据中心系统；
[0011]图8示出了根据至少一个实施例的计算机系统；
[0012]图9示出了根据至少一个实施例的计算机系统；
[0013]图10示出了根据一个或更多个实施例的图形处理器的至少部分；以及
[0014]图11示出了根据一个或更多个实施例的图形处理器的至少部分。
具体实施方式
[0015]根据各种实施例的方法提供了用于三维(3D)对象生成的系统和方法，以将形状样式和纹理样式从一个3D资产(例如，3D对象模型)联合转移到另一个3D资产。各种实施例可以启用允许用户生成自定义三维内容的内容生成工具。用户可以选择源三维模型作为输入，选择代表期望输出样式的目标三维模型。此外，在一个或更多个实施例中，可以提供纹理映射以将纹理(其可以包括图案或视觉外观)应用于输出三维图像，使得期望输出将共享目标的几何外观和目标的纹理(例如视觉)外观。全局几何样式可以表示为对象的近似语义部分形状，其中对象的不同组件被分割，然后有选择地并且单独地被调整。在各种实施例中，样式化留下源的局部几何细节不变，这可能导致不倾斜或以其他方式夸大特征的更高质量模型。各种实现可以包括至少两个网络组件，几何样式传输网络和纹理样式传输网络。然而，应当理解，各种实施例可以包括更多或更少的网络组件，并且某些特征可以被重用或以其他方式重新调整用途以执行一个或更多个功能。几何样式传输网络可以是使用一组非纹理形状训练的经训练的神经网络。相反，纹理样式传输网络可以在一个或更多个图像数
据集上被训练。这些网络输出可以被组合，然后被细化，以优化几何体和纹理。
[0016]本公开的一个或更多个实施例可以针对应用于对象的特定分段组件的一个或更多个变换(例如，仿射变换)。此外，可以利用部分感知的几何损失来训练几何样式传输网络。如前所述，对部分感知几何损失的评估可以使3D对象的不同组成部分实现更精细的扭曲或调整，从而提供改进的输出。在至少一个实施例中，分割是预先确定的，例如至少部分地基于正在评估的对象类型。在其他示例中，分割是用户定义的，其中用户选择对象的不同特征。此外，在一个或更多个实施例中，一个或更多个机器学习系统至少部分地基于训练数据来学习部分分割，以在调整对象的部分时最小化损失。
[0017]本公开的各种实施例可以进一步利用三维对象的多视图渲染来进行三维对象的几何和样式转换。例如，可以应用一个或更多个掩模，以确定哪些特征或对特征的调整可能归因于背景信息，而不是对象。因此，可移除归因于背景的调整(例如，加权为零)，以进一步细化对对象的调整和更改。因此，系统和方法可用于生成高质量的三维对象模型，其可用于内容生成。此外，用户可以利用此类系统和方法扩展三维模型的训练数据集，这可能不足以用于各种应用。
[0018]如图1所示，环境100包括用户设备102，用于接收和消费一个或更多个对象(例如，资产(asset))，这些对象可以是三维(3D)对象模型。例如，用户设备102可以通过网络104向内容提供商环境106提交请求。应当理解，各种特征和组件被显示为仅为了方便而托管在同一环境中，并且这些系统可以单独托管或提供，例如使用不同的分布式计算系统。此外，还可以包括其他特征或组件，诸如支持系统、机器学习系统、数据库等。内容提供商环境106可以包括促进内容传输和内容生成的一个或更多个系统。在至少一个实施例中，用户设备102可以利用内容提供商环境106提交请求，以使用由内容提供商环境提供的一个或更多个模块或软件分组来生成三维对象。因此，在至少一个实施例中，内容提供商环境106可以实现各种类型内容的消费和生成。
[0019]接口108被包括以接收并引导信息到适当位置。接口108可以包括用户可以访问的API，例如经由授权帐户，以在内容提供商环境106内执行一个或更多个功能。不同的帐户可以具有不同的权限级别，并可以访问内容提供商环境106或其他关联系统的不同部分。仅作为示例，用户设备102的用户可以具有访问由内容提供商环境106托管和分发的特定软件分组的有限权限，而其他用户可以具有更大的访问权限。因此，本专利技术的实施例可以指向其中用户具有利用由内容提供商环境106提供的软件系统的适当权限的配置。
[0020]在一个示例中，内容提供商环境106包括内容库110，其可以存储一个或更多个内容片段，诸如三维对象模型、视频内容、图像内容、音频内容、文本内容或其组合。除其他选项外，内容库110可由用户和/或其他系统访问，并可用于生成额外内容或作为脱机内容与其他选项一起供消费。在至少一个实施例中，内容管理器112接收并引导来自用户设备102的请求，诸如检索特定内容或提供对一个或更多个软件分组的访问。如上所述，内容管理器112可以例如通过评估一个或更多个凭证(credential)来进一步验证用户是否被授权访问内容提供商环境106的一个或更多个部分。
[0021]图1进一步示出了内容生成模块114，用户可以访问该模块来创建内容。内容生成模块114可以包括或访问一个或更多个存储器或处理器，以执行存储在一个或更多个存储器上的软件命令。在至少一个实施例中，内容生成模块114以一个或更多个算法的形式执行
命令，该算法包括一组指令以执行一个或更多个任务。在此示例中，内容生成模块114可用于生成一个或更多个3D对象模型，然后可与内容提供商环境106的其他部分(诸如发布模块116、集成模块118或测试模块120)一起使用。应了解，发布模块116可用于发布或使内容可供消费，集成模块118可用于将生成的内容合并到其他内容类型中，诸如将模型加载到游戏中，测试模块120可用于测试或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收源三维3D对象模型；接收目标3D对象模型；确定与所述源3D对象模型相对应的一个或更多个源几何段；确定与所述目标3D对象模型相对应的一个或更多个目标几何段；至少部分地基于所述一个或更多个目标几何段的对应目标形状来调整所述一个或更多个源几何段的相应形状；以及至少部分地基于所述一个或更多个源几何段的调整后的相应形状生成样式化3D对象模型。2.根据权利要求1所述的计算机实现的方法，还包括：确定源纹理；确定目标纹理；使用一个或更多个经训练的神经网络生成样式化纹理；以及将所述样式化纹理应用于所述样式化3D对象模型。3.根据权利要求1所述的计算机实现的方法，还包括：生成所述样式化3D对象模型的多个视图；对所述多个视图中的每个视图应用掩模，以识别一个或更多个背景像素；以及从所述样式化3D对象模型中移除从所述一个或更多个背景像素计算出的一个或更多个特征。4.根据权利要求1所述的计算机实现的方法，其中调整所述相应形状包括对所述一个或更多个源几何段应用3D仿射变换。5.根据权利要求1所述的计算机实现的方法，其中所述目标对象的所述一个或更多个几何段或所述源对象的所述一个或更多个几何段中的至少一部分分割是半监督的。6.根据权利要求1所述的计算机实现的方法，还包括：对于所述一个或更多个源几何段，确定一个或更多个椭球近似。7.根据权利要求1所述的计算机实现的方法，还包括：确定与所述源3D对象模型和所述目标3D对象模型相关联的对象类型；以及至少部分地基于所述对象类型，确定用于所述一个或更多个源几何段的段数。8.根据权利要求1所述的计算机实现的方法，其中所述调整所述相应形状包括使用几何样式传输网络调整所述相应形状，所述几何样式传输网络已经至少部分地在一组非纹理几何形状上进行了训练。9.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于一个或更多个图像数据集来训练纹理样式传输网络。10.一种方法，包括：使用经训练的第一神经网络处理源对象，以确定所述源对象的一个或更多个源几何特征；使用所述经训练的第一神经网络处理目标对象，以确定所述目标对象的一个或更多个目标几...

【专利技术属性】
技术研发人员：尹康学，高俊，M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：