模型训练方法、3D服装渲染方法、电子设备及存储介质技术

本申请实施例提供了一种模型训练方法、3D服装渲染方法、电子设备及存储介质，涉及模型渲染领域，纹理贴图生成模型的训练方法包括：通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中；将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，并将迁移层输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将预测服装纹理贴图以及真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果；根据判别结果调整纹理贴图生成模型以训练纹理贴图生成模型。理贴图生成模型。理贴图生成模型。

【技术实现步骤摘要】
模型训练方法、3D服装渲染方法、电子设备及存储介质


[0001]本申请实施例涉及模型渲染领域，尤其涉及一种模型训练方法、3D服装渲染方法、电子设备及存储介质。

技术介绍

[0002]在设计领域，纹理贴图作为3D模型的渲染素材十分重要。尤其随着元宇宙的兴起，人们对3D模型的服装等也存在着多样化的需求。
[0003]然而，一般情况下，每个适用于3D模型的服装都需要专门的服装设计人员进行设计，并由相关的工作人员根据设计结果生成应用于3D模型的服装纹理贴图，并基于服装纹理贴图进行渲染，才可以将设计出的服装应用至3D模型上并进行呈现，过程极为繁琐且所需要的人工成本较高，无法满足元宇宙等用户日益增长的服装多样性的需求。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种模型训练方案，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种纹理贴图生成模型的训练方法，其中，所述纹理贴图生成模型包括映射网络和生成网络，所述生成网络包括多层间隔设置的卷积层以及迁移层，所述方法包括：通过所述映射网络将随机参数映射为隐空间数据，根据所述隐空间数据进行仿射变换得到纹理贴图风格向量，并将所述纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的所述卷积层以及所述迁移层，将卷积层的输出向量叠加所述随机参数，并将叠加所述随机参数后的所述输出向量输入至迁移层，通过迁移层按照所述纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果；根据所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，调整所述纹理贴图生成模型以及所述判别器的参数以训练所述纹理贴图生成模型，训练后的所述纹理贴图生成模型用于根据所述随机参数生成用于3D服装模型的服装纹理贴图。
[0006]根据本申请实施例的第二方面，提供了一种3D服装渲染方法，包括：通过训练后的纹理贴图生成模型，根据随机参数生成用于3D服装模型的服装纹理贴图，其中，所述纹理贴图生成模型根据如上第一方面所述的纹理贴图生成模型的训练方法训练得到；根据所述服装纹理贴图进行3D服装渲染。
[0007]根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述方法对应的操作。
[0008]根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如上第一方面或者第二方面所述的方法。
[0009]本申请实施例提供的模型训练方案中，纹理贴图生成模型包括映射网络和生成网络，生成网络包括多层间隔设置的卷积层以及迁移层，在训练纹理贴图生成模型的过程中，可以通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的所述输出向量输入至迁移层，通过迁移层按照纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果；根据预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果，调整纹理贴图生成模型以及判别器的参数以训练纹理贴图生成模型，训练后的纹理贴图生成模型用于根据随机参数生成用于3D服装模型的服装纹理贴图。通过本实施例提供的方案训练出的纹理贴图生成模型，可以直接根据随机参数生成服装纹理贴图，极大地节省了设计成本。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0011]图1为适用本申请实施例的方法的示例性系统的示意图；
[0012]图2A为根据本申请实施例一的一种模型结构示意图；
[0013]图2B为图2A所示实施例中的一种模型训练方法的步骤流程图；
[0014]图2C为根据本申请实施例一的一种服装纹理贴图示意图；
[0015]图3A为根据本申请实施例二的一种模型结构示意图；
[0016]图3B为根据本申请实施例二的一种模型训练方法的步骤流程图；
[0017]图4为根据本申请实施例三的一种3D服装渲染方法的流程示意图；
[0018]图5A为根据本申请实施例四的一种3D服装渲染方法的流程示意图；
[0019]图5B为根据本申请实施例四的一种根据服装纹理贴图进行3D服装渲染的流程示意图；
[0020]图5C为图5A所示实施例中的场景示意图；
[0021]图6为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
[0022]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0023]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0024]图1示出了一种适用本申请实施例的模型训练方法或者渲染方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
[0025]云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于进行纹理贴图生成模型的训练。作为可选的示例，在一些实施例中，云服务端102可以被用于通过训练后的纹理贴图生成模型根据随机参数生成服装纹理贴图。作为另一示例，在一些实施例中，云服务端102可以用于将渲染后的3D服装模型发送至用户设备。
[0026]在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纹理贴图生成模型的训练方法，其特征在于，所述纹理贴图生成模型包括映射网络和生成网络，所述生成网络包括多层间隔设置的卷积层以及迁移层，所述方法包括：通过所述映射网络将随机参数映射为隐空间数据，根据所述隐空间数据进行仿射变换得到纹理贴图风格向量，并将所述纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的所述卷积层以及所述迁移层，将卷积层的输出向量叠加所述随机参数，并将叠加所述随机参数后的所述输出向量输入至迁移层，通过迁移层按照所述纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果；根据所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，调整所述纹理贴图生成模型以及所述判别器的参数以训练所述纹理贴图生成模型，训练后的所述纹理贴图生成模型用于根据所述随机参数生成用于3D服装模型的服装纹理贴图。2.根据权利要求1所述的方法，其特征在于，所述真实服装纹理贴图包括以下至少之一：真实服装颜色贴图、真实服装法线贴图、真实服装粗糙度贴图、真实服装金属度贴图。3.根据权利要求1所述的方法，其特征在于，所述纹理贴图生成模型还包括UV轮廓提取网络，所述方法还包括：通过所述UV轮廓提取网络提取所述真实服装纹理贴图的3D服装轮廓数据，得到轮廓掩膜；所述将所述纹理贴图风格向量输入至多个迁移层中，包括：将所述轮廓掩膜与所述纹理贴图风格向量叠加后输入至所述多个迁移层中。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述预测服装纹理贴图与所述真实服装纹理贴图之间的3D服装轮廓数据的差异，调整所述纹理贴图生成模型。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：对所述真实服装纹理贴图进行区域提取，得到贴图于所述3D服装模型的真实贴图区域；所述将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，包括：...

【专利技术属性】
技术研发人员：闫浩男，覃威宁，赵鑫，
申请(专利权)人：北京数字力场科技有限公司，
类型：发明
国别省市：