个性化纹理贴图的生成方法及装置制造方法及图纸

本公开提供了一种个性化纹理贴图的生成方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于虚拟数字人、元宇宙等场景下。具体实现方案为：获取目标用户的用户图像；基于用户图像，生成目标用户对应的三维用户模型和目标用户对应的初始个性化纹理贴图；基于三维用户模型和目标虚拟形象模型之间的对应关系，对初始个性化纹理贴图进行变换和迁移，得到对应于目标虚拟形象模型的个性化纹理贴图。本公开显著提高了个性化虚拟形象与目标用户的相似度，同时提高了目标虚拟形象模型对于多风格的个性化纹理贴图的接入效率。效率。效率。

【技术实现步骤摘要】
个性化纹理贴图的生成方法及装置


[0001]本公开涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等
，尤其涉及个性化纹理贴图的生成方法、装置、电子设备、存储介质以及计算机程序产品，可应用于虚拟数字人、元宇宙等场景下。

技术介绍

[0002]随着元宇宙概念的火热，虚拟形象走进了人们的视野。在虚拟形象的捏脸系统中，手动调整虚拟形象的面部形状和纹理的自由度非常有限，而且都是通用的参数。为了提升虚拟形象对于用户的归属感，用户往往想要一个和自身比较贴合的定制角色。现有技术中，一般只注重虚拟形象的形状重建，以提升虚拟形象与真人用户的相似度，并不注重虚拟形象的纹理与真人用户的相似度。

技术实现思路

[0003]本公开提供了一种个性化纹理贴图的生成方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据第一方面，提供了一种个性化纹理贴图的生成方法，包括：获取目标用户的用户图像；基于用户图像，生成目标用户对应的三维用户模型和目标用户对应的初始个性化纹理贴图；基于三维用户模型和目标虚拟形象模型之间的对应关系，对初始个性化纹理贴图进行变换和迁移，得到对应于目标虚拟形象模型的个性化纹理贴图。
[0005]根据第二方面，提供了一种个性化纹理贴图的生成装置，包括：获取单元，被配置成获取目标用户的用户图像；生成单元，被配置成基于用户图像，生成目标用户对应的三维用户模型和目标用户对应的初始个性化纹理贴图；得到单元，被配置成基于三维用户模型和目标虚拟形象模型之间的对应关系，对初始个性化纹理贴图进行变换和迁移，得到对应于目标虚拟形象模型的个性化纹理贴图。
[0006]根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。
[0007]根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。
[0008]根据第五方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。
[0009]根据本公开的技术，提供了一种个性化纹理贴图的生成方法，基于用户的用户图像，即可生成与用户图像所表征的目标用户相适配，且适用于目标虚拟形象模型的个性化纹理贴图，显著提高了个性化虚拟形象与目标用户的相似度，同时提高了目标虚拟形象模型对于多风格的个性化纹理贴图的接入效率。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的个性化纹理贴图的生成方法的一个实施例的流程图；图3是根据本实施例的个性化纹理贴图的生成方法的应用场景的示意图；图4是根据本公开的个性化纹理贴图的生成方法的又一个实施例的流程图；图5根据本公开的个性化纹理贴图的生成、渲染过程的示意性流程；图6是根据本公开的个性化纹理贴图的生成装置的一个实施例的结构图；图7是适于用来实现本公开实施例的计算机系统的结构示意图。
具体实施方式
[0012]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0013]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0014]图1示出了可以应用本公开的个性化纹理贴图的生成方法及装置的示例性架构100。
[0015]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0016]终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0017]服务器105可以是提供各种服务的服务器，例如，基于终端设备101、102、103获取的用户图像，生成与用户图像所表征的目标用户相适配，且适用于目标虚拟形象模型的个性化纹理贴图的后台处理服务器。可选的，服务器可以渲染并展示采用个性化纹理贴图所表征的纹理的虚拟形象。作为示例，服务器105可以是云端服务器。
[0018]需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
[0019]还需要说明的是，本公开的实施例所提供的个性化纹理贴图的生成方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，个性化纹理贴图的生成装置包括的各个部分（例如各个单元）可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
[0020]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当个性化纹理贴图的生成方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括个性化纹理贴图的生成方法运行于其上的电子设备（例如服务器或终端设备）。
[0021]请参考图2，图2为本公开实施例提供的一种个性化纹理贴图的生成方法的流程图，其中，流程200包括以下步骤。
[0022]步骤201，获取目标用户的用户图像。
[0023]本实施例中，个性化纹理贴图的生成方法的执行主体（例如，图1中的终端设备或服务器）可以通过有线网络连接或无线网络连接从远程，或从本地获取目标用户的用户图像。...

【技术保护点】

【技术特征摘要】
1.一种个性化纹理贴图的生成方法，包括：获取目标用户的用户图像；基于所述用户图像，生成所述目标用户对应的三维用户模型和所述目标用户对应的初始个性化纹理贴图；基于所述三维用户模型和目标虚拟形象模型之间的对应关系，对所述初始个性化纹理贴图进行变换和迁移，得到对应于所述目标虚拟形象模型的个性化纹理贴图。2.根据权利要求1所述的方法，其中，所述基于所述用户图像，生成所述目标用户对应的三维用户模型和所述目标用户对应的初始个性化纹理贴图，包括：基于所述用户图像，通过预训练的生成网络，生成所述目标用户对应的三维用户模型和所述目标用户对应的初始个性化纹理贴图。3.根据权利要求2所述的方法，其中，所述生成网络包括形状重建器、纹理编码器、纹理解码器和可微分渲染器，所述生成网络通过如下方式训练得到：基于样本用户图像，通过所述形状重建器，确定所述样本用户图像表征的样本用户的样本模型；将所述样本用户图像展开至预设纹理空间，得到粗纹理贴图；通过所述纹理编码器和所述纹理解码器细化所述粗纹理贴图，得到细纹理贴图；基于所述样本模型和所述细纹理贴图，通过所述可微分渲染器渲染得到目标图像；基于所述样本用户图像和所述目标图像之间的损失，训练得到所述生成网络。4.根据权利要求3所述的方法，其中，所述通过所述纹理编码器和所述纹理解码器细化所述粗纹理贴图，得到细纹理贴图，包括：通过所述纹理编码器得到所述粗纹理贴图的纹理特征；基于所述纹理特征和所述用户图像的图像特征，通过所述纹理解码器细化所述粗纹理贴图，得到所述细纹理贴图。5.根据权利要求3所述的方法，其中，所述生成网络还包括：光照回归器；以及所述方法还包括：通过所述光照回归器，确定所述样本用户图像对应的光照信息；以及所述基于所述样本模型和所述细纹理贴图，通过所述可微分渲染器渲染得到目标图像，包括：基于所述样本模型、所述细纹理贴图和所述光线信息，通过所述可微分渲染器渲染得到所述目标图像。6.根据权利要求1所述的方法，其中，所述基于所述三维用户模型和目标虚拟形象模型之间的对应关系，对所述初始个性化纹理贴图进行变换和迁移，得到对应于所述目标虚拟形象模型的个性化纹理贴图，包括：参照所述三维用户模型，对所述目标虚拟形象模型进行网格对齐和变形，得到变形后虚拟形象模型；确定所述三维用户模型和所述变形后虚拟形象模型之间关于纹理面片的第一对应关系；确定所述三维用户模型的纹理面片和所述初始个性化纹理贴图的像素点之间的第二对应关系；
根据所述第一对应关系和所述第二对应关系，对所述初始个性化纹理贴图进行变换和迁移，得到对应于所述目标虚拟形象模型的个性化纹理贴图。7.根据权利要求1
‑
6中任一项所述的方法，其中，还包括：将所述个性化纹理贴图所表征的所述目标用户的肤色信息，迁移至所述目标虚拟形象模型固有的原生纹理贴图上，得到迁移后肤色信息；将所述迁移后肤色信息和所述原生纹理贴图的肤色信息进行融合，得到融合后纹理贴图；基于所述融合后纹理贴图和所述目标虚拟形象模型，渲染得到采用所述融合后纹理贴图所表征的纹理的虚拟形象。8.根据权利要求7所述的方法，其中，所述将所述个性化纹理贴图所表征的所述目标用户的肤色信息，迁移至所述目标虚拟形象模型固有的原生纹理贴图上，得到迁移后肤色信息，包括：将所述个性化纹理贴图和所述原生纹理贴图转换至第一色彩空间下，得到转换后个性化纹理贴图和转换后原生纹理贴图；确定所述转换后个性化纹理贴图的像素点的像素值的均值和标准差，以及所述转换后原生纹理贴图中的像素点的像素值的均值和标准差；根据所述均值和所述标准差，对所述转换后个性化纹理贴图进行处理，得到处理后个性化纹理贴图；将所述处理后个性化纹理贴图转换至第二色彩空间下，得到所述迁移后肤色信息。9.一种个性化纹理贴图的生成装置，包括：获取单元，被配置成获取目标用户的用户图像；生成单元，被配置成基于所述用户图...

【专利技术属性】
技术研发人员：刘豪杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：