三维发丝生成方法和模型的训练方法技术

本公开提供了一种三维发型生成方法和模型的训练方法，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。实现方案为：获得关于第一对象的多个视角的多个第一图像，第一对象包括包含多个发丝的发型区域；基于多个第一图像，获得与多个第一图像对应的多个第一走向图，多个第一走向图中的每一个第一走向图指示在多个图像中的相应图像中与第一对象的发型区域相应的区域中的每一个像素所对应的发丝线段的方向；基于多个第一走向图，获得第一对象的发型区域的第一发型隐向量；以及基于第一发型隐向量，获得第一对象对应的三维发型。应的三维发型。应的三维发型。

【技术实现步骤摘要】
三维发丝生成方法和模型的训练方法


[0001]本公开涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景，具体涉及一种三维发丝生成方法、模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]三维虚拟形象在社交、直播、游戏等用户场景具有广泛应用价值。基于人工智能的三维虚拟形象生成，通过人脸图像生成虚拟形象，为用户定制个性化的虚拟形象有效在满足用户的个性化需求，具有广泛的应用前景。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种三维发型生成方法、模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种三维发型生成方法，包括：获得关于第一对象的多个视角的多个第一图像，所述第一对象包括包含多个发丝的发型区域；基于所述多个第一图像，获得与所述多个第一图像对应的多个第一走向图，所述多个第一走向图中的每一个第一走向图指示在所述多个图像中的相应图像中与所述第一对象的发型区域相应的区域中的每一个像素所对应的发丝线段的方向；基于所述多个第一走向图，获得所述第一对象的发型区域的第一发型隐向量；以及基于所述第一发型隐向量，获得所述第一对象对应的三维发型，所述三维发型包括与所述多个发丝中的每一个发丝的发丝数据，该发丝数据包括该发丝上的多个节点中的每一个节点的坐标。
[0007]根据本公开的另一方面，提供了一种三维发型生成模型的训练方法，所述三维发型生成模型包括特征提取网络和解码器，所述方法包括：获得三维发丝数据集，所述三维发丝数据集包括多个发丝中的每一个发丝上的多个节点中的每一个节点的坐标，所述多个发丝来自第一头模的发型区域；基于所述三维发丝数据集，获得所述第一头模与多个视角对应的多个训练走向图，所述多个训练走向图中的每一个训练走向图与所述第一头模在所述多个视角中的相应视角下的图像相应，并且指示该图像中的发型区域中的每一个像素所对应的发丝线段的方向；利用所述特征提取网络，基于所述多个训练走向图获得所述三维发
丝数据集对应的训练发型隐向量；利用所述解码器，基于所述训练发型隐向量，获得所述三维发丝数据集对应的预测结果，所述预测结果包括所述多个发丝中的每一个发丝上多个节点的中的每一个节点的坐标；以及基于所述三维发丝数据集和所述预测结果，调整所述三维发型生成模型的参数。
[0008]根据本公开的另一方面，提供了一种三维发型生成装置，包括：第一图像获取单元，被配置用于获得关于第一对象的多个视角的多个第一图像，所述第一对象包括包含多个发丝的发型区域；第一走向图获取单元，被配置用于基于所述多个第一图像，获得与所述多个第一图像对应的多个第一走向图，所述多个第一走向图中的每一个第一走向图指示在所述多个图像中的相应图像中与所述第一对象的发型区域相应的区域中的每一个像素所对应的发丝线段的方向；第一发型隐向量获取单元，被配置用于基于所述多个第一走向图，获得所述第一对象的发型区域的第一发型隐向量；以及三维发型获取单元，被配置用于基于所述第一发型隐向量，获得所述第一对象对应的三维发型，所述三维发型包括与所述多个发丝中的每一个发丝的发丝数据，该发丝数据包括该发丝上的多个节点中的每一个节点的坐标。
[0009]根据本公开的另一方面，提供了三维发型生成模型的训练装置，所述三维发型生成模型包括特征提取网络和解码器，所述装置包括：三维发丝数据集获取单元，被配置用于获得三维发丝数据集，所述三维发丝数据集包括多个发丝中的每一个发丝上的多个节点中的每一个节点的坐标，所述多个发丝来自第一头模的发型区域；训练走向图获取单元，被配置用于基于所述三维发丝数据集，获得所述第一头模与多个视角对应的多个训练走向图，所述多个训练走向图中的每一个训练走向图与所述第一头模在所述多个视角中的相应视角下的图像相应，并且指示该图像中的发型区域中的每一个像素所对应的发丝线段的方向；训练发型隐向量获取单元，被配置用于利用所述特征提取网络，基于所述多个训练走向图获得所述三维发丝数据集对应的训练发型隐向量；预测结果获取单元，被配置用于利用所述解码器，基于所述训练发型隐向量，获得所述三维发丝数据集对应的预测结果，所述预测结果包括所述第一头模多个发丝中的每一个发丝上的多个节点中的每一个节点的坐标；以及参数调整单元，被配置用于基于所述三维发丝数据集和所述预测结果，调整所述三维发型生成模型的参数。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的实施例所述的方法。
[0011]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的实施例所述的方法。
[0012]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的实施例所述的方法。
[0013]根据本公开的一个或多个实施例，实现基于二维图像直接地、自动地生成三维发型，提升三维发型的生成效率，同时减少数据处理量。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0016]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0017]图2示出了根据本公开的实施例的三维发型生成方法的流程图；
[0018]图3示出了根据本公开的实施例的三维发型生成方法中基于多个第一走向图，获得第一发型隐向量的过程的流程图；
[0019]图4示出了根据本公开的实施例的三维发型生成方法中基于第一发型隐向量，获得第一对象对应的三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维发型生成方法，包括：获得关于第一对象的多个视角的多个第一图像，所述第一对象包括包含多个发丝的发型区域；基于所述多个第一图像，获得与所述多个第一图像对应的多个第一走向图，所述多个第一走向图中的每一个第一走向图指示在所述多个图像中的相应图像中与所述第一对象的发型区域相应的区域中的每一个像素所对应的发丝线段的方向；基于所述多个第一走向图，获得所述第一对象的发型区域的第一发型隐向量；以及基于所述第一发型隐向量，获得所述第一对象对应的三维发型，所述三维发型包括与所述多个发丝中的每一个发丝的发丝数据，该发丝数据包括该发丝上的多个节点中的每一个节点的坐标。2.根据权利要求1所述的方法，其中，所述多个视角至少包括所述第一对象对应的前、后、左和右四个视角。3.根据权利要求1所述的方法，其中，所述基于所述多个第一走向图，获得所述第一发型隐向量包括：对所述多个第一走向图进行拼接，以获得拼接图像；以及对所述拼接图像进行特征提取，以获得所述第一发型隐向量。4.根据权利要求3所述的方法，其中，所述对所述拼接图像执行特征提取，以获得所述第一发型隐向量包括：将所述拼接图像输入至经训练的特征提取网络，以获得所述第一发型隐向量，其中，所述经训练的特征提取网络是通过将特征提取网络与解码器组成发型生成模型后采用三维发丝数据集进行训练获得的，在训练所述发型生成模型的过程中，基于所述三维发丝数据集获得与所述多个视角对应的多个训练走向图，通过利用所述特征提取网络对所述多个训练走向图的拼接图像进行特征提取，获得训练发型隐向量，通过将所述训练发型隐向量输入解码器，获得预测结果，并且基于所述三维发丝数据集和所述预测结果之间的损失调整所述发型生成模型的参数。5.根据权利要求1
‑
4中任意一项所述的方法，其中，所述基于所述第一发型隐向量，获得所述第一对象对应的三维发型包括：对所述第一发型隐向量进行修改，以获得目标发型隐向量；以及对所述目标发型隐向量进行解码，以获得所述三维发型。6.根据权利要求5所述的方法，其中，所述对所述第一发型隐向量进行修改，以获得目标发型隐向量包括：获得关于第二对象的所述多个视角的多个第二图像，所述第二对象包括包含多个发丝的发型区域；基于所述多个第二图像，获得与所述多个第二图像对应的多个第二走向图；基于所述多个第二走向图，获得所述第二对象的发型区域的第二发型隐向量；以及基于所述第二发型隐向量对所述第一发型隐向量进行修改，获得目标发型隐向量。7.一种三维发型生成模型的训练方法，所述三维发型生成模型包括特征提取网络和解码器，所述方法包括：获得三维发丝数据集，所述三维发丝数据集包括多个发丝中的每一个发丝上的多个节
点中的每一个节点的坐标，所述多个发丝来自第一头模的发型区域；基于所述三维发丝数据集，获得所述第一头模与多个视角对应的多个训练走向图，所述多个训练走向图中的每一个训练走向图与所述第一头模在所述多个视角中的相应视角下的图像相应，并且指示在该图像中的发型区域中的每一个像素所对应的发丝线段的方向；利用所述特征提取网络，基于所述多个训练走向图获得所述三维发丝数据集对应的训练发型隐向量；利用所述解码器，基于所述训练发型隐向量，获得所述三维发丝数据集对应的预测结果，所述预测结果包括所述多个发丝中的每一个发丝上的多个节点中的每一个节点的坐标；以及基于所述三维发丝数据集和所述预测结果，调整所述三维发型生成模型的参数。8.根据权利要求7所述的方法，其中，所述基于所述三维发丝数据集，获得所述第一头模与多个视角对应的多个训练走向图包括：基于所述三维发丝数据集进行对应于所述多个视角中的每一个视角的渲染操作，以获得所述多个视角中的每一个视角对应的走向图。9.根据权利要求7所述的方法，其中，所述利用所述特征提取网络，基于所述多个训练走向图获得所述三维发丝数据集对应的训练发型隐向量包括：对所述多个训练走向图进行拼接，以获得拼接图像；以及将所述拼接图像输入到所述特征提取网络，以获得所述训练发型隐向量。10.根据权利要求7所述的方法，其中，所述多个视角至少包括所述第一头模对应的前、后、左和右四个视角。11.一种三维发型生成装置，包括：第一图像获取单元，被配置用于获得关于第一对象的多个视角的多个第一图像，所述第一对象包括包含多个发丝的发型区域；第一走向图获取单元，被配置用于基于所述多个第一图像，获得与所述多个第一图像对应的多个第一走向图，所述多个第一走向图中的每一个第一走向图指示在所述多个图像中的相应图像中与所述第一对象的发型区域相应的区域中的每一个像素所对应的发丝线段的方向；第一发型隐向量获取单元，被配置用于基于所述多个第一走向图，获得所述第一对象的发型区域的第一发型隐向...

【专利技术属性】
技术研发人员：彭昊天，陈睿智，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：