模型生成、3D发型生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种模型生成、3D发型生成方法、装置、电子设备及存储介质。该模型生成方法包括：获取3D发型图，将3D发型图处理成2D发型图；对2D发型图进行预处理，得到2D发型图对应的第一预处理数据；将第一预处理数据作为输入，将2D发型图对应的3D发型图作为输出的目标，对初始模型进行训练；将训练完成的初始模型确定为3D发型重建模型。其中，初始模型中的编解码器均由多个串行的单元模块构成，编解码器之间连接有多个并行的3D卷积模块，单元模块和3D卷积模块的输入端与输出端之间均具有直连分支，使得单元模块能不断融合第一预处理数据的位置信息，保证初始模型随着网络结构的加深，尽可能地少减少头发的位置信息，以提升模型训练效果。模型训练效果。模型训练效果。

【技术实现步骤摘要】
模型生成、3D发型生成方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及图像处理
，特别是涉及一种模型生成、3D发型生成方法、装置、电子设备及存储介质。

技术介绍

[0002]3D头发重建指的是根据平面人头图像重建得到三维立体的人头发型，当前通常将3D头发重建任务转化为一种回归任务，以计算3D头发点的坐标信息。但在当下传统的通过回归重建3D头发的模型中，随着模型网络结构的加深必然会伴随着头发位置信息的不断丢失，使得模型生成的3D发型中的头发位置信息与平面人头图像中的头发位置信息不相适应且差距较大，从而最终导致模型生成的3D发型效果不好，与平面人头图像的差距较大。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种模型生成、3D发型生成方法、装置、电子设备及存储介质，以尽可能减少3D发型重建模型中头发位置信息的丢失。具体技术方案如下：
[0004]在本专利技术实施的第一方面，首先提供了一种模型生成方法，该方法包括：
[0005]获取3D发型图；
[0006]将所述3D发型图处理成2D发型图；
[0007]对所述2D发型图进行预处理，得到所述2D发型图对应的第一预处理数据；
[0008]将所述第一预处理数据作为输入，将所述2D发型图对应的3D发型图作为输出的目标，对初始模型进行训练；其中，所述初始模型的结构为：所述初始模型包括编码器和解码器，所述编码器和所述解码器均由多个串行的单元模块构成，所述编码器与所述解码器之间连接有多个并行的3D卷积模块；所述单元模块的输入端与输出端之间和所述3D卷积模块的输入端与输出端之间均具有直连分支，每个单元模块对数据流上游相连接的单元模块中输入的特征信息进行融合，使得所述单元模块能不断融合第一预处理数据的特征信息，所述特征信息至少包括位置信息，位置信息包括头发点的坐标信息；
[0009]将训练完成的初始模型确定为3D发型重建模型。
[0010]在本专利技术实施的第二方面，还提供了一种3D发型生成方法，所述方法包括：
[0011]获取待处理的2D发型图；
[0012]对所述待处理的2D发型图进行预处理，得到所述待处理的2D发型图对应的第二预处理数据；
[0013]将所述第二预处理数据输入至如本专利技术第一方面所述的模型生成方法生成的3D发型重建模型，得到所述3D发型重建模型输出的3D发型图。
[0014]在本专利技术实施的第三方面，还提供了一种模型生成装置，该装置包括：
[0015]第一图像获取模块，用于获取3D发型图；
[0016]第一图像处理模块，用于将所述3D发型图处理成2D发型图；
[0017]第一数据处理模块，用于对所述2D发型图进行预处理，得到所述2D发型图对应的
第一预处理数据；
[0018]模型训练模块，用于将所述第一预处理数据作为输入，将所述2D发型图对应的3D发型图作为输出的目标，对初始模型进行训练；其中，所述初始模型的结构为：所述初始模型包括编码器和解码器，所述编码器和所述解码器均由多个串行的单元模块构成，所述编码器与所述解码器之间连接有多个并行的3D卷积模块；所述单元模块的输入端与输出端之间和所述3D卷积模块的输入端与输出端之间均具有直连分支，每个单元模块对数据流上游相连接的单元模块中输入的特征信息进行融合，使得所述单元模块能不断融合第一预处理数据的特征信息，所述特征信息至少包括位置信息，所述位置信息包括头发点的坐标信息；
[0019]模型生成模块，用于将训练完成的初始模型确定为3D发型重建模型。
[0020]在本专利技术实施的第四方面，还提供了一种3D发型生成装置，所述装置包括：
[0021]第二图像获取模块，用于获取待处理的2D发型图；
[0022]第二数据处理模块，用于对所述待处理的2D发型图进行预处理，得到所述待处理的2D发型图对应的第二预处理数据；
[0023]3D发型获取模块，用于将所述第二预处理数据输入至如本专利技术第一方面所述的模型生成方法生成的3D发型重建模型，得到所述3D发型重建模型输出的3D发型图。
[0024]在本专利技术实施的第五方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本专利技术实施例第一方面所述的模型生成方法的步骤或本专利技术实施例第二方面所述的3D发型生成方法中的步骤。
[0025]在本专利技术实施的第六方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实现本专利技术实施例第一方面所述的模型生成方法的步骤或本专利技术实施例第二方面所述的3D发型生成方法中的步骤。
[0026]采用本专利技术实施例提供的模型生成方法，将3D发型重建模型设计成编解码器结构，编解码器均由多个单元模块串行构成，且编解码器之间连接有多个并行的3D卷积模块，而单元模块的输入端与输出端之间和3D卷积模块的输入端与输出端之间均具有直连分支。通过本方法所提出的模型结构和该直连分支，每个串行的单元模块均能对其数据流上游相连接的单元模块中输入的特征信息进行融合，且解码器能够通过多个并行的3D卷积模块不断地对编码器的信息进行融合，从而使得3D发型重建模型中的每个单元模块均能对其数据流上游相连接的单元模块中输入的特征信息进行融合，也就使得模型中的单元模块能不断融合模型低层的位置信息(即第一预处理数据的头发点坐标信息)，从而保证模型随着网络结构的加深，尽可能地少减少头发的位置信息，使得训练得到的3D发型重建模型能够充分利用图像中头发的位置信息进行处理，最终输出的3D发型图与输入的2D发型图更接近、更匹配，从而得到能很好适用于回归任务的3D发型重建模型。
附图说明
[0027]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0028]图1是本专利技术一实施例示出的一种模型生成方法的流程图；
[0029]图2是本专利技术一实施例示出的一种初始模型的结构示意图；
[0030]图3是本专利技术一实施例示出的一种3D发型获取方法的流程图；
[0031]图4是本专利技术实施例示出的一种发型插值算法的示意图；
[0032]图5是本专利技术一实施例示出的一种3D发型分类方法的流程图；
[0033]图6是本专利技术一实施例示出的一种数据处理方法的流程图；
[0034]图7是本专利技术一实施例示出的一种单元模块信息处理的流程图；
[0035]图8是本专利技术一实施例示出的一种模型生成方法的示意图；
[0036]图9是本专利技术一实施例示出的一种3D发型生成方法的流程图；
[0037]图10是本专利技术一实施例提供的模型生成装置的结构框图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成方法，其特征在于，所述方法包括：获取3D发型图；将所述3D发型图处理成2D发型图；对所述2D发型图进行预处理，得到所述2D发型图对应的第一预处理数据；将所述第一预处理数据作为输入，将所述2D发型图对应的3D发型图作为输出的目标，对初始模型进行训练；其中，所述初始模型的结构为：所述初始模型包括编码器和解码器，所述编码器和所述解码器均由多个串行的单元模块构成，所述编码器与所述解码器之间连接有多个并行的3D卷积模块；所述单元模块的输入端与输出端之间和所述3D卷积模块的输入端与输出端之间均具有直连分支，每个单元模块对数据流上游相连接的单元模块中输入的特征信息进行融合，使得所述单元模块能不断融合第一预处理数据的特征信息，所述特征信息至少包括位置信息，所述位置信息包括头发点的坐标信息；将训练完成的初始模型确定为3D发型重建模型。2.根据权利要求1所述的方法，其特征在于，所述编码器和所述解码器均由多个串行的单元模块构成，包括：所述编码器和所述解码器分别由多个单元模块串联构成，且所述编码器中的最后一个单元模块与所述解码器中的第一个单元模块串联连接；其中，所述编码器中的单元模块与所述解码器中的单元模块一一对应；所述编码器与所述解码器之间连接有多个并行的3D卷积模块，包括：所述编码器中的各单元模块与各单元模块在所述解码器中对应的单元模块之间连接有3D卷积模块。3.根据权利要求1所述的方法，其特征在于，所述获取3D发型图，包括：对多个原始3D发型图中的各原始3D发型进行分类；对属于同一类型的两个原始3D发型分别进行发根点位的聚类，分别得到所述两个原始3D发型中每个原始3D发型的多个发束中心簇；将所述两个原始3D发型进行以所述多个发束中心簇为标准的两两插值，获得属于同一类型的多个3D新发型；将获得的属于各类型的多个3D新发型的3D新发型图，添加到包含所述多个原始3D发型图的3D发型库中；从所述3D发型库中获取3D发型图。4.根据权利要求3所述的方法，其特征在于，所述对多个原始3D发型图中的各原始3D发型进行分类，包括：将所述原始3D发型图映射成原始2D发型图；对所述原始2D发型图进行图像分割，得到所述原始2D发型图中头发区域对应的掩膜，根据所述掩膜进行发型长度的划分，得到划分结果；对所述原始2D发型图中头发区域进行方向图的计算，确定头发的曲率；根据所述头发的曲率以及所述划分结果，确定每个原始3D发型的所属类型。5.根据权利要求1所述的方法，其特征在于，所述对所述2D发型图进行预处理，得到所述2D发型图对应的第一预处理数据，包括：通过滤波器对所述2D发型图进行处理，得到所述2D发型图的方向图；对所述2D发型图进行图像分割，得到所述2D发型图头发区域对应的掩膜；
通过人体轮廓识别模型对所述2D发型图进行处理，得到所述2D发型图的人头轮廓信息；将所述2D发型图的方向图、所述2D发型图头发区域对应的掩膜和所述...

【专利技术属性】
技术研发人员：朱子魁，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：