三维人脸的处理方法、训练方法、生成方法、装置及设备制造方法及图纸

本申请适用于图像处理技术领域，提供了一种三维人脸的处理方法、训练方法、生成方法、装置及设备。所述处理方法包括：获取二维人脸目标图像；获取三维人脸参考模型；根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。通过本申请可获取风格化的三维人脸模型。脸模型。脸模型。

【技术实现步骤摘要】
三维人脸的处理方法、训练方法、生成方法、装置及设备


[0001]本申请属于图像处理
，尤其涉及一种三维人脸的处理方法、训练方法、生成方法、装置及设备。

技术介绍

[0002]人脸图像是图像领域中应用较为广泛的图像。近几年随着研究方法的进步以及相关数据集的收集，人脸风格化成为了一个较为热门的研究领域和应用方向。人脸风格化是将人脸头像转换为特定的风格头像，例如常见的素描肖像风格、卡通形象(动画)风格、油画风格等。但现有技术还无法实现三维的人脸风格化，难以满足用户需求。

技术实现思路

[0003]本申请实施例提供了一种三维人脸的处理方法、训练方法、生成方法、装置及设备，可以获取风格化的三维人脸模型。
[0004]第一方面，本申请实施例提供了一种三维人脸的处理方法，所述处理方法包括：
[0005]获取二维人脸目标图像；
[0006]获取三维人脸参考模型；
[0007]根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
[0008]在本申请实施例中，通过获取二维人脸目标图像和三维人脸参考模型，可以根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，得到重建的二维人脸图像对应的三维人脸目标模型，从而获得二维人脸图像对应的风格化的三维人脸模型。
[0009]第二方面，本申请实施例提供了一种三维人脸重建网络的训练方法，所述训练方法包括：
[0010]获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
[0011]基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
[0012]根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
[0013]在本申请实施例中，根据至少一个二维人脸样本图像及其对应的三维人脸样本模型，以及待训练的神经网络，可以生成作为预测值的风格化的三维人脸预测模型，根据作为预测值的三维人脸预测模型和作为真实值的三维人脸样本模型的损失值，可以对上述神经网络进行训练，得到三维人脸重建网络。另外，在训练得到三维人脸重建网络的过程中，通过将基于二维人脸参考图像和三维人脸参考模型快速获取的三维人脸样本模型作为真实值，可以减少人工对真实值的标注，提高三维人脸重建网络的训练效率。
[0014]第三方面，本申请实施例提供了一种三维人脸样本模型的生成方法，所述生成方法包括：
[0015]获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
[0016]获取三维人脸参考模型；
[0017]根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
[0018]在本申请实施例中，通过获取三维人脸参考模型和二维人脸样本图像对应的二维人脸参考图像，可以基于二维人脸参考图像中包含的风格化信息，三维人脸参考模型中包含的人脸的三维信息，快速生成用于训练三维人脸重建网络的风格化的三维人脸样本模型，减少了人工对三维人脸样本模型的标注。
[0019]第四方面，本申请实施例提供了一种三维人脸的处理装置，所述处理装置包括：
[0020]目标图像获取模块，用于获取二维人脸目标图像；
[0021]参考模型获取模块，用于获取三维人脸参考模型；
[0022]目标模型获取模块，用于根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
[0023]第五方面，本申请实施例提供了一种三维人脸重建网络的训练装置，所述训练装置包括：
[0024]样本模型获取模块，用于获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
[0025]预测模型获取模块，用于基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
[0026]重建网络训练模块，用于根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
[0027]第六方面，本申请实施例提供了一种三维人脸样本模型的生成装置，所述生成装置包括：
[0028]参考图像获取模块，用于获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
[0029]参考模型获取模块，用于获取三维人脸参考模型；
[0030]样本模型生成模块，用于根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
[0031]第七方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所
述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
[0032]第八方面，本申请实施例提供了一种芯片，包括处理器，所述处理器用于读取并执行存储器中存储的计算机程序，以执行如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
[0033]可选地，所述芯片还包括存储器，所述存储器与所述处理器通过电路或电线连接。
[0034]第九方面，本申请实施例提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
[0035]第十方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤
[0036]可以理解地，上述提供的第四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人脸的处理方法，其特征在于，所述处理方法包括：获取二维人脸目标图像；获取三维人脸参考模型；根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。2.如权利要求1所述的处理方法，其特征在于，所述根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，包括：将所述二维人脸目标图像输入所述三维人脸重建网络，得到所述二维人脸目标图像对应的第一形变参数，所述第一形变参数用于调整所述三维人脸参考模型的形变；根据所述第一形变参数，将所述三维人脸参考模型转化为所述三维人脸目标模型。3.如权利要求2所述的处理方法，其特征在于，所述处理方法还包括：获取至少一个二维人脸样本图像及其对应的三维人脸样本模型；将所述二维人脸样本图像输入待训练的神经网络，得到所述二维人脸样本图像对应的第二形变参数，所述第二形变参数用于调整所述三维人脸参考模型的形变；根据所述第二形变参数，将所述三维人脸参考模型转化为所述二维人脸样本图像对应的三维人脸预测模型；根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到所述三维人脸重建网络。4.如权利要求3所述的处理方法，其特征在于，获取至少一个二维人脸样本图像对应的三维人脸样本模型包括：获取所述二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型。5.如权利要求1至4任一项所述的处理方法，其特征在于，所述获取三维人脸参考模型包括：获取至少一个人脸的三维模型；根据各个三维模型，确定所述三维人脸参考模型。6.一种三维人脸重建网络的训练方法，其特征在于，所述训练方法包括：获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。7.如权利要求6所述的训练方法，其特征在于，所述基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测
模型，包括：将所述二维人脸样本图像输入所述神经网络，得到所述二维人脸样本图像对应的第二形变参数，所述第二形变参数用于调整所述三维人脸参考模型的形变；根据所述第二形变参数，将所述三维人脸参考模型转化为所述三维人脸预测模型。8.一种三维人脸样本模型的生成方法，其特征在于，所述生成方法包括：获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；获取三维人脸参考模型；根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。9.如权利要求8所述的生成方法，其特征在于，所述根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，包括：提取所述二维人脸参考图像的关键特征点；基于所述关键特征点对所述三维人脸参考模型的形变进行约束，以生成所述二维人脸样本图像对应的三维人脸样本模型。10.如权利要求9所述的生成方法，其特征在于，所述基于所述关键特征点对所述三维人脸参考模型的形变进行约束，以生成所述二维人脸样本图像对应的三维人脸样本模型，包括：获取当次迭代对应的第三形变参数，所述第三形变参数用于调整所述三维人脸参考模型的形变，所述第三形变参数包括形状调整参数、旋转参数、尺度调整参数和平移参数；根据所述关键特征点在所述二维人脸参考图像中的坐标、所述三维人脸参考模型中各个三维点的坐标以及当次迭代对应的第三形变参数，确定当次迭代对应的所述三维人脸样本模型中各个三维点的坐标；根据第一公式计算当次迭代对应的第一能量值；若当次迭代对应的第一能量或者当前迭代次数满足预设的迭代停止条件，则根据当次迭代对应的所述三维人脸样本模型中各个三维点的坐标，生成所述三维人脸样本模型；若当次迭代对应的第一能量和所述当前迭代次数不满足所述迭代停止条件，则根据当次迭代对应的所述三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数，并返回执行所述确定当次迭代对应的所述三维人脸样本模型中各个三维点的坐标的步骤以及后续步骤，直至满足所述迭代停止条件；其中，所述第一公式为：在w、p
′
j
和p
j
均为已知量时，E
def
表示当次迭代对应的第一能量值；M表示所述...

【专利技术属性】
技术研发人员：王顺飞，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：