模型的训练方法、三维人脸图像生成方法及设备技术

本申请提供一种模型的训练方法、三维人脸图像生成方法及设备，属于三维建模技术领域。该方法包括：输入待训练样本，待训练样本包括二维人脸图像；基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；根据修正后的初始模型，得到三维人脸图像生成模型。本申请可以实现对算力资源的节约以及提高生成的三维人脸图像的细节特征。特征。特征。

【技术实现步骤摘要】
模型的训练方法、三维人脸图像生成方法及设备


[0001]本申请涉及三维建模
，具体而言，涉及一种模型的训练方法、三维人脸图像生成方法及设备。

技术介绍

[0002]在游戏领域中，通常会涉及三维角色的创建，其中，三维角色的头部特征可以根据玩家的实际需求进行创建。例如：通过输入二维人脸图像，基于该二维人脸图像生成三维角色的头部特征。
[0003]现有技术中，若想生成三维头部特征，通常需要采集大量的面部纹理信息数据，也即是需要提供不同角度、不同姿态的二维人脸图像才能生成对应的头部特征。
[0004]这就导致了在生成头部特征的过程中需要大量原始数据，相应地，也需要进行大量的计算，导致占用较多的计算资源。

技术实现思路

[0005]本申请的目的在于提供一种模型的训练方法、三维人脸图像生成方法及设备，可以实现对算力资源的节约，以及提高生成的三维人脸图像的逼真度。
[0006]本申请的实施例是这样实现的：
[0007]本申请实施例的一方面，提供一种模型的训练方法，包括：
[0008]输入待训练样本，待训练样本包括二维人脸图像；
[0009]基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；
[0010]基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
[0011]根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；
[0012]根据修正后的初始模型，得到三维人脸图像生成模型。
[0013]可选地，初始模型包括：纹理预测模型，基于初始模型对待训练样本进行预处理操作，包括：
[0014]将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
[0015]可选地，将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像，包括：
[0016]对UV贴图以及待训练样本分别进行编码得到隐藏特征；
[0017]对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
[0018]可选地，根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的
初始模型，包括：
[0019]根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值；
[0020]若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
[0021]可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值，包括：
[0022]根据待训练样本中的二维人脸图像、二维人脸图像的类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值。
[0023]可选地，初始模型还包括：形状重建模型，基于初始模型对待训练样本进行预处理操作，包括：
[0024]将待训练样本对应的UV贴图以及待训练样本输入形状重建模型中进行三维重建处理，得到三维人脸模型信息以及人脸姿态系数。
[0025]可选地，基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像，包括：
[0026]由可微渲染器根据三维人脸模型信息、纹理贴图图像、法线贴图图像、人脸姿态系数以及图像光照系数，生成三维人脸模型信息在二维空间上的投影图像，并将投影图像作为渲染后的三维图像。
[0027]本申请实施例的另一方面，提供一种三维人脸图像生成方法，包括：
[0028]输入参考图像，参考图像为二维人脸图像；
[0029]基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
[0030]基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
[0031]可选地，三维人脸图像生成模型包括：纹理预测模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：
[0032]将参考图像对应的UV贴图和参考图像输入纹理预测模型，得到纹理贴图图像和法线贴图图像，其中，UV贴图通过对参考图像进行UV展开处理得到。
[0033]可选地，三维人脸图像生成模型包括：形状重建模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：
[0034]将参考图像对应的UV贴图以及参考图像输入形状重建模型中进行三维重建处理，得到三维人脸模型信息。
[0035]可选地，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作之前，该方法还包括：
[0036]对参考图像进行UV展开处理，得到参考图像对应的UV贴图。
[0037]本申请实施例的另一方面，提供一种模型的训练装置，包括：输入模块、预处理模块、渲染模块、修正模块以及生成模块；
[0038]输入模块，用于输入待训练样本，待训练样本包括二维人脸图像；
[0039]预处理模块，用于基于初始模型对待训练样本进行预处理操作，初始模型用于根
据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；
[0040]渲染模块，用于基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
[0041]修正模块，用于根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；
[0042]生成模块，用于根据修正后的初始模型，得到三维人脸图像生成模型。
[0043]可选地，预处理模块，具体用于将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
[0044]可选地，预处理模块，具体用于对UV贴图以及待训练样本分别进行编码得到隐藏特征；对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
[0045]可选地，修正模块，具体用于根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值；若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
[0046]可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；修正模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的训练方法，其特征在于，包括：输入待训练样本，所述待训练样本包括二维人脸图像；基于初始模型对所述待训练样本进行预处理操作，所述初始模型用于根据所述待训练样本生成图像信息以及参数信息，所述图像信息包括：三维人脸模型信息、纹理贴图以及法线贴图；所述参数信息包括：人脸姿态系数以及图像光照系数；基于所述图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；根据所述待训练样本、所述渲染后的三维图像对所述初始模型进行修正，得到修正后的初始模型；根据修正后的所述初始模型，得到三维人脸图像生成模型。2.如权利要求1所述的方法，其特征在于，所述初始模型包括：纹理预测模型，所述基于初始模型对所述待训练样本进行预处理操作，包括：将所述待训练样本对应的UV贴图和所述待训练样本输入所述纹理预测模型，得到所述纹理贴图图像、法线贴图图像以及图像光照系数，其中，所述UV贴图通过对所述待训练样本进行UV展开处理得到。3.如权利要求2所述的方法，其特征在于，将所述待训练样本对应的UV贴图和所述待训练样本输入所述纹理预测模型，得到所述纹理贴图图像、法线贴图图像，包括：对所述UV贴图以及所述待训练样本分别进行编码，得到隐藏特征；对所述隐藏特征进行反卷积处理，解码得到所述纹理贴图图像、法线贴图图像。4.如权利要求2所述的方法，其特征在于，所述根据所述待训练样本、所述渲染后的三维图像对所述初始模型进行修正，得到修正后的初始模型，包括：根据所述待训练样本、所述渲染后的三维图像计算所述纹理预测模型的损失函数的值；若所述损失函数的值不满足预设的收敛阈值，则根据损失函数的值对所述纹理预测模型进行修正，得到修正后的纹理预测模型。5.如权利要求4所述的方法，其特征在于，所述二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；所述根据所述待训练样本、所述渲染后的三维图像计算所述纹理预测模型的损失函数的值，包括：根据所述待训练样本中的二维人脸图像、所述二维人脸图像的类型、预设的纹理贴图真值、所述渲染后的三维图像以及所述纹理贴图图像计算所述纹理预测模型的损失函数的值。6.如权利要求2所述的方法，其特征在于，所述初始模型还包括：形状重建模型，所述基于初始模型对所述待训练样本进行预处理操作，包括：将所述待训练样本对应的UV贴图以及所述待训练样本输入所述形状重建模型中进行三维重建处理，得到所述三维人脸模型信息以及所述人脸姿态系数。7.如权利要求1所述的方法，其特征在于，所述基于所述图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像，包括：由可...

【专利技术属性】
技术研发人员：林江科，袁燚，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：