模型训练方法、3D人脸重建方法、装置及存储介质制造方法及图纸

本申请涉及一种模型训练方法、3D人脸重建方法、装置及存储介质。该方法由于在对模型进行训练的过程中引入了补偿参数，所以使得能够得到的训练损失相较于没有补偿参数更准确，更容易让神经网络模型收敛。并且由于在对模型训练的过程中，没有引入PCA基底，所以在使用训练的模型进行3D人脸重建时，也不存在因为PCA基底的精度和维度的影响导致重建精度不高的问题。题。题。

【技术实现步骤摘要】
模型训练方法、3D人脸重建方法、装置及存储介质


[0001]本申请涉及计算机领域，尤其涉及一种模型训练方法、3D人脸重建方法、装置及存储介质。

技术介绍

[0002]随着社会的发展，科技的进步，三维(3D)人脸重建技术逐渐成为计算机视觉领域的热门技术。三维人脸重建技术是根据被测个体的单张或多张人脸图像重建出其三维人脸模型。
[0003]当前的基于优化和基于学习的3D人脸重建方法，都依赖PCA基底，一方面，受到PCA基底的精度的影响，另一方面，PCA基底维度一般较低，表达能力受限，即便利用神经网络模型来学习人脸的基底系数，得到的基底系数也丢失了很大部分的信息，导致最终重建精度不高。

技术实现思路

[0004]本申请提供了一种模型训练方法、3D人脸重建方法、装置及存储介质，用以解决由于PCA基底的精度和维度的影响导致重建精度不高的问题。
[0005]第一方面，提供一种模型训练方法，包括：
[0006]获取第N次执行所述模型训练方法所用到的二维人脸图像样本；
[0007]基于神经网络模型中的3D人脸预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第N次执行所述模型训练方法所用到的二维人脸图像样本；基于神经网络模型中的3D人脸预测模块，预测与所述二维人脸图像样本对应的N个三维坐标点的三维坐标值；以及基于所述神经网络模型中的3D人脸补偿模块，预测所述二维人脸图像样本的补偿参数；所述3D人脸补偿模块包括贴图模块和/或光照模块，当所述3D人脸补偿模块为所述贴图模块时，所述补偿参数为人脸贴图，当所述3D人脸补偿模块为光照模块时，所述补偿参数为光照系数；对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像；基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失；以及，基于所述第N次确定所述神经网络模型所处的训练阶段，所述训练阶段表征对所述3D人脸补偿模块和所述光照模块的优化方式；按照所述训练阶段表征的优化方式，采用所述训练损失对所述神经网络模型的参数进行优化，更新N＝N+1，并执行第N+1次所述模型训练方法，直至所述神经网络模型收敛。2.根据权利要求1所述的方法，其特征在于，所述3D人脸补偿模块包括贴图模块和光照模块；对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像，包括：获取所述二维人脸图像样本的去光图像；对所述人脸贴图、所述光照系数以及所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的渲染图像；对所述人脸贴图和所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的无光照渲染图像；将所述去光图像、所述渲染图像和所述无光照渲染图像作为所述预测二维人脸图像。3.根据权利要求2所述的方法，其特征在于，基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失，包括：基于所述二维人脸图像样本和所述渲染图像，分别计算所述渲染图像的损失、人脸识别模型特征损失、分类模型特征损失、嘴唇轮廓损失以及眼睛轮廓损失；基于所述去光图像和所述无光照渲染图像，计算所述无光照渲染图像的损失；基于所述二维人脸图像样本和所述无光照渲染图像，计算人脸关键点的损失；基于所述渲染图像的损失、所述人脸识别模型特征损失、所述分类模型特征损失、所述嘴唇轮廓损失、所述眼睛轮廓损失以及所述无光照渲染图像的损失、所述人脸关键点的损失，计算所述训练损失。4.根据权利要求3所述的方法，其特征在于，基于所述二维人脸图像样本和所述渲染图像，分别计算所述渲染图像的损失、人脸识别模型特征损失、分类模型特征损失、嘴唇轮廓损失以及眼睛轮廓损失，包括：计算所述二维人脸图像样本和所述渲染图像的L2距离，得到第一计算结果；将所述第一计算结果作为所述渲染图像的损失；提取所述二维人脸图像样本的第一人脸识别模型特征、以及所述渲染图像的第二人脸识别模型特征；计算所述第一人脸识别模型特征和所述第二人脸识别模型特征的L2距离，
得到第二结算结果；将所述第二计算结果作为所述人脸识别模型特征损失；获取通过分类模型提取的所述二维人脸图像样本和所述渲染图像在所述分类模型的第i层的特征；计算所述二维人脸图像样本在所述第i层的特征与所述渲染图像在所述第i层的特征之间的L2距离，得到第三计算结果；计算所述第三计算结果与所述第i层的权重系数的乘积值，得到所述第i层的特征损失；基于所述第i层的特征损失，计算M层的特征损失之和，并将所述M层的特征损失之和作为所述分类模型特征损失；所述分类模型具有M层结构，1≤i≤M；获取所述二维人脸图像样本中嘴唇轮廓的第一坐标、以及所述渲染图像中嘴唇轮廓的第二坐标；基于所述第一坐标和所述第二坐标，分别计算所述二维人脸图像样本中嘴唇轮廓与所述渲染图像中嘴唇轮廓的第一轮廓距离误差、第一轮廓曲率误差以及第一轮廓径向误差；计算所述第一轮廓距离误差、所述第一轮廓曲率误差以及所述第一轮廓径向误差之和，并将求和结果作为所述嘴唇轮廓损失；获取所述二维人脸图像样本中眼睛轮廓的第三坐标、以及所述渲染图像中眼睛轮廓的第四坐标；基于所...

【专利技术属性】
技术研发人员：李天琦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：