三维人脸模型建立方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种三维人脸模型建立方法、装置、电子设备及存储介质。该方法包括：获取包含人脸区域的二维样本图像，确定二维样本图像的样本图像特征；基于样本图像特征，确定预先建立的三维形变模型中的模型参数值和与二维样本图像对应的样本姿态参数，基于各模型参数值生成三维人脸模型；将三维人脸模型和姿态参数输入至预先建立的可微分渲染模型中，生成与二维样本图像对应的二维渲染图像；将二维样本图像与二维渲染图像进行对比，基于对比结果调整模型参数值，将调整后的模型参数值对应的三维形变模型确定为目标三维人脸模型。本发明专利技术实施例的技术方案，可以提高模型参数值的准确性，有利于提高目标三维人脸模型的识别效果。型的识别效果。型的识别效果。

【技术实现步骤摘要】
三维人脸模型建立方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机视觉
，尤其涉及一种三维人脸模型建立方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来，三维人脸广泛应用于各个领域。然而，很多现实场景仅有二维的人脸图像，因此利用二维人脸图像重建三维人脸的技术是现实场景的重要需求。
[0003]目前，三维人脸重建的方法是基于三维形变模型(3DMM)建立三维人脸数据库的基础上，利用统计的方法，将三维人脸模型用参数来表示，通过改变参数就能改变三维人脸模型，三维人脸重建的问题就转化为预测3DMM参数的问题。现有技术中，可利用卷积神经网络(CNN)提取二维人脸图像的信息来确定3DMM参数；需要预先构建包含大量的真实3D人脸图像的样本数据集，人工对3D人脸图像建立标签，基于样本数据集中的真实3D人脸图像和标签对卷积神经网络中的参数进行训练，进而确定出3DMM参数。
[0004]但是，采用现有技术需要人工构建出大量三维人脸作为训练标签，将耗费大量的人力资源和时间资源，且构建过程易出错，导致无法准确地确定出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人脸模型建立方法，其特征在于，包括：获取包含人脸区域的二维样本图像，确定所述二维样本图像的样本图像特征；基于所述样本图像特征，确定预先建立的三维形变模型中的模型参数值和与所述二维样本图像对应的样本姿态参数，基于各所述模型参数值生成三维人脸模型；将所述三维人脸模型和所述姿态参数输入至预先建立的可微分渲染模型中，生成与所述二维样本图像对应的二维渲染图像；将所述二维样本图像与所述二维渲染图像进行对比，基于对比结果调整所述模型参数值，将调整后的所述模型参数值对应的三维形变模型确定为目标三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述确定所述二维样本图像的样本图像特征，包括：将所述二维样本图像输入至预先建立的人脸解析网络中，生成与所述二维样本图像对应的包含人脸关键点的二维掩膜图像；对所述二维样本图像和所述二维掩膜图像进行拼接操作，生成拼接图像，将所述拼接图像输入至编解码网络中，生成所述样本图像特征。3.根据权利要求2所述的方法，其特征在于，所述将所述二维样本图像与所述二维渲染图像进行对比，基于对比结果调整所述模型参数值，包括：基于所述二维样本图像和所述二维渲染图像计算模型损失函数；确定所述模型损失函数满足预设状态时对应的所述三维形变模型的最优模型参数值，基于所述最优模型参数值更新所述模型参数值。4.根据权利要求3所述的方法，其特征在于，所述基于所述二维样本图像和所述二维渲染图像计算模型损失函数，包括：基于所述二维样本图像、所述二维掩膜图像和所述二维渲染图像，确定图像损失函数；确定所述二维渲染图像对应的渲染掩膜图像，基于所述渲染掩膜图像和所述二维掩膜图像，确定掩膜损失函数；将所述二维样本图像和所述二维渲染图像分别输入至关键点检测模型中，确定出所述二维样本图像中的各关键点的样本关键点坐标和所述二维渲染图像中的各关键点的渲染关键点坐标；基于所述样本关键点坐标和所述渲染关键点坐标，确定关键点损失函数；将所述图像损失函数、所述掩膜损失函数和所述关键点损失函数进行加权求和计算时对应的函数确定为所述模型损失函数。5.根据权利要求3所述的方法，其特征在于，所述确定所述模型损失函数满足预设状态时对应的所述三维形变模型的最优模型参数值，基于所述最优模型参数值更新所述模型参数值，包括：根据所述模型损失函数确定对应的模型损失值，若所述模型损失值不满足所述预设状态，基...

【专利技术属性】
技术研发人员：黄开竹，杨超龙，赵伟光，叶嘉楠，闫毓垚，杨曦，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：