3D人脸重建及模型训练方法、相关设备及程序产品技术

本申请公开了一种3D人脸重建及模型训练方法、相关设备及程序产品，在训练阶段设计至少两个自编码器，通过第一自编码器对原始人脸图像回归出第一类型的3DMM参数，通过第二自编码器对原始人脸图像回归出剩余部分的3DMM参数，一方面，基于完整的3DMM参数进行人脸渲染，得到重建人脸图像，并对模型进行重建约束；另一方面，采用对比学习策略对第一自编码器进行对比学习约束，增强了第一自编码器提取的第一类型的3DMM参数的稳定性，在此基础上，提升了基于3DMM参数渲染后的重建人脸图像的稳定性。

【技术实现步骤摘要】

本申请涉及3d人脸重建，更具体的说，是涉及一种3d人脸重建及模型训练方法、相关设备及程序产品。

技术介绍

1、3d人脸重建是一项计算机视觉和图形学领域的重要技术，它可以从单张图像或视频序列中恢复出3d人脸模型。3d人脸重建在安全、虚拟现实以及影视制作等领域中有广泛应用，它可以提高人脸识别准确率，也可以用于电影中的面部表情捕捉以及时尚行业的虚拟试穿等场景。

2、现有的3d人脸重建方案主要基于3dmm模型，它是一种可变性的三维模型，将人脸的核心特征进行解耦合，并且用一系列向量表示。通过操纵这些向量的系数，可以改变3d人脸的形状、纹理等特征；也可以通过求解向量系数，让3dmm模型来拟合现实图像中的人脸，这一过程也被称为3d人脸重建。

3、常用的基于3dmm模型的3d人脸重建方案，主要分为关键点拟合和可微分渲染两类。关键点拟合方案一般要求使用关键点模型进行人脸关键点检测，然后通过进行最小二乘等优化方式求解3dmm参数来重建人脸。在优化过程中，可以通过条件约束的方式，显式的将上一帧图片参数求解结果作为下一帧的约束条件，避免下一帧的参数求解结果本文档来自技高网...

【技术保护点】

1.一种3D人脸重建模型训练方法，其特征在于，所述3D人脸重建模型至少包括第一自编码器和第二自编码器，方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一类型的3DMM参数为形状系数，所述形状系数所表征的人脸属性为人脸身份；

3.根据权利要求2所述的方法，其特征在于，对所述第一自编码器进行对比学习约束的过程，包括：

4.根据权利要求2所述的方法，其特征在于，对所述第三自编码器进行对比学习约束的过程，包括：

5.根据权利要求3所述的方法，其特征在于，从所述训练数据集合中采样第一锚样本、第一正样本和第一负样本的过程，包括：

...

【技术特征摘要】

1.一种3d人脸重建模型训练方法，其特征在于，所述3d人脸重建模型至少包括第一自编码器和第二自编码器，方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一类型的3dmm参数为形状系数，所述形状系数所表征的人脸属性为人脸身份；

3.根据权利要求2所述的方法，其特征在于，对所述第一自编码器进行对比学习约束的过程，包括：

4.根据权利要求2所述的方法，其特征在于，对所述第三自编码器进行对比学习约束的过程，包括：

5.根据权利要求3所述的方法，其特征在于，从所述训练数据集合中采样第一锚样本、第一正样本和第一负样本的过程，包括：

6.根据权利要求3所述的方法，其特征在于，从所述训练数据集合中采样第一锚样本、第一正样本和第一负样本的过程，包括：

7.根据权利要求3所述的方法，其特征在于，从所述训练数据集合中采样第一锚样本、第一正样本和第一负样本的过程，包括：

8.根据权利要求4所述的方法，其特征在于，从所述训练数据集合中采样第二锚样本、第二正样本和第二负样本的过程，包括：

9.根据权利要求4所述的方法，其特征在于，从所述训练数据集合中采样第二锚样本、第二正样本和第二负样本的过程，包括：

10.根据权利要求4所述的方法，其特征在于，从所述训练数据...

【专利技术属性】
技术研发人员：钟盛涛，刘庆升，王晓斐，
申请(专利权)人：安徽淘云科技股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人