基于人脸RGB图像的三维人脸重建方法及装置制造方法及图纸

本申请提供了基于人脸RGB图像的三维人脸重建方法及装置，通过第一级残差网络回归三维形变模型的几何系数和颜色系数；基于这些系数重构三维人脸形状，并将该三维人脸形状投影、渲染得到二维人脸图像；将该二维人脸图像和原始RGB作为输入提供给第二残差网络回归几何系数和颜色系数的残差，将第一级残差网络得到的系数和第二残差网络得到系数的残差相加，得到最终的三维形变模型系数。通过这种两阶段的残差网络结构，实现了更加精确的系数回归，提高了人脸重建精度。了人脸重建精度。了人脸重建精度。

3D face reconstruction method and device based on face RGB image

【技术实现步骤摘要】
基于人脸RGB图像的三维人脸重建方法及装置


[0001]本专利技术涉及计算机视觉与深度学习，尤其涉及三维人脸重建方法及装置。

技术介绍

[0002]三维人脸重建是指通过传感器和计算机技术将面部的三维几何结构和纹理信息进行数字化表示和存储的过程，被广泛应用于动画制作、全息影像等领域。早期的三维人脸重建方法将人脸视为一般三维物体，采用多视角立体匹配的方式构建面部区域的三维点云和拓扑结构。随着人工智能技术的发展，研究人员使用三维形变模型(3D Morphable Model,3DMM)从RGB图像或RGBD数据中拟合面部区域，可以直接生成人脸的三维网格模型，结合形变理论可以进一步对生成的三维模型进行形变操作，实现动画效果。由于真实的3D人脸数据稀缺，研究人员通常无监督或弱监督的方式，通过网络预测并渲染人脸图像，其监督信号来自于输入图像和渲染的对应物之间的差异。然而与传统的采用多视角立体匹配的3D人脸重建相比，现有的基于RGB图像的三维人脸重建方法在重建精度和效率上还没有达到令人满意的效果。

技术实现思路

[0003]本专利技术的目的是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维形变模型系数回归模型的训练方法，包括：从样本集选择其中一个人脸RGB图像作为输入提供至第一级残差网络，通过第一级残差网络对三维形变模型的系数进行回归；利用第一级残差网络输出的各系数的预测值重构第一个三维人脸形状，并基于重构的第一个三维人脸形状渲染得到第一个二维人脸图像；将第一个二维人脸图像与所述人脸RGB图像一起作为输入提供至第二级残差网络，通过第二级残差网络对各系数的预测值的残差进行回归；将经由第一级残差网络得到的各系数的预测值和经由第二级残差网络得到的各系数的预测值的残差相加得到三维形变模型的各个系数；将根据所得到的三维形变模型的各个系数重构的第二个三维人脸形状和相应的第二个二维人脸图像与所述人脸RGB图像进行比较来计算损失；基于所计算的损失对第一级残差网络和第二级残差网络的参数进行调整；不断重复上述步骤，直到三维形变模型的各个系数收敛。2.根据权利要求1所述的方法，三维形变模型的系数包括几何系数和颜色系数，所述几何系数包括用于描述人脸的形状、表情和姿态的系数，所述颜色系数用于描述人脸的纹理和光照的系数。3.根据权利要求2所述的方法，其中所计算的损失包括：基于几何系数计算的几何损失、基于颜色系数计算的像素级损失和基于各系数的预测值及其残差计算的正则损失。4.根据权利要求3所述的方法，所述几何损失是根据下面的方式计算的：将第二个三维人脸形状中的关键点集合投影为二维点集；从该二维点集中选择位于第二个二维人脸图像中人脸区域的边缘上的点；计算从该二维点集中所选择的点与所述人脸RGB图像中标注的位于侧脸的每个标注点之间的距离；以与每个标注点距离最近的该二维点集中的点替换所述第二个三维人脸形状中的对应关键点；基于经更新后的第二个三维人脸形状中的关键点和所述人脸RGB图像中标注点来计算几何损失。5.根据前述权利要求中任一项...

【专利技术属性】
技术研发人员：纪昱锋，张杰，山世光，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：