基于RGBD相机的三维人脸重建方法及系统技术方案

本申请实施例中提供了一种基于RGBD相机的三维人脸重建方法及系统，所述方法包括：获取多视角RGBD人脸视频；利用多视角RGBD人脸视频的第一帧多视角RGBD图像对3DMM模型进行参数初始化调整，得到初始三维人脸；对初始三维人脸进行3DMM参数优化，得到优化三维人脸；对优化三维人脸进行逐顶点参数优化，得到第一帧三维人脸；依次利用多视角RGBD人脸视频的后续每帧多视角RGBD图像对上一帧三维人脸进行逐顶点参数优化，得到所述多视角RGBD人脸视频对应的三维人脸序列。进而本申请实施例在计算、存储开销较低的前提下，实现了网络顶点拓扑一致的高精度三维人脸重建。致的高精度三维人脸重建。致的高精度三维人脸重建。

【技术实现步骤摘要】
基于RGBD相机的三维人脸重建方法及系统


[0001]本申请涉及人脸建模
，特别涉及一种基于RGBD相机的三维人脸重建方法及系统。

技术介绍

[0002]随着深度学习技术的普及，三维人脸重建技术也随之快速发展。三维人脸重建在VR/AR、线上会议、游戏、电影制作等领域都有非常重要的应用前景。现有的三维人脸重建系统主要包括：以RGB视频为输入的单目三维重建方法、多视角扫描方法、以RGBD视频为输入的三维重建方法。
[0003]然而，由于RGB视频为输入的单目三维重建方法仅利用一个摄像机进行重建，导致三维重建精度较低，难以在精度要求较高的场景下使用；多视角扫描方法通常利用数十个相机对人脸进行扫描，虽然能够精确到毛孔级的细节，但硬件、存储、计算开销均较高，且该方法通常用于静态扫描，很难在动态场景下使用；以RGBD视频为输入的三维重建方法利用体素来表征三维物体，但目前的3D引擎对体素的兼容性较差，将体素转为三维网格后，网格序列存在顶点拓扑不一致的问题，难以大规模应用。
[0004]因此，如何在计算、存储开销较低的前提下，实现了网络顶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGBD相机的三维人脸重建方法，其特征在于，所述方法包括：获取多视角颜色深度RGBD人脸视频；利用所述多视角RGBD人脸视频的第一帧多视角RGBD图像对3DMM模型进行参数初始化调整，得到初始三维人脸；对所述初始三维人脸进行3DMM参数优化，得到优化三维人脸；对所述优化三维人脸进行逐顶点参数优化，得到第一帧三维人脸；依次利用所述多视角RGBD人脸视频的后续每帧多视角RGBD图像对上一帧三维人脸进行逐顶点参数优化，得到所述多视角RGBD人脸视频对应的三维人脸序列，所述三维人脸序列表征根据所述多视角RGBD人脸视频重建的三维人脸。2.根据权利要求1所述的方法，其特征在于，所述利用所述多视角RGBD人脸视频的第一帧多视角RGBD图像对3DMM模型进行参数初始化调整，得到初始三维人脸，包括：根据所述第一帧多视角RGBD图像优化所述3DMM模型的形状参数和表情参数，将三维人脸的关键点拟合到真实的三维人脸关键点上，得到初始三维人脸。3.根据权利要求1所述的方法，其特征在于，所述对所述初始三维人脸进行3DMM参数优化，得到优化三维人脸，包括：利用可微渲染器对所述初始三维人脸进行渲染，得到第一渲染多视角RGBD图像；利用Geman
‑
Mcclure损失函数计算所述第一渲染多视角RGBD图像和所述第一帧多视角RGBD图像之间的第一损失值；基于所述第一损失值对所述初始三维人脸的形状参数、表情参数、纹理参数、光照参数进行优化，得到优化三维人脸。4.根据权利要求1所述的方法，其特征在于，所述对所述优化三维人脸进行逐顶点参数优化，得到第一帧三维人脸，包括：利用可微渲染器对所述优化三维人脸进行渲染，得到第二渲染多视角RGBD图像；利用顶点优化损失函数计算所述第二渲染多视角RGBD图像和所述第一帧多视角RGBD图像之间的第二损失值，所述顶点优化损失函数包含Laplacian正则项和边长正则项；基于所述第二损失值对所述优化三维人脸的顶点形变参数、形状参数、表情参数、纹理参数、光照参数进行优化，得到第一帧三维人脸。5.根据权利要求1所述的方法，其特征在于，所述依次利用所述多视角RGBD人脸视频的后续每帧多视角RGBD图像对上一帧三维人脸进行逐顶点参数优化，得到所述多视角RGBD人脸视频对应的三维人脸序列，包括：针对当前帧多视角RGBD图像，利用可微渲染器对所述上一帧三维人脸进行渲染，得到上一帧三维人脸模对...

【专利技术属性】
技术研发人员：吴昊哲，贾珈，兴军亮，
申请(专利权)人：清华大学，
类型：发明
国别省市：