基于深度学习的人脸三维重建方法、计算机设备与介质技术

本发明专利技术公开一种基于深度学习的人脸三维重建方法、计算机设备与介质，涉及人脸三维重建技术领域，该方法包括通过训练好的粗匹配网络模型对目标人脸的多张不同视角图像进行预测，得到每一视角图像到目标视角图像的预测光流，并根据真实相机参数生成粗糙人脸，粗糙人脸分割成若干个图像块，并通过虚拟相机参数生成每一图像块对应的初始深度图，然后通过训练好的曲面重建网络得到每一图像块的曲面预测编码，再通过训练好的曲面解码器解码，得到每一图像块对应的初始深度图上每一像素点的重建深度值，根据上述所有重建深度值得到重建人脸。本发明专利技术通过深度学习模型对每一图像块分别进行深度重建，能够以较小的网络参数量实现高精度的人脸重建。精度的人脸重建。精度的人脸重建。

【技术实现步骤摘要】
基于深度学习的人脸三维重建方法、计算机设备与介质


[0001]本专利技术涉及人脸三维重建
，特别是涉及一种基于深度学习的人脸三维重建方法、计算机设备与介质。

技术介绍

[0002]室内人脸三维重建技术主要从图像、雷达等信息中恢复出人脸三维形状，其在虚拟现实、人机交互、游戏图形图像等诸多领域均有广泛的应用。人脸三维重建是计算机视觉领域非常重要的问题，如何进行高精度的重建是目前学界和工业界比较具有挑战性的任务之一。

技术实现思路

[0003]本专利技术的目的是提供一种基于深度学习的人脸三维重建方法、计算机设备与介质，可提高人脸重建的精度。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于深度学习的人脸三维重建方法，所述方法包括：
[0006]S1：获取目标人脸的多张不同视角图像；
[0007]S2：对于每一所述视角图像，以所述视角图像作为源视角图像，将所述源视角图像与目标视角图像输入训练好的粗匹配网络模型中，得到所述源视角图像到所述目标视角图像的预测光流；所述目标视角图像为所有视角图像中除所述源视角图像之外的视角图像；所述训练好的粗匹配网络模型是以样本源视角图像和样本目标视角图像为输入，以所述样本源视角图像到所述样本目标视角图像的样本光流为标签训练得到的模型；
[0008]S3：根据所述预测光流和所述视角图像对应的真实相机参数对所有所述视角图像进行融合，生成所述目标人脸的粗糙人脸；
[0009]S4：将所述粗糙人脸分割成若干个图像块，并生成每一所述图像块对应的虚拟相机参数，通过所述图像块对应的虚拟相机参数生成所述图像块对应的初始深度图；
[0010]S5：对于每一所述图像块，将所有所述视角图像和所述图像块对应的初始深度图输入训练好的曲面重建网络中，得到所述图像块的曲面预测编码；将所述曲面预测编码和所述图像块对应的初始深度图上每一像素点的坐标输入至训练好的曲面解码器中，得到所述图像块对应的初始深度图上每一像素点的重建深度值；所述训练好的曲面重建网络为以样本人脸的所有样本视角图像和样本初始深度图为输入，以样本曲面编码为标签训练得到的模型；所述训练好的曲面解码器为以样本曲面预测编码和样本点坐标为输入，以所述样本点对应的真实深度值为标签训练得到的模型；
[0011]S6：基于所有所述图像块对应的初始深度图上每一像素点的重建深度值确定所述目标人脸的重建人脸。
[0012]可选的，S3具体包括：
[0013]根据所述预测光流和所述视角图像对应的真实相机参数生成每一所述视角图像
对应的真实深度图；
[0014]将所有所述视角图像对应的真实深度图进行融合，生成所述目标人脸的粗糙人脸。
[0015]可选的，所述训练好的粗匹配网络模型包括依次连接的RGB特征提取模块以及光流预测模块；
[0016]所述RGB特征提取模块，包括若干依次连接的卷积层，用于对所述源视角图像和所述目标视角图像进行特征提取；
[0017]所述光流预测模块，采用U
‑
Net网络，用于根据提取到的特征得到所述源视角图像到所述目标视角图像的预测光流。
[0018]可选的，所述生成每一所述图像块对应的虚拟相机参数，具体包括：
[0019]对于每一所述图像块，执行下述步骤：
[0020]采用主成分分析法对所述图像块进行处理，得到三个特征向量；
[0021]按照特征值从大到小的顺序对三个所述特征向量进行排序，将排序位于第一的特征向量记为第一特征向量，将排序位于第二的特征向量记为第二特征向量，将排序位于第三的特征向量记为第三特征向量；
[0022]将所述第一特征向量、所述第二特征向量分别作为虚拟相机的x轴和y轴，将所述第三特征向量的反方向作为虚拟相机的z轴，生成所述图像块对应的虚拟相机的虚拟相机坐标系；
[0023]分别确定所述第一特征向量、所述第二特征向量和所述第三特征向量在世界坐标系下的真实坐标；
[0024]根据所述真实坐标确定外参旋转矩阵R；
[0025]根据所述外参旋转矩阵R确定外参平移矩阵T；
[0026]根据所述图像块上图像点的坐标和所述外参旋转矩阵R以及所述外参平移矩阵T确定每一图像点的虚拟相机坐标；
[0027]根据所有图像点的虚拟相机坐标中x轴方向的最大值和y轴方向的最大值确定缩放系数s；
[0028]根据所述外参旋转矩阵R、所述外参平移矩阵T和所述缩放系数s生成虚拟相机的外参；
[0029]根据所述图像块对应的初始深度图的分辨率确定虚拟相机的内参；所述虚拟相机的外参和所述虚拟相机的内参组成所述虚拟相机的虚拟相机参数。
[0030]可选的，所述训练好的曲面重建网络包括依次连接的特征金字塔网络、特征互相关模块和曲面编码回归模块；
[0031]所述特征金字塔网络用于对每一所述视角图像进行特征提取，得到每一所述视角图像的特征；
[0032]所述特征互相关模块用于在所述图像块对应的初始深度图中选取若干个搜索点；对于每一所述视角图像，基于所述视角图像对应的真实相机参数将每一个所述搜索点的坐标投影到所述视角图像对应的图像坐标系下，得到每一个所述搜索点在所述视角图像对应的图像坐标系下的投影坐标，并基于所述视角图像的特征和所述投影坐标计算每一个所述搜索点在所述视角图像下对应的视角特征；对于每一个所述搜索点，将所述搜索点在所有
所述视角图像下对应的视角特征进行两两互相关计算，得到每一个所述搜索点的互相关计算结果；将所有所述搜索点的互相关计算结果进行融合，得到深度方向代价体积；
[0033]所述曲面编码回归模块用于对每一所述视角图像的特征、所述深度方向代价体积和所述图像块对应的初始深度图进行编码，得到所述图像块的曲面预测编码。
[0034]可选的，在S5之前，还包括：对曲面解码器进行训练，训练过程如下：
[0035]获取第一样本集；所述第一样本集包括样本人脸的样本初始深度图和样本点坐标以及样本点对应的真实深度值；
[0036]利用第一样本集对曲面编码解码网络进行训练，得到训练好的曲面编码解码网络；所述训练好的曲面编码解码网络包括依次连接的训练好的曲面编码器和训练好的曲面解码器。
[0037]可选的，所述曲面编码解码网络训练过程中采用的损失函数包括深度损失函数与法向量损失函数；
[0038]所述深度损失函数的表达式为：
[0039][0040]其中，loss
d
表示深度损失函数值，n表示样本初始深度图上像素点的个数，表示样本初始深度图上第i个像素点的真实深度值；表示样本初始深度图上第i个像素点的重建深度值；
[0041]所述法向量损失函数的表达式为：
[0042][0043]其中，loss
n
表示法向量损失函数值，表示样本初始深度图上第i个像素点的真实法向量，表示样本初始深度图上第i个像素点的预测法向量。...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人脸三维重建方法，其特征在于，所述方法包括：S1：获取目标人脸的多张不同视角图像；S2：对于每一所述视角图像，以所述视角图像作为源视角图像，将所述源视角图像与目标视角图像输入训练好的粗匹配网络模型中，得到所述源视角图像到所述目标视角图像的预测光流；所述目标视角图像为所有视角图像中除所述源视角图像之外的视角图像；所述训练好的粗匹配网络模型是以样本源视角图像和样本目标视角图像为输入，以所述样本源视角图像到所述样本目标视角图像的样本光流为标签训练得到的模型；S3：根据所述预测光流和所述视角图像对应的真实相机参数对所有所述视角图像进行融合，生成所述目标人脸的粗糙人脸；S4：将所述粗糙人脸分割成若干个图像块，并生成每一所述图像块对应的虚拟相机参数，通过所述图像块对应的虚拟相机参数生成所述图像块对应的初始深度图；S5：对于每一所述图像块，将所有所述视角图像和所述图像块对应的初始深度图输入训练好的曲面重建网络中，得到所述图像块的曲面预测编码；将所述曲面预测编码和所述图像块对应的初始深度图上每一像素点的坐标输入至训练好的曲面解码器中，得到所述图像块对应的初始深度图上每一像素点的重建深度值；所述训练好的曲面重建网络为以样本人脸的所有样本视角图像和样本初始深度图为输入，以样本曲面编码为标签训练得到的模型；所述训练好的曲面解码器为以样本曲面预测编码和样本点坐标为输入，以所述样本点对应的真实深度值为标签训练得到的模型；S6：基于所有所述图像块对应的初始深度图上每一像素点的重建深度值确定所述目标人脸的重建人脸。2.根据权利要求1所述的基于深度学习的人脸三维重建方法，其特征在于，S3具体包括：根据所述预测光流和所述视角图像对应的真实相机参数生成每一所述视角图像对应的真实深度图；将所有所述视角图像对应的真实深度图进行融合，生成所述目标人脸的粗糙人脸。3.根据权利要求1所述的基于深度学习的人脸三维重建方法，其特征在于，所述训练好的粗匹配网络模型包括依次连接的RGB特征提取模块以及光流预测模块；所述RGB特征提取模块，包括若干依次连接的卷积层，用于对所述源视角图像和所述目标视角图像进行特征提取；所述光流预测模块，采用U
‑
Net网络，用于根据提取到的特征得到所述源视角图像到所述目标视角图像的预测光流。4.根据权利要求1所述的基于深度学习的人脸三维重建方法，其特征在于，所述生成每一所述图像块对应的虚拟相机参数，具体包括：对于每一所述图像块，执行下述步骤：采用主成分分析法对所述图像块进行处理，得到三个特征向量；按照特征值从大到小的顺序对三个所述特征向量进行排序，将排序位于第一的特征向量记为第一特征向量，将排序位于第二的特征向量记为第二特征向量，将排序位于第三的特征向量记为第三特征向量；将所述第一特征向量、所述第二特征向量分别作为虚拟相机的x轴和y轴，将所述第三
特征向量的反方向作为虚拟相机的z轴，生成所述图像块对应的虚拟相机的虚拟相机坐标系；分别确定所述第一特征向量、所述第二特征向量和所述第三特征向量在世界坐标系下的真实坐标；根据所述真实坐标确定外参旋转矩阵R；根据所述外参旋转矩阵R确定外参平移矩阵T；根据所述图像块上图像点的坐标和所述外参旋转矩阵R以及所述外参平移矩阵T确定每一图像点的虚拟相机坐标；根据所有图像点的虚拟相机坐标中x轴方向的最大值和y轴方向的最大值确定缩放系数s；根据所述外参旋转矩阵R、所述外参平移矩阵T和所述缩放系数s生成虚拟相机的外参；根据所述图像块对应的初始深度图的分...

【专利技术属性】
技术研发人员：周余，黄琛，于耀，
申请(专利权)人：南京大学，
类型：发明
国别省市：