一种三维人脸重建方法、计算机程序产品及电子设备技术

本申请实施例提供一种三维人脸重建方法、计算机程序产品及电子设备，方法包括：基于初始人脸图像和DECA模型，得到初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，目标顶图为基于目标参数对初始人脸图像或者对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，目标纹理底图为基于初始纹理底图或者基于初始纹理底图进行超分辨重建后获得的图像得到的；将人脸纹理图贴合至三维头模中，得到重建后的三维人脸模型。其中，由于目标顶图和/或目标纹理底图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。人脸模型的清晰度以及整体的视觉效果。人脸模型的清晰度以及整体的视觉效果。

【技术实现步骤摘要】
一种三维人脸重建方法、计算机程序产品及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种三维人脸重建方法、计算机程序产品及电子设备。

技术介绍

[0002]三维人脸模型的重建，是指从一张或多张2D图像中重建出人脸的3D模型。随着图像处理的发展，三维人脸模型的重建有越来越多的应用场景，例如：在专业影视特效中对真实面部的编辑(包括润色、虚拟化妆、表情驱动等)，在高端产品(电影、广告、音乐视频、3D游戏等)中的完全数字化的逼真人脸生成，用于娱乐、社交媒体和通信的面部增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)等领域有广泛的应用。
[0003]在现有技术中，一般采用一种详细的表情捕捉和动画(Detailed Expression Capture and Animatio，DECA)模型实现三维人脸模型的重建。但是，采用上述DECA模型重建出的三维人脸模型的清晰度较差，且整体视觉效果也较差。

技术实现思路

[0004]本申请实施例的目的在于提供一种三维人脸重建方法、计算机程序产品及电子设备，用以解决现有技术中利用DECA模型重建出的三维人脸模型的清晰度较差，且整体视觉效果也较差的技术问题。
[0005]第一方面，本申请实施例提供一种三维人脸重建方法，包括：基于初始人脸图像和DECA模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。在上述方案中，在基于初始人脸图像以及DECA模型得到初始纹理底图、三维头模以及目标参数之后，可以将目标纹理底图与目标顶图进行融合，并贴合在三维头模中得到具有纹理信息的三维人脸模型，以实现对三维人脸模型的重建。其中，当上述目标纹理底图为基于初始纹理底图进行超分辨重建后获得的图像得到的时，目标纹理底图的清晰度较高；当目标顶图为对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，目标顶图的清晰度较高。因此，由于与目标顶图进行融合的目标纹理底图的清晰度较高，或者，与目标纹理底图进行融合的目标顶图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。
[0006]在可选的实施方式中，通过如下过程生成所述目标纹理底图：对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到所述目标纹理底图；其中，所述目标区域基于三维人脸重建时，所述初
始纹理底图需要拼接在一起的区域所确定。在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，以实现对目标区域进行补色的目的，从而解决重建得到的三维人脸模型的头部后方产生分界线的技术问题。其中，由于经过补色得到的目标纹理底图拼接在一起的区域是存在颜色的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
[0007]在可选的实施方式中，所述对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，包括：获取边缘掩膜；根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的第一子区域；其中，所述目标区域包括第一子区域以及第二子区域，所述第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像的中轴线对称；对所述第一子区域内的像素点的像素值进行调整；将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素点。在上述方案中，可以基于边缘掩膜对初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中一侧的边缘(即第一子区域内的像素点)进行像素值调整，然后直接将上述调整后的像素值对称至另一侧的边缘(即第二子区域内的像素点)，这样，可以实现对目标区域进行对称补色的目的，从而使得目标纹理底图拼接在一起的区域是是对称且存在颜色的。因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
[0008]在可选的实施方式中，所述对所述第一子区域内的像素点的像素值进行调整，包括：针对所述第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将所述第一像素值均值作为该像素点的像素值。在上述方案中，可以根据像素点的周围目标区域内像素点的第一像素均值对第一子区域内的像素点进行像素值调整，从而使得在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
[0009]在可选的实施方式中，通过如下过程生成所述目标纹理底图：根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到所述目标纹理底图。在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正，以实现对目标纹理底图进行皮肤颜色矫正的目的，从而解决重建得到的三维人脸模型的皮肤颜色不均匀的技术问题。其中，由于经过皮肤颜色矫正得到的目标纹理底图与目标顶图的颜色是一致的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
[0010]在可选的实施方式中，所述根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，包括：根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图中像素
点的像素值进行矫正处理；或者，根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理。在上述方案中，可以基于目标顶图的人脸区域中像素点的像素值和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人脸重建方法，其特征在于，包括：基于初始人脸图像和DECA模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。2.根据权利要求1所述的三维人脸重建方法，其特征在于，通过如下过程生成所述目标纹理底图：对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到所述目标纹理底图；其中，所述目标区域基于三维人脸重建时，所述初始纹理底图需要拼接在一起的区域所确定。3.根据权利要求2所述的三维人脸重建方法，其特征在于，所述对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，包括：获取边缘掩膜；根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的第一子区域；其中，所述目标区域包括第一子区域以及第二子区域，所述第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像的中轴线对称；对所述第一子区域内的像素点的像素值进行调整；将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素点。4.根据权利要求3所述的三维人脸重建方法，其特征在于，所述对所述第一子区域内的像素点的像素值进行调整，包括：针对所述第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将所述第一像素值均值作为该像素点的像素值。5.根据权利要求1
‑
4任一项所述的三维人脸重建方法，其特征在于，通过如下过程生成所述目标纹理底图：根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到所述目标纹理底图。6.根据权利要求5所述的三维人脸重建方法，其特征在于，所述根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，包括：根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图中像素点的像素值进行矫正处理；
或者，根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底...

【专利技术属性】
技术研发人员：刘旭东，莫原野，朱纯博，金宇林，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：