人脸三维重建方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种人脸三维重建方法、装置、电子设备及存储介质，属于计算机技术领域。所述方法包括：获取初始三维人脸模型和人脸图像；对所述人脸图像进行人脸识别，得到人脸姿态数据；根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标；根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型。本公开简化了重建过程，运算量小，提高了人脸三维重建的效率。

【技术实现步骤摘要】
人脸三维重建方法、装置、电子设备及存储介质
本公开涉及计算机
，尤其涉及一种人脸三维重建方法、装置、电子设备及存储介质。
技术介绍
近年来，随着增强现实(AugmentedReality，AR)技术的发展，AR应用中存在根据摄像头获得人脸图像，实现人脸三维重建的需求。其中，人脸三维重建是指根据包含人脸的二维图像，也即是人脸图像，生成三维人脸模型。相关技术中，一般是利用三维形变模型(3DMorphableModel，3DMM)来实现人脸三维重建，具体地，先获取大量的三维原型人脸，对这些三维原型人脸进行复杂的预处理过程，再通过主成分分析方法(PrincipalComponentsAnalysis，PCA)对人脸的形状、纹理及表面反射率进行统计建模，生成形变模型，再利用形变模型对人脸图像进行人脸合成，实现人脸三维重建。上述技术利用三维形变模型来实现人脸三维重建，需要通过主成分分析方法进行统计建模，过程繁琐，运算量较大，人脸三维重建的效率低。
技术实现思路
本公开提供一种人脸三维重建方法、装置、电子设备及存储介质，能够克服过程繁琐，运算量较大，人脸三维重建的效率低的问题。根据本公开实施例的第一方面，提供一种人脸三维重建方法，包括：获取初始三维人脸模型和人脸图像；对所述人脸图像进行人脸识别，得到人脸姿态数据；根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标；根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型。在一种可能实现方式中，所述对所述人脸图像进行人脸识别，得到人脸姿态数据，包括：对所述人脸图像进行人脸识别，将识别得到的所述人脸图像中人脸的位置和朝向作为所述人脸姿态数据。在一种可能实现方式中，所述对所述人脸图像进行人脸识别，将识别得到的所述人脸图像中人脸的位置和朝向作为所述人脸姿态数据，包括：采用人脸识别算法，对所述人脸图像进行人脸识别，得到位移矩阵和旋转矩阵，所述位移矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的位置，所述旋转矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的朝向；将所述位移矩阵和所述旋转矩阵相乘得到的矩阵作为所述人脸姿态数据。在一种可能实现方式中，所述投影参数包括投影矩阵，相应地，所述根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标，包括：对于所述各个顶点中的每个顶点，将所述顶点的三维坐标与所述矩阵和所述投影矩阵相乘，得到所述顶点的二维坐标。在一种可能实现方式中，所述根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型，包括：根据所述各个顶点的二维坐标，对所述人脸图像进行纹理数据采集；根据采集到的纹理数据，对所述初始三维人脸模型进行纹理贴图处理，得到所述三维人脸模型。在一种可能实现方式中，所述根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型之后，所述方法还包括：根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，将所述三维人脸模型渲染到所述人脸图像上。在一种可能实现方式中，所述根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，将所述三维人脸模型渲染到所述人脸图像上，包括：根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，对所述三维人脸模型进行渲染；将渲染得到的图像覆盖到所述人脸图像上。在一种可能实现方式中，所述根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，将所述三维人脸模型渲染到所述人脸图像上之前，所述方法还包括：根据动画数据和所述各个顶点的三维坐标，获取根据所述动画数据驱动所述三维人脸模型作出对应的表情或动作时，所述各个顶点发生位移后的三维坐标；相应地，所述根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，将所述三维人脸模型渲染到所述人脸图像上，包括：根据所述人脸姿态数据、所述各个顶点发生位移后的三维坐标和所述各个顶点的二维坐标，将所述三维人脸模型渲染到所述人脸图像上。在一种可能实现方式中，所述根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型之后，所述方法还包括：根据动画数据，驱动所述三维人脸模型做出所述动画数据对应的表情或动作。根据本公开实施例的第二方面，提供一种人脸三维重建装置，包括：获取模块，被配置为执行获取初始三维人脸模型和人脸图像；识别模块，被配置为执行对所述人脸图像进行人脸识别，得到人脸姿态数据；所述获取模块还被配置为执行根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标；处理模块，被配置为执行根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型。在一种可能实现方式中，所述识别模块被配置为执行对所述人脸图像进行人脸识别，将识别得到的所述人脸图像中人脸的位置和朝向作为所述人脸姿态数据。在一种可能实现方式中，所述识别模块被配置为执行：采用人脸识别算法，对所述人脸图像进行人脸识别，得到位移矩阵和旋转矩阵，所述位移矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的位置，所述旋转矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的朝向；将所述位移矩阵和所述旋转矩阵相乘得到的矩阵作为所述人脸姿态数据。在一种可能实现方式中，所述投影参数包括投影矩阵，相应地，所述获取模块被配置为执行对于所述各个顶点中的每个顶点，将所述顶点的三维坐标与所述矩阵和所述投影矩阵相乘，得到所述顶点的二维坐标。在一种可能实现方式中，所述处理模块被配置为执行：根据所述各个顶点的二维坐标，对所述人脸图像进行纹理数据采集；根据采集到的纹理数据，对所述初始三维人脸模型进行纹理贴图处理，得到所述三维人脸模型。在一种可能实现方式中，所述装置还包括：渲染模块，被配置为执行根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，将所述三维人脸模型渲染到所述人脸图像上。在一种可能实现方式中，所述渲染模块被配置为执行根据所述人脸姿态数据、所述各个顶点的三维坐标和二维坐标，对所述三维人脸模型进行渲染；将渲染得到的图像覆盖到所述人脸图像上。在一种可能实现方式中，所述获取模块还被配置为执行根据动画数据和所述各个顶点的三维坐标，获取根据所述动画数据驱动所述三维人脸模型作出对应的表情或动作时，所述各个顶点发生位移后的三维坐标；所述渲染模块被配置为执行根据所述人脸姿态数据、所述各个顶点发生位移后的三维坐标和所述各个顶点的二维坐标，将所述三维人脸模型渲染到所述人脸图像上。在一种可能实现方式中本文档来自技高网...

【技术保护点】
1.一种人脸三维重建方法，其特征在于，包括：获取初始三维人脸模型和人脸图像；对所述人脸图像进行人脸识别，得到人脸姿态数据；根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标；根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型。

【技术特征摘要】
1.一种人脸三维重建方法，其特征在于，包括：获取初始三维人脸模型和人脸图像；对所述人脸图像进行人脸识别，得到人脸姿态数据；根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标；根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型。2.根据权利要求1所述的人脸三维重建方法，其特征在于，所述对所述人脸图像进行人脸识别，得到人脸姿态数据，包括：对所述人脸图像进行人脸识别，将识别得到的所述人脸图像中人脸的位置和朝向作为所述人脸姿态数据。3.根据权利要求2所述的人脸三维重建方法，其特征在于，所述对所述人脸图像进行人脸识别，将识别得到的所述人脸图像中人脸的位置和朝向作为所述人脸姿态数据，包括：采用人脸识别算法，对所述人脸图像进行人脸识别，得到位移矩阵和旋转矩阵，所述位移矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的位置，所述旋转矩阵用于表示所述设备在采集所述人脸图像时所述人脸在三维空间中的朝向；将所述位移矩阵和所述旋转矩阵相乘得到的矩阵作为所述人脸姿态数据。4.根据权利要求3所述的人脸三维重建方法，其特征在于，所述投影参数包括投影矩阵，相应地，所述根据所述人脸姿态数据、采集所述人脸图像的设备的投影参数以及所述初始三维人脸模型的各个顶点的三维坐标，获取所述初始三维人脸模型在所述人脸姿态数据对应的姿态下，所述各个顶点投影到所述设备的成像平面上的二维坐标，包括：对于所述各个顶点中的每个顶点，将所述顶点的三维坐标与所述矩阵和所述投影矩阵相乘，得到所述顶点的二维坐标。5.根据权利要求1所述的人脸三维重建方法，其特征在于，所述根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型，包括：根据所述各个顶点的二维坐标，对所述人脸图像进行纹理数据采集；根据采集到的纹理数据，对所述初始三维人脸模型进行纹理贴图处理，得到所述三维人脸模型。6.根据权利要求1所述的人脸三维重建方法，其特征在于，所述根据所述各个顶点的二维坐标和所述人脸图像，对所述初始三维人脸模型进行纹理贴图处理，得到所述人脸图像的三维人脸模型...

【专利技术属性】
技术研发人员：曹占魁，李雅子，王一，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11