三维人脸模型生成方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种三维人脸模型生成方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取多个目标人脸图像及对应的多个深度图像，根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。通过对获取到的多个目标人脸图像及对应的多个深度图像进行剪裁，从而使不同的区域人脸图像之间的重叠区域减少，使生成人脸的三维人脸模型过程中的计算量小，从而提高了构建三维人脸模型的效率。

Generation method, device, computer equipment and storage medium of 3D face model

【技术实现步骤摘要】
三维人脸模型生成方法、装置、计算机设备及存储介质
本申请实施例涉及计算机
，特别涉及一种三维人脸模型生成方法、装置、计算机设备及存储介质。
技术介绍
随着计算机技术的发展，三维人脸模型的应用越来越广泛。三维人脸模型可以用于多种场景下，如游戏人物构建场景、虚拟人物形象构建场景等，通过用户的人脸图像，可以生成用户的三维人脸模型，便于用户的使用。相关技术中提供了一种三维人脸模型生成方法，获取目标人脸的视频，将该视频中包括的多个人脸图像进行融合，生成三维人脸模型。由于上述方法是将视频中的多个人脸图像进行融合，融合过程所需的计算量大，导致构建三维人脸模型的效率低。
技术实现思路
本申请实施例提供了一种三维人脸模型生成方法、装置、计算机设备及存储介质，能够提高了构建三维人脸模型的效率。所述技术方案如下：一方面，提供了一种三维人脸模型构建方法，所述方法包括：获取多个目标人脸图像及对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。另一方面，提供了一种三维人脸模型构建装置，所述装置包括：图像获取模块，用于获取多个目标人脸图像及对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；第二图像获取模块，用于根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；第三图像获取模块，用于根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；人脸模型生成模块，用于根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。可选地，所述第二图像获取模块，包括：标志点选取单元，用于从任一目标人脸图像的多个标志点中，选取与所述目标人脸图像所属的图像类型匹配的至少一个第一标志点；人脸图像获取单元，用于从所述目标人脸图像中获取所述至少一个第一标志点构成的区域人脸图像。可选地，所述图像获取模块，包括：第一图像获取单元，用于获取多个人脸图像及对应的多个深度图像，所述多个人脸图像包含所述人脸；图像序列划分单元，用于将所述多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；第二图像获取单元，用于从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，获取所述多个目标人脸图像对应的深度图像。可选地，所述多个图像序列至少包括所述正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，所述第二图像获取单元，还用于从所述第一图像序列中选取一个第一人脸图像，作为所述目标人脸图像；获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差；分别从所述每个第二图像序列中选取一个所述姿态角度差最大的第二人脸图像，也作为所述目标人脸图像。可选地，所述第二图像获取单元，还用于对于任一第二人脸图像，确定所述第二人脸图像与所述第一人脸图像中序号相同的至少一个第二标志点；根据所述第一人脸图像中所述至少一个第二标志点的坐标，及所述第二人脸图像中所述至少一个第二标志点的坐标，获取所述第一人脸图像与所述第二人脸图像之间的旋转平移矩阵；对所述旋转平移矩阵进行转换，得到所述第二人脸图像与所述第一人脸图像之间的姿态角度差。可选地，所述图像获取模块，包括：第三图像获取单元，用于获取多个人脸图像及对应的多个深度图像，所述多个人脸图像包含所述人脸；人脸图像确定单元，用于根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像，所述眼部状态包括眨眼状态或未眨眼状态。可选地，所述装置还包括：标志点确定模块，用于对于任一人脸图像，确定所述人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；距离确定模块，用于确定所述上眼皮标志点与所述下眼皮标志点之间的第一距离，及所述左眼角标志点与所述右眼角标志点之间的第二距离；开合比确定模块，用于将所述第一距离与所述第二距离之间的比值确定为所述目标眼部区域的开合比；状态确定模块，用于响应于所述开合比小于开合比阈值，确定所述人脸图像处于眨眼状态；所述状态确定模块，还用于响应于所述开合比不小于所述开合比阈值，确定所述人脸图像处于未眨眼状态。可选地，所述装置还包括：阈值确定模块，用于获取所述多个人脸图像对应的开合比的平均值，作为所述开合比阈值。可选地，所述人脸模型生成模块，包括：第一融合单元，用于将所述多个区域深度图像进行融合，得到三维轮廓模型；特征提取单元，用于从所述多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；第二融合单元，用于将所述每个区域人脸图像的颜色纹理特征与所述三维轮廓模型进行融合，生成所述三维人脸模型。可选地，所述第一融合单元，还用于根据所述每个目标人脸图像对应的焦距值，将所述每个目标人脸图像对应的区域深度图像转换成点云数据；将所述每个目标人脸图像对应的点云数据进行融合，得到所述三维轮廓模型。可选地，所述多个目标人脸图像包括所述正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，所述第一融合单元，还用于按照每个第二人脸图像与所述第一人脸图像的姿态角度差，将所述每个第二人脸图像对应的第二点云数据进行旋转；将旋转后的每个第二点云数据与所述第一人脸图像对应的第一点云数据进行融合，生成所述三维轮廓模型。可选地，所述第二融合单元，还用于确定每个区域人脸图像在所述三维轮廓模型中对应的区域；分别将所述每个区域人脸图像的颜色纹理特征融合至所述三维轮廓模型中对应的区域的表面，生成所述目标人脸的三维人脸模型。另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如上述方面所述的三维人脸模型生成方法。另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述方面所述的三维人脸模型生成方法。本申请实施例提供的技术方案带来的有益效果至少包括：本申本文档来自技高网...

【技术保护点】
1.一种三维人脸模型生成方法，其特征在于，所述方法包括：/n获取多个目标人脸图像及对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；/n根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；/n根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；/n根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。/n

【技术特征摘要】
1.一种三维人脸模型生成方法，其特征在于，所述方法包括：
获取多个目标人脸图像及对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；
根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；
根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。


2.根据权利要求1所述的方法，其特征在于，所述根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，包括：
从任一目标人脸图像的多个标志点中，选取与所述目标人脸图像所属的图像类型匹配的至少一个第一标志点；
从所述目标人脸图像中获取所述至少一个第一标志点构成的区域人脸图像。


3.根据权利要求1所述的方法，其特征在于，所述获取多个目标人脸图像及多个深度图像，包括：
获取多个人脸图像及对应的多个深度图像，所述多个人脸图像包含所述人脸；
将所述多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，获取所述多个目标人脸图像对应的深度图像。


4.根据权利要求3所述的方法，其特征在于，所述多个图像序列至少包括所述正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，所述从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，包括：
从所述第一图像序列中选取一个第一人脸图像，作为所述目标人脸图像；
获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差；
分别从所述每个第二图像序列中选取一个所述姿态角度差最大的第二人脸图像，也作为所述目标人脸图像。


5.根据权利要求4所述的方法，其特征在于，所述获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差，包括：
对于任一第二人脸图像，确定所述第二人脸图像与所述第一人脸图像中序号相同的至少一个第二标志点；
根据所述第一人脸图像中所述至少一个第二标志点的坐标，及所述第二人脸图像中所述至少一个第二标志点的坐标，获取所述第一人脸图像与所述第二人脸图像之间的旋转平移矩阵；
对所述旋转平移矩阵进行转换，得到所述第二人脸图像与所述第一人脸图像之间的姿态角度差。


6.根据权利要求1所述的方法，其特征在于，所述获取多个目标人脸图像及对应的深度图像，包括：
获取多个人脸图像及对应的多个深度图像，所述多个人脸图像包含所述人脸；
根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像，所述眼部状态包括眨眼状态或未眨眼状态。


7.根据权利要求6所述的方法，其特征在于，所述根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像之前，所述方法还包括：
对于任一人脸图像，确定所述人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
确定所述上眼皮标志点与所述下眼皮标志点之间的第一距离，及所述...

【专利技术属性】
技术研发人员：李文攀，暴林超，林祥凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44