用于生成三维头像模型的方法和装置制造方法及图纸

本申请公开了用于生成三维头像模型的方法和装置。该方法的一具体实施方式包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。该实施方式实现了以较低成本生成三维头像模型。

【技术实现步骤摘要】
用于生成三维头像模型的方法和装置
本申请涉及计算机
，具体涉及计算机图形学
，尤其涉及用于生成三维头像模型的方法和装置。
技术介绍
随着计算机图形学以及计算机视觉等技术的进步，互动式数字媒体产业也得到良好发展。在交互式数字媒体领域，常常需要使用到用户的头像来表征用户所创建的账户。使用三维头像模型作为用户头像，有利于进一步提高娱乐性和真实感。然而，通过现有的方案生成的三维头像模型，或者真实感较差造成使用效果差，或者需要用户使用额外的专用设备提高用户参与成本，因此均无法得到普遍的使用。
技术实现思路
本申请的目的在于提出一种改进的用于生成三维头像模型的方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请实施例提供了一种用于生成三维头像模型的方法，该方法包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。在一些实施例中，所述获取不同人脸姿态角度的多张人脸图像，包括：在预先设定的多个人脸姿态角度取值范围中，确定针对所述用户所采集的人脸图像集合中每张人脸图像的人脸姿态角度所属的人脸姿态角度取值范围；针对每个人脸姿态角度范围，选取出该人脸姿态角度范围对应的至少一张人脸图像。在一些实施例中，在所述获取不同人脸姿态角度的多张人脸图像之前，所述方法包括：从对所述用户的人脸进行多角度拍摄而生成的视频的视频帧中采集所述人脸图像集合。在一些实施例中，所述选取出该人脸姿态角度范围对应的至少一张人脸图像，包括：按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。在一些实施例中，所述按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像，包括：利用第一卷积神经网络模型计算出所述人脸图像集合中每张人脸图像的图像质量分值，和/或，利用第二卷积神经网络模型计算出所述人脸图像集合中每张人脸图像中人脸的人脸表情分值；按照人脸图像的图像质量分值和/或人脸表情分值，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。在一些实施例中，所述使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型，包括：采用可变形模板算法建立初始三维人脸模型。在一些实施例中，所述使用所述所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型，包括：采用自阴影光照模型进行深度矫正。在一些实施例中，所述使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理，包括：对所述至少两张人脸图像执行质量度提高操作；对质量度提高后的至少两张人脸图像进行多帧融合，以生成三维人脸模型的二维纹理。在一些实施例中，所述对所述至少两张人脸图像执行质量度提高操作，包括：针对所述至少两张人脸图像的每一张人脸图像，将人脸图像的各个通道的通道值分别输入至预先训练的、用于执行质量度提高操作的第一反卷积神经网络模型，其中，所述第一反卷积神经网络模型用于表征质量度提高前的人脸图像的各个通道的通道值与质量度提高后的人脸图像的梯度场的对应关系；采用泊松方程，基于所述第一反卷积神经网络模型输出的梯度场，重建质量度提高后的人脸图像。在一些实施例中，质量度提高操作包括以下一项或多项：光照均匀化操作、降噪操作、模糊去除操作。在一些实施例中，上述方法还包括第一反卷积神经网络模型训练步骤，包括：对预先挑选出的人脸图像执行质量度降低操作；将质量度降低后的人脸图像的各个通道的通道值以及质量度降低前的人脸图像的梯度场分别作为所述第一反卷积神经网络模型的输入样本与输出样本，对所述第一反卷积神经网络模型进行训练。在一些实施例中，所述对质量度提高后的至少两张人脸图像进行多帧融合，以生成三维人脸模型的二维纹理，包括：将质量度提高后的至少两张人脸图像的各个通道的通道值输入至预先训练的第二反卷积神经网络模型，其中，所述第二反卷积神经网络模型用于表征融合前多个人脸图像的各个通道的通道值与融合后图像的梯度场的对应关系；采用泊松方程，基于所述第二反卷积神经网络模型输出的梯度场重建三维人脸模型的二维纹理。在一些实施例中，所述第二反卷积神经网络模型包括与卷积层对称的反向卷积层以及用于提高所述第二反卷积神经网络模型所输出的图像梯度场所对应图像的分辨率的反向卷积层。在一些实施例中，所述方法还包括第二反卷积神经网络模型训练步骤，包括：获取用于所述第二反卷积神经网络模型的训练样本，所述训练样本数据包括通过不同于所述第二反卷积神经网络模型的泊松融合算法所获得的融合前人脸图像的通道值和融合后的图像梯度场和/或通过三维扫描仪扫描到的人脸图像的通道值和图像梯度场；基于所述第二反卷积神经网络模型的训练样本数据，对所述第二反卷积神经网络模型进行训练。第二方面，本申请实施例提供了一种用于生成三维头像模型的装置，获取单元，用于获取用户的不同人脸姿态角度的多张人脸图像；建立单元，用于使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；矫正单元，用于使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；融合单元，用于使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染单元，用于渲染所述已矫正三维人脸模型以及所述二维纹理渲染，以生成三维头像模型。在一些实施例中，所述获取单元包括：确定子单元，用于在预先设定的多个人脸姿态角度取值范围中，确定针对所述用户所采集的人脸图像集合中每张人脸图像的人脸姿态角度所属的人脸姿态角度取值范围；选取子单元，用于针对每个人脸姿态角度范围，选取出该人脸姿态角度范围对应的至少一张人脸图像。在一些实施例中，所述装置还包括：采集单元，用于在所述获取不同人脸姿态角度的多张人脸图像之前，从对所述用户的人脸进行多角度拍摄而生成的视频的视频帧中采集所述人脸图像集合。在一些实施例中，所述选取子单元进一步用于：按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。在一些实施例中，所述选取子单元包括：分值计算模块，用于利用第一卷积神经网络模型计算出所述人脸图像集合中每张人脸图像的图像质量分值，和/或，利用第二卷积神经网络模型计算出所述人脸图像集合中每张人脸图像中人脸的人脸表情分值；选取模块，用于按照人脸图像的图像质量分值和/或人脸表情分值，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。在一些实施例中，所述建立单元进一步用于：采用可变形模板算法建立初始三维人脸模型。在一些实施例中，所述矫正单元进一步用于：本文档来自技高网...

【技术保护点】
一种用于生成三维头像模型的方法，其特征在于，所述方法包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。

【技术特征摘要】
1.一种用于生成三维头像模型的方法，其特征在于，所述方法包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。2.根据权利要求1所述的方法，其特征在于，所述获取不同人脸姿态角度的多张人脸图像，包括：在预先设定的多个人脸姿态角度取值范围中，确定针对所述用户所采集的人脸图像集合中每张人脸图像的人脸姿态角度所属的人脸姿态角度取值范围；针对每个人脸姿态角度范围，选取出该人脸姿态角度范围对应的至少一张人脸图像。3.根据权利要求2所述的方法，其特征在于，在所述获取不同人脸姿态角度的多张人脸图像之前，所述方法包括：从对所述用户的人脸进行多角度拍摄而生成的视频的视频帧中采集所述人脸图像集合。4.根据权利要求2所述的方法，其特征在于，所述选取出该人脸姿态角度范围对应的至少一张人脸图像，包括：按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。5.根据权利要求4所述的方法，其特征在于，所述按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像，包括：利用第一卷积神经网络模型计算出所述人脸图像集合中每张人脸图像的图像质量分值，和/或，利用第二卷积神经网络模型计算出所述人脸图像集合中每张人脸图像中人脸的人脸表情分值；按照人脸图像的图像质量分值和/或人脸表情分值，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。6.根据权利要求1所述的方法，其特征在于，所述使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型，包括：采用可变形模板算法建立初始三维人脸模型。7.根据权利要求1所述的方法，其特征在于，所述使用所述所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型，包括：采用自阴影光照模型进行深度矫正。8.根据权利要求1所述的方法，其特征在于，所述使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理，包括：对所述至少两张人脸图像执行质量度提高操作；对质量度提高后的至少两张人脸图像进行多帧融合，以生成三维人脸模型的二维纹理。9.根据权利要求8所述的方法，其特征在于，所述对所述至少两张人脸图像执行质量度提...

【专利技术属性】
技术研发人员：黄锦池，陈军宏，
申请(专利权)人：厦门幻世网络科技有限公司，
类型：发明
国别省市：福建,35