人脸图像分解方法和装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种人脸图像分解方法和装置、电子设备及存储介质，其中方法包括：获取第一人脸图像；对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，可以提高人脸图像的分解和重构处理的准确度。

Face image decomposition method and device, electronic equipment and storage medium

【技术实现步骤摘要】
人脸图像分解方法和装置、电子设备及存储介质
本公开涉及计算机视觉
，具体涉及一种人脸图像分解方法和装置、电子设备及存储介质。
技术介绍
在图像处理领域，时常需要对人脸图像进行本征图像分解，分析人脸图像形成背后的原因，例如入射光照的分布情况、人脸的几何形状和人脸表面的反射材质属性等。一般而言，人脸本征图像分解方法中假设物体表面的反射材质为漫反射材质，而由于人脸的结构、角度等原因会影响不同区域的光照情况，从而会存在一些区域做出错误的分解，例如人脸的鼻孔处本应只有开口方向有入射光，对于该区域的分解易出现错误的几何和材质估计，人脸图像的分解和重构处理的准确度较低。
技术实现思路
本公开实施例提供了一种人脸图像分解方法和装置、电子设备及存储介质。本公开实施例第一方面提供一种人脸图像分解方法，包括：获取第一人脸图像；对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。在一种可选的实施方式中，在对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征之后，所述方法还包括：获取目标入射光照系数；所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。上述步骤可以在第一人脸图像的基础上通过设置不同的目标入射光照系数重构不同光照效果的第二人脸图像。在一种可选的实施方式中，所述多种类型的图像特征中还包括以下图像特征中的至少一种：所述第一人脸图像的反射率特征、所述第一人脸图像的法向量特征、所述第一人脸图像的深度特征、所述第一人脸图像的入射光照系数。上述步骤可以获得不同的图像特征，可用于人脸图像的几何属性和材质属性分析，以及便于对人脸图像的重构处理。在一种可选的实施方式中，所述对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，包括：利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。通过神经网络模型可以快速地提取第一人脸图像的反射率特征以及几何特征，其中几何特征包括遮挡特征，考虑图像遮挡效果，可以使人脸图像的遮挡区域的分解效果更加。在一种可选的实施方式中，在通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，所述方法还包括：通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。在一种可选的实施方式中，在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解效果，也使对人脸图像的重构处理效果更加。在一种可选的实施方式中，所述人脸图像分解方法在神经网络模型中执行；所述神经网络模型为利用训练样本集中的虚拟人脸图像和由所述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，所述神经网络模型为利用训练样本集中的虚拟人脸图像、由所述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由所述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。可以通过虚拟人脸数据训练神经网络模型，操作方便，也可以通过虚拟人脸数据与真实人脸数据混合训练神经网络模型，进一步提升模型可靠性，实现对人脸图像的准确分解处理。在一种可选的实施方式中，所述虚拟人脸图像由三维形变模型随机生成。通过三维形变模型随机生成虚拟人脸图像用于神经网络模型的训练，可以较为全面地训练神经网络模型。在一种可选的实施方式中，所述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括所述虚拟人脸图像的入射光照系数；所述方法还包括：获取光照数据集，基于所述光照数据集获得所述虚拟人脸图像的入射光照系数。可以通过现有光照数据集获得虚拟人脸图像的入射光照系数，数据全面、可靠，提升模型的准确度。在一种可选的实施方式中，所述方法还包括：以所述训练样本集中的虚拟人脸图像作为输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；利用所述第一神经网络模型，预测所述真实人脸图像中的多种类型的第二样本图像特征；将所述真实人脸图像和对应的多种类型的第二样本图像特征添加至所述训练样本集中；以所述虚拟人脸图像为一组输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以所述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对所述第一神经网络模型进行训练，得到最终的所述神经网络模型。通过虚拟人脸数据，和对真实人脸图像进行分解处理获得的真实人脸数据混合进行训练，可以进一步提高神经网络模型的准确度。本公开实施例第二方面提供了一种人脸图像分解装置，包括获取模块、分解模块和重构模块，其中：所述获取模块，用于获取第一人脸图像；所述分解模块，用于对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；所述重构模块，用于利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。可选的，所述获取模块还用于获取目标入射光照系数；所述重构模块具体用于：将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。可选的，所述多种类型的图像特征中还包括以下图像特征中的至少一种：所述第一人脸图像的反射率特征、所述第一人脸图像的法向量特征、所述第一人脸图像的深度特征、所述第一人脸图像的入射光照系数。可选的，所述分解模块包括第一单元，用于：利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过本文档来自技高网...

【技术保护点】
1.一种人脸图像分解方法，其特征在于，所述方法包括：/n获取第一人脸图像；/n对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；/n利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。/n

【技术特征摘要】
1.一种人脸图像分解方法，其特征在于，所述方法包括：
获取第一人脸图像；
对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。


2.根据权利要求1所述的方法，其特征在于，在对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征之后，所述方法还包括：
获取目标入射光照系数；
所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。


3.根据权利要求1或2所述的方法，所述多种类型的图像特征中还包括以下图像特征中的至少一种：所述第一人脸图像的反射率特征、所述第一人脸图像的法向量特征、所述第一人脸图像的深度特征、所述第一人脸图像的入射光照系数。


4.根据权利要求3所述的方法，其特征在于，所述对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，包括：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。


5.根据权利要求4所述的方法，其特征在于，在通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，所述方法还包括：
通过第二全连接层对所述中间图像特征进行...

【专利技术属性】
技术研发人员：鲍虎军，王锐，钟复之，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33