基于VAE-ACGAN的人脸姿态虚拟视图生成方法技术

本发明专利技术公开了一种基于VAE‑ACGAN的人脸姿态虚拟视图生成方法，构建VAE‑ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类‑生成对抗网络ACGAN，然后分别获取ACGAN训练样本集和VAE训练样本集，采用ACGAN训练样本集对生成器G和判别器D进行训练，然后固定生成器G和判别器D的参数，采用VAE训练样本集对编码器E进行训练，得到训练好的VAE‑ACGAN网络，将需要生成目标姿态角度虚拟视图的人脸图像输入训练好的VAE‑ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。本发明专利技术所构建的VAE‑ACGAN网络，对输入图像的姿态变化具有较好的鲁棒性，可以有效提高生成的虚拟视图质量。

Vae-acgan based virtual view generation method of face pose

【技术实现步骤摘要】
基于VAE-ACGAN的人脸姿态虚拟视图生成方法
本专利技术属于机器学习
，更为具体地讲，涉及一种基于VAE-ACGAN的人脸姿态虚拟视图生成方法。
技术介绍
生物特征识别技术通过提取人体的生物特征进行身份鉴别，常用的生物特征有包括指纹、人脸、虹膜、静脉等。与其他的生物特征相比，人脸以其稳定性、易推广、易被用户接受和唯一性等优点受到越来越多人的关注和研究。从而被广泛应用在各个领域中。虽然该技术在理想可控的环境下，有较好的研究成果，但是在不可控的真实自然环境中，识别的精度下降较为明显。姿态变化是人脸识别中最为常见且造成识别率下降的直接因素。针对姿态变化的研究也是目前人脸识别领域的重难点。因此，对多姿态人脸的识别算法研究具有巨大的现实意义和实用价值。多姿态人脸识别算法中，人脸的姿态变化会导致识别率的下降，主要是因为当人脸发生偏转、或者俯仰时，会导致正面人脸的信息缺失，从而影响算法的识别性能。针对该问题，除了早期的传统方法如基于二维图像的多姿态人脸识别算法之外，也涌现了很多基于图像三维重建的算法以及基于深度学习的方法。目前主流的方法大多是基于姿态校正和虚拟多姿态视图实现的多姿态人脸识别。在目前已有的多姿态虚拟视图生成算法中，大多是通过单张样本生成多张虚拟人脸样本，其主要难点在于生成的虚拟样本存在模糊、畸变且对输入图像的姿态变化没有鲁棒性。为了解决该问题，国内外的研究方向大概分为两个方向：一是基于函数映射的方法，该方法通过函数计算姿态变化前后的人脸图像像素的位置，从而生成多姿态的人脸，这种方法实现简单但生成的姿态与真实姿态存在一定的偏差。而是基于3D建模的方法，通过正面人脸图像建立三维模型，然后经过旋转、投影等处理实现虚拟视图的生成。虽然该方法在一定条件下能提升多姿态人脸识别的性能，但是重建模型耗时较长且实时性较差，当待识别对象的偏转角度过大时，脸部信息缺失导致虚拟样本的生成质量不高。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于VAE-ACGAN的人脸姿态虚拟视图生成方法，将变分自编码器VAE和辅助分类-生成对抗网络ACGAN进行结合，构建VAE-ACGAN网络，提高生成的虚拟视图质量。为了实现以上专利技术目的，本专利技术基于VAE-ACGAN的人脸姿态虚拟视图生成方法包括以下步骤：S1：构建VAE-ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类-生成对抗网络ACGAN，编码器E对输入人脸图像进行编码，得到编码噪声的M维特征向量和编码角度的N维特征向量，根据需要设置目标姿态角度的N维特征向量，将噪声的M维特征向量和目标姿态角度的N维特征向量组合得到M+N维特征向量输入至生成器G，生成器G生成目标姿态角度的人脸图像，判别器D对生成器G所生成的人脸图像和目标姿态角度的真实人脸图像进行判别，得到分类角度与判别分数；S2：获取若干目标姿态角度的人脸图像，归一化至生成器G的输出图像大小尺寸，构成ACGAN训练样本集；获取若干目标姿态角度的人脸图像以及相同人脸的其他角度的人脸图像，归一化至生成器G的输出图像大小尺寸，将相同人脸的其他角度的人脸图像作为源图像，对应的目标姿态角度的人脸图像作为目标图像，构成VAE训练样本集；S3：生成M维噪声输入向量和N维角度输入向量，组合得到M+N维输入向量作为生成器G的输入，将ACGAN训练样本集中的人脸图像样本作为判别器D的真实人脸图像，对生成器G和判别器D进行训练；S4：固定生成器G和判别器D的参数不变，将VAE训练样本集中的源图像作为编码器E的输入，目标图像作为判别器D中目标姿态角度的真实人脸图像，对编码器E进行训练，得到训练好的VAE-ACGAN网络；S5：将需要生成目标姿态角度虚拟视图的人脸图像归一化至生成器G的输出图像大小尺寸，然后输入至训练好的VAE-ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。本专利技术基于VAE-ACGAN的人脸姿态虚拟视图生成方法，构建VAE-ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类-生成对抗网络ACGAN，然后分别获取ACGAN训练样本集和VAE训练样本集，采用ACGAN训练样本集对生成器G和判别器D进行训练，然后固定生成器G和判别器D的参数，采用VAE训练样本集对编码器E进行训练，得到训练好的VAE-ACGAN网络，将需要生成目标姿态角度虚拟视图的人脸图像输入训练好的VAE-ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。本专利技术将变分自编码器VAE和辅助分类-生成对抗网络ACGAN进行结合，构建VAE-ACGAN网络，对输入图像的姿态变化具有较好的鲁棒性，可以有效提高生成的虚拟视图质量。在基于本专利技术生成的虚拟视图作为样本库训练人脸识别模型时，可以有效提高人脸识别的准确度。附图说明图1是本专利技术基于VAE-ACGAN的人脸姿态虚拟视图生成方法的具体实施方式流程图；图2是本专利技术中VAE-ACGAN模型的结构图；图3是本实施例中所采用的编码器结构图；图4是本实施例中编码器的下采样残差网络残差块的结构图；图5是本实施例中所采用的生成器结构图；图6是本实施例中生成器的上采样残差网络残差块的结构图；图7是本实施例中所采用的判别器的结构图；图8是本实施例中目标姿态角度的人脸图像示例图；图9是本实施例中3幅人脸图像样本的9种目标姿态角度的虚拟视图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例图1是本专利技术基于VAE-ACGAN的人脸姿态虚拟视图生成方法的具体实施方式流程图。如图1所示，本专利技术基于VAE-ACGAN的人脸姿态虚拟视图生成方法的具体步骤包括：S101：构建VAE-ACGAN模型：VAE((VariationalAuto-Encoder，变分自编码器)模型的核心思想是在自编码器的隐含层中加入隐变量来自动生成数据。VAE模型中包含编码器和解码器，编码器包括两个编码模块，一个编码模块用来计算均值，另一个编码模块用来计算方差，在计算均值的编码模块的输出结果上加上“高斯噪声”，可以使得解码器对噪声具有鲁棒性。ACGAN(AuxiliaryClassifierGenerativeAdversarialNetwork，辅助分类-生成对抗网络)网络主要分为两部分，一部分是生成器，另一部分是判别器。生成器的作用是根据输入的原始域图像及指定域的标签信息，生成对应指定域指定的图像。而判别器网络的作用是对输入的图像进行分类，判断其是真实图像还是生成图像，并输出其所属域信息。为了生成具有姿态变化的多姿态虚拟样本，本专利技术将VAE模型中的解码器和ACGAN模型中的生成器合二为一，构成VAE-ACGAN模型。图2是本专利技术中VAE-ACGAN模型的结构图。如图2所示，本专利技术中VAE-ACGAN模型包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助本文档来自技高网...

【技术保护点】
1.一种基于VAE‑ACGAN的人脸姿态虚拟视图生成方法，其特征在于，包括以下步骤：S1：构建VAE‑ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类‑生成对抗网络ACGAN，编码器E对输入人脸图像进行编码，得到编码噪声的M维特征向量和编码角度的N维特征向量，根据需要设置目标姿态角度的N维特征向量，将噪声的M维特征向量和目标姿态角度的N维特征向量组合得到M+N维特征向量输入至生成器G，生成器G生成目标姿态角度的人脸图像，判别器D对生成器G所生成的人脸图像和目标姿态角度的真实人脸图像进行判别，得到分类角度与判别分数；S2：获取若干目标姿态角度的人脸图像，归一化至生成器G的输出图像大小尺寸，构成ACGAN训练样本集；获取若干目标姿态角度的人脸图像以及相同人脸的其他角度的人脸图像，归一化至生成器G的输出图像大小尺寸，将相同人脸的其他角度的人脸图像作为源图像，对应的目标姿态角度的人脸图像作为目标图像，构成VAE训练样本集；S3：生成M维噪声输入向量和N维角度输入向量，组合得到M+N维输入向量作为生成器G的输入，将ACGAN训练样本集中的人脸图像样本作为判别器D的真实人脸图像，对生成器G和判别器D进行训练；S4：固定生成器G和判别器D的参数不变，将VAE训练样本集中的源图像作为编码器E的输入，目标图像作为判别器D中目标姿态角度的真实人脸图像，对编码器E进行训练，得到训练好的VAE‑ACGAN网络；S5：将需要生成目标姿态角度虚拟视图的人脸图像归一化至生成器G的输出图像大小尺寸，然后输入至训练好的VAE‑ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。...

【技术特征摘要】
1.一种基于VAE-ACGAN的人脸姿态虚拟视图生成方法，其特征在于，包括以下步骤：S1：构建VAE-ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类-生成对抗网络ACGAN，编码器E对输入人脸图像进行编码，得到编码噪声的M维特征向量和编码角度的N维特征向量，根据需要设置目标姿态角度的N维特征向量，将噪声的M维特征向量和目标姿态角度的N维特征向量组合得到M+N维特征向量输入至生成器G，生成器G生成目标姿态角度的人脸图像，判别器D对生成器G所生成的人脸图像和目标姿态角度的真实人脸图像进行判别，得到分类角度与判别分数；S2：获取若干目标姿态角度的人脸图像，归一化至生成器G的输出图像大小尺寸，构成ACGAN训练样本集；获取若干目标姿态角度的人脸图像以及相同人脸的其他角度的人脸图像，归一化至生成器G的输出图像大小尺寸，将相同人脸的其他角度的人脸图像作为源图像，对应的目标姿态角度的人脸图像作为目标图像，构成VAE训练样本集；S3：生成M维噪声输入向量和N维角度输入向量，组合得到M+N维输入向量作为生成器G的输入，将ACGAN训练样本集中的人脸图像样本作为判别器D的真实人脸图像，对生成器G和判别器D进行训练；S4：固定生成器G和判别器D的参数不变，将VAE训练样本集中的源图像作为编码器E的输入，目标图像作为判别器D中目标姿态角度的真实人脸图像，对编码器E进行训练，得到训练好的VAE-ACGAN网络；S5：将需要生成目标姿态角度虚拟视图的人脸图像归一化至生成器G的输出图像大小尺寸，然后输入至训练好的VAE-ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。2.根据权利要求1所述的人脸姿态虚拟视图生成方法，其特征在于，所述编码器E包括卷积层、下采样残差网络和全连接层，编码器E的输入为一个大小为128*128的三通道彩色图像，输入...

【专利技术属性】
技术研发人员：于力，肖芳，邹见效，徐红兵，杨瞻远，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51