基于级联双生成器的人脸正面化方法及系统技术方案

本公开提供了一种基于级联双生成器的人脸正面化方法及系统，涉及图像数据转换技术领域，方法包括获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；本公开能够使生成的人脸图像在面部细节和整体结构上有更好的表现。面部细节和整体结构上有更好的表现。面部细节和整体结构上有更好的表现。

【技术实现步骤摘要】
基于级联双生成器的人脸正面化方法及系统


[0001]本公开涉及图像数据转换
，具体涉及基于级联双生成器的人脸正面化方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]人脸识别技术是生活中常用的生物特征识别技术，具有非接触性和非强制性的优点，不需要用户高度配合便能实现远距离快速获取被识别者的身份信息。然而在非受限的环境中，如监控视频中，现有人脸识别模型受到姿态、光照和遮挡等因素的影响，导致性能严重下降。近年来，人们对人脸识别的研究逐渐从受限环境下的研究转为非受限环境下的研究。其中，多姿态人脸识别是一个研究热点。目前主流的多姿态人脸识别研究方法是：首先从姿态人脸图像中恢复出保留身份信息的正面人脸图像，这个过程也称为人脸正面化，再对得到的正面人脸图像进行特征提取与识别。使用正面化后的人脸图像进行识别与直接使用姿态人脸图像进行识别相比准确率有了较高提升，因此研究人脸正面化有助于多姿态人脸识别任务的完成，具有重要的实际意义。
[0004]人脸正面化任务是在姿态人脸图像的基础上生成一张全新的正面人脸图像，本质上是一种图像生成任务。近年来，生成对抗网络的出现大大提升了图像生成任务的视觉效果，在图像生成领域有着广泛应用。很多基于生成对抗网络的人脸正面化方法也被提出，这些方法能够生成逼真的正面人脸图像，提升多姿态人脸识别准确率。
[0005]但是现有的一些先进方法仍然存在一些问题，包括有的网络需要依赖输入人脸图像以外的先验知识，比如人脸偏转角度，并且生成的图像的质量不高，仍有进一步的提升空间。

技术实现思路

[0006]本公开为了解决上述问题，提出了基于级联双生成器的人脸正面化方法及系统，整体网络结构基于生成对抗网络，其中生成网络部分由两个设置成不同网络层数的生成器级联组成，结合深层特征和浅层特征，对多种姿态的人脸图像进行正面化。
[0007]根据一些实施例，本公开采用如下技术方案：
[0008]基于级联双生成器的人脸正面化方法，包括：
[0009]获取多姿态人脸图像并进行预处理；
[0010]将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；最后，通过人脸识别准确率评估生成图像的质量；
[0011]其中，深层生成器和浅层生成器的网络结构均采用U
‑
net骨干网络，每个生成器均
有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
[0012]根据一些实施例，本公开采用如下技术方案：
[0013]基于级联双生成器的人脸正面化系统，包括：
[0014]图像获取模块，用于获取多姿态人脸图像并进行预处理；
[0015]图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
[0016]其中，深层生成器和浅层生成器的网络结构均采用U
‑
net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
[0017]根据一些实施例，本公开采用如下技术方案：
[0018]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
[0019]根据一些实施例，本公开采用如下技术方案：
[0020]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
[0021]与现有技术相比，本公开的有益效果为：
[0022]本公开人脸正面化模型基于生成对抗网络进行搭建，生成网络由两个不同深度生成器级联组成。深层生成器可以提取粗粒度特征(人脸轮廓)，生成在整体结构上更接近真实情况的正面人脸图像；浅层生成器可以提取细粒度特征(纹理特征)，生成在面部细节上更接近真实情况的正面人脸图像。
[0023]本公开利用残差块加深生成网络和判别网络，增强网络的拟合能力，从而使生成器生成的图像在整体上更接近真实图像，使判别器对图像有更强的判别能力。
[0024]本公开提出的方法能有效为监控、门禁等场景下的人脸识别提供帮助，同时满足准确性和实时性要求。
附图说明
[0025]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0026]图1为本公开实施例1的流程图；
[0027]图2为本公开实施例1的网络框架示意图；
[0028]图3为本公开实施例1的深层生成器示意图；
[0029]图4为本公开实施例1的浅层生成器示意图。
具体实施方式：
[0030]下面结合附图与实施例对本公开作进一步说明。
[0031]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0033]实施例1
[0034]本公开的一种实施例中提供了一种基于级联双生成器的人脸正面化方法，包括：
[0035]步骤一：获取多姿态人脸图像并进行预处理；
[0036]步骤二：将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
[0037]其中，深层生成器和浅层生成器的网络结构均采用U
‑
net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
[0038]本公开的整体思路为：获取人脸图像，依据获取的多姿态人脸图像，以及预设的人脸正面化模型，得到正面人脸图像；
[0039]其中，所述人脸正面化模型通过生成对抗网络训练得到。
[0040]利用人脸正面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于级联双生成器的人脸正面化方法，其特征在于，包括：获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；其中，深层生成器和浅层生成器的网络结构均采用U
‑
net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。2.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述预处理的步骤包括：对于获取的多姿态人脸图像现采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过PIL裁剪图像为相同尺寸大小。3.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述人脸正面化模型为级联双生成器的生成对抗网络，所述人脸正面化模型实现将多姿态人脸图像转换成正面人脸图像，多姿态人脸图像为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度。4.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，深层生成器采用U
‑
net骨干网络结构，包括下采样和上采样两个过程，上采样部分采用和下采样对称的结构，下采样部分包括不同步长的卷积层，每个卷积层后包括一个残差块，所述残差块将得到的特征通过全连接层和池化层整合为一维特征。5.权利要求4所述的基于级联双生成器的人脸正面化方法，其特征在于，在上采样过程中使用跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图在通过维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图和对应尺度的姿态人脸图像在通道维度上进行拼接，通过跳跃连接结...

【专利技术属性】
技术研发人员：刘成云，曹佳倩，陈振学，张玉娇，王文成，
申请(专利权)人：山东大学，
类型：发明
国别省市：