一种人脸图像修复方法及系统技术方案

本公开提供一种人脸图像修复方法及系统，修复模型由人脸图像编码器、人脸几何先验预测网络和GAN先验解码器构成；人脸图像编码器采用多尺度融合思想，保留输入人脸在不同尺度下的脸部信息；人脸几何先验预测网络获取人脸解析图表示的人脸几何先验信息，保证图像修复过程中对输入人脸身份信息的保持；GAN先验解码器引入GAN逆映射的思想，将一个训练好的带有丰富的人脸纹理先验知识的GAN嵌入到网络模型中，以重建高精度的人脸纹理信息；层特征分布损失函数引入对每一层特征空间里的特征向量分布情况及相互关系的约束，有效提升了整个模型的修复精度。型的修复精度。型的修复精度。

【技术实现步骤摘要】
一种人脸图像修复方法及系统


[0001]本公开涉及图像修复
，具体涉及一种人脸图像修复方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在 先技术。
[0003]人脸图像作为一类特殊的自然图像，一直是学者们关注的重要研究数据。 由于成像系统、记录设备、传输介质和处理方法等的不完善，人脸图像会产生 质量退化的问题，这些问题包括图片颜色和片段的丢失、分辨率降低以及脸部 纹理细节信息的缺失等。人脸图像修复旨在由一张低质量的人脸图像重建生成 一张高质量的人脸图像，以解决图像质量退化带来的各种问题。
[0004]早期的工作将对抗损失约束函数引入图像修复任务中，随着生成对抗网络 (GAN)的不断改进，很多工作都是结合GAN来完成图像修复的任务，但是这 些方法并不能很好地处理具有丰富复杂信息的人脸图像，例如，基于GAN网络 的人脸补全模型，加入两个辨别器，以保证生成的人脸图像中的局部信息和整 体信息的有效性，但该方法修复生成的人脸图片质量不高，存在伪影与纹理不 自然的问题；从高质量样本图像集中，选取一张在姿态和表情方面与输入人脸 最相近的图像作为指导，并对两张图片采用自适应空间特征融合，生成一张高 质量的图片，但最佳指导图像的选取过程非常复杂和耗时。
[0005]随着深度学习的发展，使用深度神经网络来对图像先验进行建模。DIP(DeepImage Prior)模型是其中具有代表性的工作之一，它通过在单张低质量的图像 上反复迭代来获取图像的先验信息，进而完成图像修复的任务。但是DIP具有 两方面的局限性：一是由于迭代很多次才能达到比较理想的修复效果，使得方 法的时间效率过低；二是由于局限在单张低质量图像上反复迭代，无法模拟图 像中更高维的信息，对丢失重要特征的人脸图像无法完成修复任务。PULSE模 型借助GAN逆映射的思想在潜在向量层面上优化重建图像与真实高分辨率图像 之间的差距，并通过多维高斯分布的特性缩小潜在向量的搜索范围，同时采用 下采样损失函数来优化潜在向量，以解决重建图像中细节模糊等现象。但这种 基于优化隐向量的方法无法准确地重建出任意给定的真实场景中的图像。为平 衡DIP和PULSE的优缺点，DGP模型将两者结合，通过联合优化潜在向量和生 成器的权重参数，并使用平方差损失和感知损失来约束模型，完成图像修复的 任务。但由于PULSE与DGP均是通过优化输入图像的低维的潜在向量来生成高 分辨率图像，其难以保证重建生成的图像与原始输入图像的感知特征足够接近， 且需要较长的迭代时间来优化完成图像修复的任务。还有很多结合GAN先验思 想的工作，如，GLEAN模型采用Encoder
‑
LatentBank
‑
Decoder形式，使用一个 预训练好的生成器作为模型中的Latent Bank，为丰富重建图像的纹理和细节提 供先验信息，但该方法处理的是人为下采样后类似马赛克的图片，无法很好地 处理自然退化的人脸图像。GPEN模型结合CNN和GAN的网络框架，训练一个 用于高质量人脸图像生成的GAN网络，并修改成多个GAN Block的形式，将其 嵌入到U型DNN中作为解码器，用于提供人
脸图像先验信息。PSFR
‑
GAN模型 通过语义感知样式转换模块(ST Block)以粗略到精细的方式重建人脸图像，并 加入语义感知的样式转换损失来约束模型，以生成更多的纹理细节信息，但是 训练不同尺度的ST Block的参数对的过程复杂，降低了模型的效率。目前基于 深度学习和GAN先验思想的人脸图像修复研究不能很好的从一张低质量的输入 人脸图像中合理挖掘利用其潜藏的先验信息，使修复后的人脸图像的纹理细节 信息更加丰富，也不能很好的使得修复后的人脸图像保持给定的身份特征，显 得真实自然。

技术实现思路

[0006]本公开为了解决上述问题，提出了一种人脸图像修复方法及系统，引入几 何先验的思想，能够有效预测低质量输入人脸的几何信息，使得修复的人脸更 好的保留输入人脸的脸部几何特征。引入GAN先验的思想，可充分利用已训练好 的GAN中蕴含的丰富的脸部纹理信息，重建输入人脸的脸部细节。引入多尺度特 征融合思想，可整合输入人脸在不同尺度下蕴含的几何与纹理先验信息，进一 步提升人脸修复的质量。几何先验与纹理先验的结合，实现了对人脸几何特征 和纹理细节的高精度重建。新的层特征分布损失函数，可有效提升模型精度， 实现高质量的人脸图像修复。
[0007]根据一些实施例，本公开采用如下技术方案：
[0008]一种人脸图像修复方法，包括以下步骤：
[0009]采集低质量人脸图像数据并预处理；
[0010]获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图像数据 分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析 图和人脸图片特征；
[0011]将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验 解码器，重建生成最终的人脸图片。
[0012]根据另一些实施例，本公开还采用如下技术方案：
[0013]一种人脸图像修复系统，包括：
[0014]图像采集模块，用于采集需要进行修复的低质量人脸图像数据并预处理；
[0015]图像特征提取模块，用于将低质量人脸图像数据分别输入至人脸几何先验 预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；
[0016]人脸图像重建模块，用于将所述人脸解析图和所述人脸图片特征融合后， 输入至生成对抗网络先验解码器，重建生成最终的人脸图片；
[0017]训练模块，用于依次训练判别器和生成器，直到训练结束。
[0018]有益效果
[0019]与现有技术相比，本公开的有益效果为：
[0020]本公开模型可根据给定的低质量人脸图片，重建生成一张五官与发型轮廓 清晰、纹理细节丰富且与输入图片身份特征保持一致的高质量人脸图片。模型 引入几何先验的思想，设计的人脸解析图预测模块能够有效预测低质量输入人 脸的几何信息，使重建的人脸更好地保留输入人脸的脸部几何特征，实现对输 入人脸的身份特征的保持；解码器引入GAN先验的思想，利用已训练好的GAN 中蕴含的丰富的脸部纹理信息，重建输入人脸的脸部细节。几何先验与纹理先 验的结合，实现了对人脸几何特征和纹理细节的高精度修复。另
外，模型中的 编码器引入多尺度的思想，通过整合输入人脸在不同尺度下蕴含的高维与低维 信息，更有效地保留输入人脸图片的特征，这些特征既包括几何特征，又包括 纹理特征，从而进一步提高人脸修复的质量。本公开还提出了新的层特征分布 损失函数，对每一层卷积层，通过将图像在不同通道得到的特征向量在整个特 征空间的分布情况以及它们之间的相互关系作为约束，有效提升了模型的精度， 从而实现高精度的人脸图像修复。
附图说明
[0021]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公 开的示意性实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像修复方法，其特征在于，包括：采集低质量人脸图像数据并预处理；获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图像分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验解码器，重建生成最终的人脸图片。2.如权利要求1所述的一种人脸图像修复方法，其特征在于，获取一张低质量的人脸图像，输入至多尺度人脸图像编码器中，所述多尺度人脸图像编码器利用双三次插值方法将人脸图像分别放大4倍、6倍以及8倍，得到原尺度图像、4倍尺度图像、6倍尺度图像和8倍尺度图像，将所述四种不同尺度的人脸图像分别经过编码模块得到不同尺度下的人脸特征，然后将四种人脸特征进行融合得到人脸图片特征。3.如权利要求2所述的一种人脸图像修复方法，其特征在于，所述编码模块由首尾对称的卷积层、池化层、正则层和12个残差块连接组成。4.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述人脸几何先验预测网络由卷积层、池化层、正则层、3个残差块以及一个沙漏结构连接组成。5.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述的生成对抗网络先验解码器采用StyleGAN结构，解码时，将人脸几何先验预测网络获得的人脸解析图与多尺度人脸图像编码器获得的人脸图像特征融合成特征向量输入至所述生成对抗网络先验解码器中，先将其通过映射网络映射为一个位于更加解耦的空间中的特征向量，再将特征向量输入至生成网络GAN，并结合生成网络GAN中已训练好的人脸纹理先验信息，重建生成一张高质量人脸图片。6.如权利要求1所述的一种人脸图像修复方法，其特征在于，损失函数包括四项约束，分别为L2损失函数、感知损失函数、对抗损失函数以及层特征分布损失函数；所述L2损失函数，给定训练集N是用于训练的人脸图片的数量，是输入的低质量人脸图片,分别是对应的真实的高质量人脸图片和真实的人脸几何信息，L2损失函数用于计算修复生成的人脸几何信息与真实的人脸几何信息的误差，以及修复生成的人脸图像与真实人脸图像的像素级误差，表示如下：其中，表示由第k张输入人脸图片修复生成的人脸图片，p
(k)
表示由第k张输入人脸图片预测生成的人脸几何信息。7.如权利要求6所述的一种人脸图像修复方法，其特征在于，所述感知损失函数用于计算修复生成的人脸图片和真实人脸图片之间的感知误差，表示如下：L
P
＝|υ(I
g
)
‑
υ(I
o
)||2其中，v(
·
)表示用VGG进行的特征提取操作，I
o
表示由模型修复生成的人脸图片，I

【专利技术属性】
技术研发人员：迟静，代福芸，陈玉妍，沈天舒，衣所超，
申请(专利权)人：山东财经大学，
类型：发明
国别省市：