一种基于GAN人脸先验信息预测和融合的人脸图像修复方法技术

本发明专利技术涉及一种基于GAN人脸先验信息预测和融合的人脸图像修复方法，本发明专利技术方法的神经网络以VAE结构为主干网络，包括两个阶段，首先经过stage

【技术实现步骤摘要】
一种基于GAN人脸先验信息预测和融合的人脸图像修复方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于GAN人脸先验信息预测 和融合的人脸图像修复方法。

技术介绍

[0002]图像补全作为计算机视觉任务中的热门领域，旨在利用视觉上合理的内 容填充补全图像的缺失部分。脸部补全作为图像补全的一种特殊情况，旨在 不受姿势和方向约束，完成被遮挡面部区域的修复。但是，现有的人脸补全 方法只包含一个简单的面部特征来完成人脸补全，其结果是还是不令人满， 且存在易于被检测到的缺陷。此外，在缺失部分附近经常存在模糊的边界和 细节。特别地，对于面部修复，面部区域信息(结构信息，轮廓信息和内容 信息)尚未被充分利用，这将导致生成的面部图像不自然，例如：眉毛不对 称、眼睛大小不一。与传统的图像修复方法不同，面部修复需要有关目标对 象的内容，轮廓和结构信息，以实现自然逼真的输出。但是这些一般的图像 修复方法仅仅关注整幅图像的清晰度，并没有考虑人脸的特殊性，也没有充 分地探索和利用面部语义信息，从而生成的人脸面部图像不自然、模糊和失 真，缺乏人脸纹理细节。尤其在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN人脸先验信息预测和融合的人脸图像修复方法，其特征在于，所述方法包括以下步骤：步骤1：下载公开人脸数据集，对所述数据集进行预处理，构建缺失人脸的图像x
θ
，同时按比例分为训练集、验证集和测试集；步骤2：所述的人脸图像补全方法主要包括两个阶段：stage
‑
I阶段和stageII阶段，具体步骤包括：stage
‑
I阶段的粗修神经网络模型包括第一生成器、两个编码器和三个解码器，首先将步骤1构建的缺失了人脸信息的图像x
θ
送入以变分自动编码器VAE结构为backbone的网络，经过两个编码器和三个解码器，非线性重构得到人脸轮廓信息M
′
θ
‑
f
、人脸区域信息x
′
θ
‑
f
和人脸关键点信息x
′
θ
‑
l
；将VAE网络重构得到的人脸轮廓信息、结构信息和内容信息做信息融合得到有助于生成清晰人脸的轮廓、结构和内容的人脸先验指导信息；把缺失了人脸信息的图像x
θ
送入第一生成器，并在第一生成器中间层融合所述人脸先验指导信息以充分探究脸部区域信息，生成低分辨率的人脸脸部图像；步骤21：将所述缺失人脸图像x
θ
依次输入两个编码器和三个解码器，通过非线性重构得到人脸轮廓信息M
′
θ
‑
f
、人脸区域信息x
′
θ
‑
f
、和人脸关键点信息x
′
θ
‑
l
以分别提取人脸的轮廓、区域和关键点信息；步骤22：联合人脸轮廓信息、人脸区域信息和人脸关键点信息构造得到人脸编码特征向量z
θ
‑
f
和z
θ
‑
l
，最后通过特征融合将z
θ
‑
f
和z
θ
‑
l
进行融合，构造人脸特征表达空间，得到能提供更高质量的人脸先验指导信息z
θ
‑
M
；步骤23：在stage
‑
I训练阶段中将缺失的人脸图像x
θ
通过第一生成器，并在所述第一生成器中间层融合所述人脸先验指导信息，拼接到第一生成器的中间特征图之后，在先验指导信息的作用下，生成低分辨率自然对称人脸图像；步骤24：按照设定的每次训练集批次大小对stage
‑
I阶段的神经网络模型进行迭代训练，根据人脸轮廓信息，人脸内容信息和人脸结构信息的重构损失函数和人脸信息预测损失函数迭代更新stage
‑
I的生成器、编码器和解码器网络参数，完成stage
‑
I的人脸图像补全网络训练；步骤25：判断是否达到设定的验证迭代次数，若达到，则验证一次模型和保存一次模型；若未达到，则执行步骤26；步骤26：判断是否达到设定的迭代总次数，若达到，则结束训练；否则，重复步骤21～25；...

【专利技术属性】
技术研发人员：李孝杰，万启慧，史沧红，张浩，严喆，张宪，吴锡，吕建成，周激流，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：