面向人脸数据对完整的人脸网纹修复方法、系统及介质技术方案

本发明专利技术公开了一种面向人脸数据对完整的人脸网纹修复方法、系统及介质，将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片；将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。本发明专利技术方法是一种端到端的训练方式，没有网纹识别的步骤，打破了基于网纹分割再修复的瓶颈。本发明专利技术将带有网纹的图像当作噪声数据，通过端到端的对抗训练可以直接生成去除网纹的人脸图像，简化了人脸网纹修复的过程的同时提高了所修复的人脸网纹图像的整体性，不会出现明显的修复痕迹。

【技术实现步骤摘要】
面向人脸数据对完整的人脸网纹修复方法、系统及介质
本专利技术涉及人脸图像处理领域，特别是一种面向人脸数据对完整的人脸网纹修复方法、系统及介质。
技术介绍
现有的图像风格转换算法都需要进行初始化，还需要固定CNN的参数再反向传播更新图片，性能较差。Pix2pix网络在做图像修复工作的时候有不错的表现。使用干净的人脸和人脸网纹数据作为输入数据对，其中人脸网纹相当于噪声数据，干净人脸相当于目标图片，生成网络生成的图片是输出图片。Pix2pix生成网络使用了具有Encoder-Decoder的U-net结构，它可以使每个反卷积层中都有降采样卷积层所提取的特征，这样它可以承载更多的信息。它的判别网络中也加入了L1损失，目的是使输入的噪声数据在经过生成网络重新生成后可以与目标图片保持更高的相似度。虽然这样的损失函数和生成网络结构使生成的图片具有了比较高的精度，但Pix2pix用在人脸修复的任务中时，修复后的人脸仍有些明显的网纹覆盖的痕迹。现有人脸网纹修复方法大多基于多任务的修复方法，需要先对网纹区域进行分割，再对分割出的网纹区域进行修复。这本文档来自技高网...

【技术保护点】
1.一种面向人脸数据对完整的人脸网纹修复方法，其特征在于，包括以下步骤：/n1)将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片；/n2)将由经步骤1)合并后的多张图片组成的训练集作为GAN网络的输入，训练得到修复模型；/n3)将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。/n

【技术特征摘要】
1.一种面向人脸数据对完整的人脸网纹修复方法，其特征在于，包括以下步骤：
1)将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片；
2)将由经步骤1)合并后的多张图片组成的训练集作为GAN网络的输入，训练得到修复模型；
3)将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。


2.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，步骤1)中，还对合并后的图片进行归一化处理。


3.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，步骤2)的具体实现过程包括：
A)将所述训练集输入GAN网络，并定义损失函数；
B)训练GAN网络；
C)判断损失函数值是否降低，若是，则返回步骤B)，否则保存损失函数值不再降低时的GAN网络，即得到修复模型。


4.根据权利要求3所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，所述损失函数定义如下：



其中D(x)、G(x)分别代表GAN网络的判别网络和生成网络结构；λ是超参数；是L1损失函数，L1＝||y-G(x)||；F表示不同的特征层；λi是超参数；di(yj)是判别网络的隐藏层上真实图片的特征表示，di(G(xj))是生成网络的生成图片的特征表示；表示训练样本；N为训练样本数量；x,y分别为人脸网纹图像和与之对应的干净人脸图像。


5.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，所述GAN网络的激活函数为Selu激活函数；优选地，所述GAN网络的上采样层、下采样层各与一卷积层连接。


6.根据权利要求1～5之一所述的面向人脸数据对完整的人脸网纹修复...

【专利技术属性】
技术研发人员：邝砾，王胤，朱雨佳，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43