一种基于结构和纹理对偶生成的人脸图像修复方法技术

本发明专利技术公开了一种基于结构和纹理对偶生成的人脸图像修复方法，涉及图像修复技术领域，通过深度学习的方法实现对破损人脸图像的修复，解决人脸图像修复后结构和纹理不一致的问题，并提高大面积破损图像的修复效果，包括以下步骤：步骤S1：对输入的图像进行预处理得到待修复的人脸图像；步骤S2：建立基于结构和纹理对偶生成的人脸图像修复模型，将步骤S1得到的图像输入到图像修复模型中进行训练；步骤S3：通过不断迭代训练，直到网络最终收敛，得到人脸图像修复模型；步骤S4：将破损的人脸图像输入到训练好的人脸图像修复模型中，得到修复好的人脸图像。好的人脸图像。好的人脸图像。

【技术实现步骤摘要】
一种基于结构和纹理对偶生成的人脸图像修复方法


[0001]本专利技术涉及图像修复
，更具体地是涉及一种基于结构和纹理对偶生成的人脸图像修复方法


技术介绍

[0002]图像修复旨在恢复图像中受损区域像素，并使填充后的图像尽可能在视觉和语义层面与原图像保持一致。它不仅在计算机视觉任务中至关重要，同时也是其他图像处理任务研究的重要基石。人脸修复作为其中一个重要的分支，在实际应用中扮演重要的角色。相比较普通的图像修复，人脸具有更强的语义和更复杂的纹理细节，不仅需要考虑人脸结构的合理性，还需要在修复过程中保留人物信息。
[0003]从早期的传统方法到目前基于深度学习的方法,图像修复已经取得了长足的进步。传统方法只适用于单张简单小区域缺失图片的修复，缺乏语义一致性。因此基于深度学习的方法成为主流。
[0004]Pathak首先提出Context Encoders,使用编码器
‑
解码器网络来提取特征并输出重建结果,它也是第一个基GAN的修复方法；Iizuka等人在Context Encoder的基础上引入局部
‑
全局双重判别器，同时使用膨胀卷积提出了GLCIC网络；Yu等人提出了deepfill网络，通过上下文注意力机制从已知背景补丁借用或复制特征信息来生成缺失的前景补丁；Nazeri等人使用双阶段模型设计了EdgeConnect，先由边缘生成器生成出不规则缺失区域的边缘假想图，作为先验结果，然后在这张边缘假想图的基础上，使用图片修补网络对缺失区域进行填充。/>[0005]然而，这些方法没有同时采用结构和纹理特征，从而导致输出图像的结构和纹理不一致。缺损修复既涉及高层语义知识又离不开低层像素信息，只有将两部分信息高结构化融合，才能逼近人类视觉系统的图像修复水平。为此，Guo等人提出了一种新颖的双流网络用于图像修复，该网络以耦合方式对结构约束的纹理合成和纹理引导的结构重建进行建模，以便得到更合理的输出。该方法虽然使得结构和纹理之间的一致性得到了改善，但是仍存在两个问题，1)没有充分考虑结构和纹理间的关系，导致它们之间的一致程度有限。2)缺乏考虑图像全局的上下文推理以及全局和局部像素连续性，导致修复的图像尤其在大面积破损时，存在结构扭曲和纹理模糊等缺陷。基于这两个缺点，本方案提出一种基于结构和纹理对偶生成的人脸图像修复方法。该方法可以在增强修复人脸图像的纹理和结构一致性的同时，实现大面积缺损人脸图像修复。

技术实现思路

[0006]本专利技术的目的在于：为了解决上述技术问题，本专利技术提供一种基于结构和纹理对偶生成的人脸图像修复方法。
[0007]本专利技术为了实现上述目的具体采用以下技术方案：
[0008]一种基于结构和纹理对偶生成的人脸图像修复方法，包括以下步骤：
[0009]步骤S1：对输入的图像进行预处理得到待修复的人脸图像；
[0010]步骤S2：建立基于结构和纹理对偶生成的人脸图像修复模型，将步骤S1得到的图像输入到图像修复模型中进行训练；
[0011]步骤S3：通过不断迭代训练，直到网络最终收敛，得到人脸图像修复模型；
[0012]步骤S4：将破损的人脸图像输入到训练好的人脸图像修复模型中，得到修复好的人脸图像。
[0013]作为一种可选的技术方案，所述步骤2中，人脸图像修复模型为生成对抗网络的结构，由一个生成器和一个判别器组成；
[0014]生成器包括对偶编码器
‑
解码器和特征融合两部分，判别器由纹理判别器和结构判别器组成。
[0015]作为一种可选的技术方案，所述对偶编码器
‑
解码器的卷积层采用门控卷积来编解码特征，在每个门控卷积层之后加入批量归一化层，表示为：
[0016]Gating＝∑∑W
g
·
I
[0017]Feature＝∑∑W
f
·
I
[0018]Output＝BN(φ(Feature)
⊙
σ(Gating))
[0019]其中，I表示特征图；Gating表示门控；Feature表示卷积后的特征图；Output表示最终输出的特征图，W
g
和W
f
分别表示不同的卷积核；φ为LeakyReLU激活函数，σ为Sigmoid激活函数，
⊙
表示元素级相乘，相较于硬门控，门控卷积的门控值在0和1之间，门控值越接近1表示有效像素越多，BN代表批量归一化。
[0020]作为一种可选的技术方案，所述对偶编码器
‑
解码器，
[0021]在编码阶段时、左右两个编码器分别接收破损图像以及破损的结构图像来编码纹理和结构特征，
[0022]在解码阶段时、纹理解码器通过从结构编码器借用结构特征来合成受结构约束的纹理，而结构解码器通过从纹理编码器获取纹理特征来恢复纹理引导的结构。
[0023]作为一种可选的技术方案，所述判别器为一个具有纹理分支和结构分支的双流鉴别器，判别器的结构分支还具有一个额外的边缘检测器用于边缘提取，其中两个判别器主干由普通卷积组成，边缘检测器采用卷积神经网络残差块组成。
[0024]作为一种可选的技术方案，所述步骤SS1的预处理为：
[0025]首先调整图像的尺寸，通过裁剪和填充的方式将图像调整为256
×
256大小，
[0026]然后从NVIDIA提供的不规则掩码数据集中获取二值化掩码M对图像进行人为破损化，得到破损图像；将破损图像进行灰度化处理得到破损灰度图；
[0027]最后将破损灰度图通过Canny边缘检测算法提取人脸轮廓信息，得到破损边缘图。
[0028]作为一种可选的技术方案，所述步骤3采用CelebA
‑
HQ数据集进行训练，包括训练图像和测试图像，实验设备采用NVIDIA V100，整个模型用PyTorch实现；训练模型时，设定批量大小为8，使用Adam优化器进行优化。
[0029]作为一种可选的技术方案，首先使用2
×
10
‑4的学习率进行初始训练，然后使用5
×
10
‑5的学习率微调模型；学习率微调模型使用联合损失进行训，包括重建损失、感知损失、风格损失和对抗性损失。
[0030]作为一种可选的技术方案，四个损失函数如下所示：
[0031]重建损失函数：L
rec
＝E[||I
out
‑
I
gt
||1][0032]其中E表示期望，I
out
表示生成的图片，I
gt
表示真实的图片，||
·
||1表示L1范数
[0033]感知损失函数：
[0034]由VGG
‑
16在ImageNet上预训练的感知损失被用来模拟人类对图像质量的视觉感知。其中E表示期望本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，包括以下步骤：步骤S1：对输入的图像进行预处理得到待修复的人脸图像；步骤S2：建立基于结构和纹理对偶生成的人脸图像修复模型，将步骤S1得到的图像输入到图像修复模型中进行训练；步骤S3：通过不断迭代训练，直到网络最终收敛，得到人脸图像修复模型；步骤S4：将破损的人脸图像输入到训练好的人脸图像修复模型中，得到修复好的人脸图像。2.根据权利要求1所述的一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，所述步骤2中，人脸图像修复模型为生成对抗网络的结构，由一个生成器和一个判别器组成；生成器包括对偶编码器
‑
解码器和特征融合两部分，判别器由纹理判别器和结构判别器组成。3.根据权利要求2所述的一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，所述对偶编码器
‑
解码器的卷积层采用门控卷积来编解码特征，在每个门控卷积层之后加入批量归一化层，表示为：Gating＝∑∑W
g
·
IFeature＝∑∑W
f
·
IOutput＝BN(φ(Feature)
⊙
σ(Gating))其中，I表示特征图；Gating表示门控；Feature表示卷积后的特征图；Output表示最终输出的特征图，W
g
和W
f
分别表示不同的卷积核；φ为LeakyReLU激活函数，σ为Sigmoid激活函数，
⊙
表示元素级相乘，相较于硬门控，门控卷积的门控值在0和1之间，门控值越接近1表示有效像素越多，BN代表批量归一化。4.根据权利要求2所述的一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，所述对偶编码器
‑
解码器，在编码阶段时、左右两个编码器分别接收破损图像以及破损的结构图像来编码纹理和结构特征，在解码阶段时、纹理解码器通过从结构编码器借用结构特征来合成受结构约束的纹理，而结构解码器通过从纹理编码器获取纹理特征来恢复纹理引导的结构。5.根据权利要求2所述的一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，所述判别器为一个具有纹理分支和结构分支的双流鉴别器，判别器的结构分支还具有一个额外的边缘检测器用于边缘提取，其中两个判别器主干由普通卷积组成，边缘检测器采用卷积神经网络残差块组成。6.根据权利要求1所述的一种基于结构和纹理对偶生成的人脸图像修复方法，其特征在于，所述步骤SS1的预处理为：首先调整图像的尺寸，通过裁剪和填充的方式将图像调整为256
×
256大小，然后从NVIDIA提供的不规则掩码数据集中获取二值化掩码M对图像进行人为破损化，得到破损图像；将破损图像进行灰度化处理得到破损灰度图；最后将破损灰度图通过Canny边缘检测算法提取人脸轮廓信息，得到破损边...

【专利技术属性】
技术研发人员：李剑波，尹泽召，黄进，冯义从，汪依帆，曾涛，荣鹏，王新元，刘俊宏，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：