一种基于双流门控卷积网络的人脸图像修复方法技术

本发明专利技术属于图像修复技术领域，具体涉及一种基于双流门控卷积网络的人脸图像修复方法，包括以下步骤：特征生成，输入待修复的人脸图像，生成完整的结构特征和纹理特征；步骤200：特征重建，结构特征和纹理特征指导和约束彼此特征的重建；步骤300：通道级特征均衡，通过对通道之间的关系建模来增强结构特征和纹理特征之间的一致性，得到修复好的图像；步骤400：修复判别，生成器修复好的图像与真实图片输入至判别器进行判别，实现人脸图像修复；本发明专利技术所提出的方法在结构特征和纹理特征生成过程中，充分利用结构和纹理信息之间的关系完成彼此的指导和约束，此外，我们还引入了通道级特征均衡方法提升修复结果的整体一致性。征均衡方法提升修复结果的整体一致性。征均衡方法提升修复结果的整体一致性。

【技术实现步骤摘要】
一种基于双流门控卷积网络的人脸图像修复方法


[0001]本专利技术属于图像修复
，具体涉及一种基于双流门控卷积网络的人脸图像修复方法。

技术介绍

[0002]图像修复的目的是根据周围的已知的内容重构图像的缺失或损坏的区域，使修复的区域与整体保持一致。人脸修复作为其中一个重要的分支，在实际应用中扮演重要的角色，随着深度学习的发展，近年来该技术在图像修复领域取得了一系列卓越的成果，通过使用结构信息作为先验知识的深度生成方法在破损的人脸图片修复上已经展现了较好的性能。这些方法在修复过程中可以生成合理的视觉结构和纹理，但由于卷积操作的不合理导致修复的结果常常生成与已知区域不一致的纹理细节。为了解决这个问题，我们提出了一个叫GConv
‑
UNet的双流门控卷积网络，在结构和纹理特征生成过程中，充分利用结构和纹理信息之间的关系完成彼此的指导和约束，此外，我们还引入了通道级特征均衡方法提升修复结果的整体一致性。

技术实现思路

[0003]本专利技术的目的是：旨在提供一种基于双流门控卷积网络的人脸图像修复方法，用于解决
技术介绍
中存在的问题。
[0004]为实现上述技术目的，本专利技术采用的技术方案如下：
[0005]一种基于双流门控卷积网络的人脸图像修复方法，包括以下步骤：
[0006]步骤100：特征生成，输入待修复的人脸图像，生成器采用双流网络结构，通过生成器的编码
‑
解码部分生成完整的结构特征和纹理特征；
[0007]步骤200：特征重建，生成器的特征融合部分的双向特征融合模块，使结构特征和纹理特征指导和约束彼此特征的重建；
[0008]生成器的特征融合部分的上下文特征聚合模块，通过对期空间依赖性的建模使结构特征和纹理特征的重建结果产生更生动的细节；
[0009]步骤300：通道级特征均衡，通过对通道之间的关系建模来增强结构特征和纹理特征之间的一致性，得到修复好的图像；
[0010]步骤400：修复判别，生成器修复好的图像与真实图片输入至判别器进行判别，二者相互对抗，生成器不断的进行图像生成学习，直至判别器无法区分生成器修复好的图像与真实图像为止，实现人脸图像修复。
[0011]所述步骤100中生成器的双流网络以GConv
‑
UNet为骨干，使用门控卷积替代UNet中的每个卷积层，提高修复质量和颜色的一致性。
[0012]所述步骤200中生成器的特征融合部分的双向特征融合模块，使结构特征和纹理特征指导和约束彼此特征的重建包括有以下步骤：
[0013]步骤210：破损的人脸图像和掩码输入至纹理编码器中，相应的破损的边缘、破损
的灰度图像和掩码输入至结构编码器中；
[0014]步骤220：通过跳跃连接将纹理编码器的的特征补充到结构解码器中，将结构编码器中的特征补充到纹理解码器中，使纹理特征和结构特征相互指导和约束彼此的特征重建。
[0015]所述步骤300包括有以下步骤：
[0016]步骤310：引入SE模块，融合后的特征被输入至SE模块，SE模块先后通过挤压操作和激发操作，均衡通道中的纹理特征和结构特征。
[0017]所述步骤310中具体包括有以下步骤：
[0018]步骤311：对原始特征图进行挤压操作，以获得通道层面的全局特征；
[0019]步骤312：对获得的全局特征进行激发操作，学习每个通道之间的关系以获得不同通道的权重，最后乘以原始特征图，得到最终的特征图。
[0020]所述步骤400中的判别器为一个具有纹理分支和结构分支的双流鉴别器。
[0021]所述判别器的结构分支还具有一个额外的边缘检测器用于边缘提取。
[0022]所述步骤400中还引入对抗性损失、感知性损失和风格损失，判别器通过损失函数来判别区分生成器修复好的图像与真实图像。
[0023]本专利技术采用一个带有批量归一化的双流门控卷积网络GConv
‑
UNet，将其中UNet的每个普通卷积层替换为门控卷积层，并使用结构和纹理信息指导彼此特征的重建，尽可能生成真实的样本，生成器所生成的修复好的图像，将其和真实的图片一起送入判别器中进行判别，二者相互对抗，生成器不断的进行图像生成学习，直至判别器无法区分生成器修复好的图像与真实图像为止，提升了生成器拟合数据的能力，实现人脸图像修复，并且引入了通道级特征均衡对通道之间的关系建模来增强结构和纹理特征之间的一致性。
附图说明
[0024]本专利技术可以通过附图给出的非限定性实施例进一步说明。
[0025]图1为本专利技术一种基于双流门控卷积网络的人脸图像修复方法实施例一的主要流程示意图；
[0026]图2为本专利技术实施例一中的生成器编码
‑
解码部分和特征融合部分的流程示意图；
[0027]图3为本专利技术实施例一中的通道级特征均衡中SE模块的流程示意图；
[0028]图4为本专利技术实施例二中的定性分析的效果示意图；
[0029]图5为本专利技术实施例二中的消融实验的GConv
‑
UNet的效果示意图；
[0030]图6为本专利技术实施例二中的消融实验的通道级特征均衡的效果示意图。
具体实施方式
[0031]为了使本领域的技术人员可以更好地理解本专利技术，下面结合附图和实施例对本专利技术技术方案进一步说明。
[0032]实施例一：
[0033]如图1
‑
3所示的一种基于双流门控卷积网络的人脸图像修复方法，包括以下步骤：
[0034]步骤100：特征生成，输入待修复的人脸图像，生成器采用双流网络结构，通过生成器的编码
‑
解码部分生成完整的结构特征和纹理特征；
[0035]所述步骤100中生成器的双流网络以GConv
‑
UNet为骨干，使用门控卷积替代UNet中的每个卷积层，提高修复质量和颜色的一致性。
[0036]具体的，图像中的未知区域视为无效像素，已知区域视为有效像素，门控卷积有助于改善修复细节和色彩一致性，特别是对于有不规则破损区域的图像修复，并且门控卷积具有灵活的掩码更新机制，与硬门控不同，它能自动从数据中学习软掩码，即使是深层的掩码区域也保持不变，同时，我们在每个门控卷积层之后加入批量归一化，以防止训练期间梯度消失，该操作可以表示为：
[0037]Gating＝∑∑W
g
·
I，#
[0038]Feature＝∑∑W
f
·
I，#
[0039][0040]其中，
[0041]I表示特征图；Gating表示门控；Feature表示卷积后的特征图；W
g
和W
f
分别表示不同的卷积核；φ为LeakyReLU激活函数，σ为Sigmoid激活函数，表示元素级相乘，因此门控值在0和1之间，门控值越接近1表示有效像素越多；...

【技术保护点】

【技术特征摘要】
1.一种基于双流门控卷积网络的人脸图像修复方法，其特征在于：包括以下步骤：步骤100：特征生成，输入待修复的人脸图像，生成器采用双流网络结构，通过生成器的编码
‑
解码部分生成完整的结构特征和纹理特征；步骤200：特征重建，生成器的特征融合部分的双向特征融合模块，使结构特征和纹理特征指导和约束彼此特征的重建；生成器的特征融合部分的上下文特征聚合模块，通过对期空间依赖性的建模使结构特征和纹理特征的重建结果产生更生动的细节；步骤300：通道级特征均衡，通过对通道之间的关系建模来增强结构特征和纹理特征之间的一致性，得到修复好的图像；步骤400：修复判别，生成器修复好的图像与真实图片输入至判别器进行判别，二者相互对抗，生成器不断的进行图像生成学习，直至判别器无法区分生成器修复好的图像与真实图像为止，实现人脸图像修复。2.根据权利要求1所述的一种基于双流门控卷积网络的人脸图像修复方法，其特征在于：所述步骤100中生成器的双流网络以GConv
‑
UNet为骨干，使用门控卷积替代UNet中的每个卷积层，提高修复质量和颜色的一致性。3.根据权利要求2所述的一种基于双流门控卷积网络的人脸图像修复方法，其特征在于：所述步骤200中生成器的特征融合部分的双向特征融合模块，使结构特征和纹理特征指导和约束彼此特征的重建包括有以下步骤：步骤210：破损的人脸图像和掩码输入至纹理编码器中，相应的破...

【专利技术属性】
技术研发人员：杨有，左心悦，胡峻滔，郝子娴，安永志，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：