【技术实现步骤摘要】
基于在线知识蒸馏和预训练先验的人脸图像修复方法
[0001]本专利技术涉及图像信号处理
，尤其涉及一种基于在线知识蒸馏和预训练先验的人脸图像修复方法。
技术介绍
[0002]人脸图像修复旨在补全输入人脸图像中的缺失区域，生成令人满意的高质量修复结果，其可以应用于人脸去遮挡、表情预测等诸多实际问题中；人脸图像修复面临缺失区域和缺失面积不固定，缺失形状具有随机性等诸多挑战，当存在大面积缺失时，直接修复缺失人脸图像是十分困难的；近年来，人脸图像修复已从传统的数学模型转向基于神经网络的深度学习方法；这些方法中多采用多阶段的修复思路，即将人脸图像修复解耦成两个子任务：首先修复人脸语义分割图，人脸关键点等信息，再利用这些信息帮助修复网络生成最终的修复结果；然而，这些信息只提供了语义上的指导，无法较好地利用全局的上下文信息，并且多阶段方法面临错误在不同阶段传递放大的问题；最近，在图像去雾任务中，有研究者提出利用离线知识蒸馏提取无雾图像的特征，对去雾网络的特征进行监督；但是，由于缺失人脸图像和无缺失人脸图像特征图间的差异太大，仅靠离线...
【技术保护点】
【技术特征摘要】
1.基于在线知识蒸馏和预训练先验的人脸图像修复方法，其特征在于，具体包括以下步骤：S1、建立缺失人脸图像数据集：给定无缺失人脸图像I
gt
，随机挑选掩码M，通过掩码M去除无缺失人脸图像I
gt
中的部分区域得到缺失人脸图像I
in
，获得输入数据对（I
in
，M），进而获得缺失人脸图像数据集；S2、构建网络框架：设计一个由自动编码器构成的轻量的教师网络G
t
，一个负责对人脸图像进行修复的学生网络G
s
以及一个多尺度鉴别器D，利用教师网络G
t
和学生网络G
s
共同构成知识蒸馏框架，利用学生网络G
s
和多尺度鉴别器D共同构成生成对抗网络框架；S3、设计方案、搭建模型：基于特征先验和鉴别器先验，结合S1～S2中所述缺失人脸图像数据集和网络框架设计人脸图像修复方案，并依据所设计的方案搭建人脸图像修复模型，所述方案具体包括如下内容：
①
缺失区域特征修复：将S1中所得的数据对（I
in
，M）输入学生网络G
s
，首先通过输入卷积层变成特征图，之后编码器每两层卷积层通过一个步长为2的3
×
3卷积层将特征图尺度缩小3次；随后，编码后的特征图通过中间模块处理，生成修复后的缺失人脸图像特征图，记作F
in
；所述中间模块由10个多级空洞卷积残差块组成；
②
多级空洞卷积残差块处理：将特征图x输入多级空洞卷积残差块，使其分离成四组新的特征图，将新的特征图重新拼接后输入一个额外的3
×
3卷积层，最后将其与输入特征图x相加形成残差结构；
③
基于在线知识蒸馏的特征先验获取：将教师网络G
t
设计成一个输入为无缺失人脸图像的轻量的编解码网络，获得来自教师网络的特征图中的先验信息；
④
多尺度输出：将学生网络G
s
中的特征图通过解码器输出多个尺度的修复结果；
⑤
基于预训练鉴别器的先验获取：训练一个用于人脸图像生成的StyleGAN网络，获取StyleGAN的鉴别器作为特征提取器，利用特征提取器获取来自预训练生成对抗网络鉴别器中的先验信息；
⑥
多尺度鉴别器处理：将多个尺度的无缺失人脸图像和学生网络G
s
输出的多个尺度的修复图像输入多尺度鉴别器D进行对抗；
⑦
损失函数模块设计：将教师网络G
t
通过在线知识蒸馏损失和重建损失进行联合优化；将学生网络G
s
通过在线知识蒸馏损失、人脸感知损失、人脸风格损失、对抗损失以及输出的多个尺度图像和相应尺度无缺失人脸图像间的L1损失进行联合优化；将多尺度鉴别器D通过WGAN
‑
GP中的鉴别器损失进行优化；S4、训练模型：利用深度学习Pytorch框架训练模型，遍历S1中所构建的缺失人脸图像数据集直到学生网络损失函数收敛，然后减小学习率至0.00001，再继续遍历缺失人脸图像数据集若干次，得到最终的稳定模型；S5、输出结果：将S1中获得的缺失人脸图像数据集中的数据对输入到稳定模型中，获得人脸图像修复结果。2.根据权利要求1所述的基于在线知识蒸馏和预训练先验的人脸图像修复方法，其特征在于，所述方案
②
进一步包括以下内容：假设输入多级空洞卷积残差块的第n组特征图为x
n
，则多级空洞卷积的操作如下：<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。