基于多通道注意力选择生成对抗网络的人脸修复方法技术

本发明专利技术提供一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：S1、采集人脸数据并进行预处理；S2、建立人脸修复模型及损失函数；S3、第一阶段，学习图像生成子网G

Face restoration based on multi-channel attention selection generation network

【技术实现步骤摘要】
基于多通道注意力选择生成对抗网络的人脸修复方法
本专利技术涉及深度学习和图像处理领域，尤其涉及一种基于多通道注意力选择生成对抗网络的人脸修复方法。
技术介绍
在图像修复领域，尤其对于眼内绘画，尽管DNN(深度神经网络)可以产生语义上合理且看起来逼真的结果，但大多数深度学习技术都无法在照片中保留人物的身份。例如，DNN可以学会睁开一对闭合的眼睛，但所述DNN本身并不能保证新的眼睛将与原始人的特定眼部结构相对应。GAN(Generativeadversarialnetworks，生成对抗网络)是一种特定类型的深层网络，其中包括以鉴别器网络为代表的可学习的对抗损失功能。GAN已成功地用于从头开始生成面部，或在面部上绘制缺失区域，适合一般的面部操作。一种GAN变体，即条件GAN(cGAN)，可以用额外的信息约束生成器。通过加入统一身份的参照信息，则该GAN不必从头开始幻化纹理或结构，但仍将保留原始图像的语义，来产生高质量的个性化修复结果。然而在某些情况下，GAN仍然会失败，比如当一个人的眼睛被一缕头发遮住了一部分，或者有时不能正确地着色，就会产生一些奇怪的人工痕迹。生成对抗网络三通道生成空间可能不足以适合学习良好的映射，扩大生成空间并学习自动选择机制以合成更细粒度的生成结果成为一种可行的尝试。而将多通道注意力选择GAN框架(SelectionGAN)用于图像修复任务成为可能。因此，本专利技术提供一种基于多通道注意力选择生成对抗网络的人脸修复系统。
技术实现思路
为了解决人脸修复技术在个别条件下会出现图像遮挡、不正确的着色修复及奇怪人工修复痕迹等问题，本专利技术提供了一种基于多通道注意力选择生成对抗网络的人脸修复方法。一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数；S3、第一阶段，学习图像生成子网Gi并初步修复图像：学习图像生成子网Gi，所述图像生成子网Gi接收由标记的输入图像Ia和参考图像Rg组成的图像对，并初步修复所述图像对，生成修复图像I'g＝Gi(Ia，Rg)；S4、第二阶段，产生中间输出图IG并学习通道注意力图IA：将来自所述图像生成子网Gi的粗略修复图像I'g、真值图片Ig以及来自所述生成器网络Gi最后一层的深层特征图Fi作为新特征Fc＝concat(I'g，Fi，Ig)，其中concat(·)是按通道进行级联操作的函数；将所述新特征Fc输入至所述多通道注意力选择模块Ga中，产生多个中间输出图IG，同时学习一组与中间生成图相同数量的多通道注意力图IA，以指导多个优化损失；S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图IA用于从所述中间输出图IG中执行通道选择，并得到最终合成图I”g；S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。优选的，步骤S2中所述人脸修复模型采用级联策略，通过所述生成器网络Gi输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，再通过所述多通道注意力选择网络Ga利用粗略的修复图像产生细粒度的最终输出。优选的，步骤S4中，所述新特征Fc输入至所述多通道注意力选择模块Ga中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征Fc馈送到卷积层后生成新的多尺度特征Fc'以供在所述多通道注意力选择模块Ga中使用，合并中应用一组M个空间比例{Si}(i＝1～M)用于产生具有不同空间分辨率的合并要素，其池化过程表现为：其中，concat(·)是按通道进行级联操作的函数，Fc为新特征，pl_ups(·)表示为以标度s进行池化，表示为逐元素乘法。优选的，步骤S4中，所述中间输出图IG通过使用N个卷积滤波器之后进行tanh(·)非线性激活操作得到，所述多通道注意力图IA通过N个卷积滤波器之后进行标准化的基于通道的softmax函数操作后得到，所述中间输出图IG和所述多通道注意力图IA的计算分别为：优选的，步骤S5中，所述最终合成图I”g的计算式为：其中，I”g代表从多个不同结果中选择的最终合成的生成图，IA为多通道注意力图，IG为中间输出图，符号表示逐元素加法，表示为逐元素乘法。优选的，所述参数共享鉴别器D在第一阶段中将所述图像生成子网Gi的粗略修复图像I'g和所述真值图片Ig作为输入，鉴别两者是否彼此关联；所述参数共享鉴别器D在第二阶段中将所述最终合成图I”g和所述真值图片Ig作为输入，鼓励所述参数共享鉴别器D区分图像结构的多样性并捕捉局部感知信息。优选的，所述不确定性像素损失函数为：其中Lip表示像素级损耗图，Ui表示第i个不确定性图，σ(·)是用于像素级归一化的Sigmoid函数。优选的，第一阶段的所述对抗性损失函数为对[Ia，I'g]与真实图像对[Ia，Ig]进行区分，在第二阶段中，将D的对抗性损失公式化为：将合成图像对[Ia，I”g]与真实图像对[Ia，Ig]进行区分，其公式分别如下：所述对抗性损失函数公式如下：LcGAN＝LcGAN(Ia，I'g)+λLcGAN(Ia，I”g)，总的优化损失为：其中Lip使用L1重建分别计算生成的图像I'g，I”g与相应的真值图像之间的像素损失，LtV是所述最终合成图I”g的总变化正则化(totalvariation(TV)regularization)：其中λi和λtv是权衡参数，以控制不同目标的相对重要性。与现有技术相比，本专利技术将基于多通道注意力选择生成对抗网络应用于人脸修复，通过生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga扩大生成空间并自动学习自动选择机制合成更细粒度的生成结果，通过所述多通道注意力选择网络Ga专心选择感兴趣的中间生成图，并能够显著提高最终输出的质量。多通道注意力模块还可以有效地学习不确定性图，以指导像素损失，从而实现更强大的优化，提供一种更优的人脸修复方法。【附图说明】为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：图1为本专利技术提供的基于多通道注意力选择生成对抗网络的人脸修复方法流程图；图2为本专利技术提供的人脸修复模型的本文档来自技高网...

【技术保护点】
1.一种基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，包括以下步骤：/nS1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；/nS2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络G

【技术特征摘要】
1.一种基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，包括以下步骤：
S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；
S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络Gi、参数共享鉴别器D和多通道注意力选择网络Ga，所述损失函数包括不确定性像素损失函数和对抗性损失函数；
S3、第一阶段，学习图像生成子网Gi并初步修复图像：学习图像生成子网Gi，所述图像生成子网Gi接收由标记的输入图像Ia和参考图像Rg组成的图像对，并初步修复所述图像对，生成修复图像I'g＝Gi(Ia，Rg)；
S4、第二阶段，产生中间输出图IG并学习多通道注意力图IA：将来自所述图像生成子网Gi的粗略修复图像I'g、真值图片Ig以及来自所述生成器网络Gi最后一层的深层特征图Fi作为新特征Fc＝concat(I'g，Fi，Ig)，其中concat(·)是按通道进行级联操作的函数；将所述新特征Fc输入至所述多通道注意力选择模块Ga中，产生多个中间输出图IG，同时学习一组与中间生成图相同数量的多通道注意力图IA，以指导多个优化损失；
S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图IA用于从所述中间输出图IG中执行通道选择，并得到最终合成图I”g；
S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。


2.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S2中所述人脸修复模型采用级联策略，通过所述生成器网络Gi输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，再通过所述多通道注意力选择网络Ga利用粗略的修复图像产生细粒度的最终输出。


3.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S4中，所述新特征Fc输入至所述多通道注意力选择模块Ga中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征Fc馈送到卷积层后生成新的多尺度特征Fc'以供在所述多通道注意力选择模块Ga中使用，合并中应用一组M个空间比例{Si}(i＝1～M)用于产生具有不同空间分辨率的合并要素，其池化过程表现为：



其中，concat(·)是按通道进行级联操作的函数...

【专利技术属性】
技术研发人员：朱宁波，曾乐，程秋锋，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43