一种基于平衡栈式生成式对抗网络的人脸属性编辑方法技术

本发明专利技术公开了一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，包括步骤：1)获取包含人脸图像和属性标签的数据集，并进行预处理；2)根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络；3)利用预处理的数据集，针对不同人脸属性，采用加权学习和残差图像生成方式，独立训练所有条件生成式对抗网络；4)将所有训练好的生成器堆叠起来形成栈式结构，针对预处理的未知人脸图像，依次编辑对应人脸属性。本发明专利技术在训练过程中运用加权学习和残差图像生成方式，在属性编辑过程中采用栈式结构，最终使得模型能够有效应对数据不平衡问题，增强对少数类样本的编辑能力，提升在属性无关区域的图象生成效果，避免了属性纠缠的问题。

【技术实现步骤摘要】
一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
本专利技术涉及图像编辑和机器学习的
，尤其是指一种基于平衡栈式生成式对抗网络的人脸属性编辑方法。
技术介绍
人脸属性编辑致力于在给定人脸图像下，改变特定属性，例如添加眼镜，去掉胡子，使皮肤变白甚至替换性别。这一视觉任务自身取得了图像语义上的可控性，以及细粒度的图像变换。同时伴随着社交媒体上自拍浪潮的兴起，网络视频的广泛传播，游戏或动画角色的设计智能化，互联网上每年产生大规模的人脸图像数据，以及对人脸属性编辑日益强烈的需求。因而人脸属性编辑被广泛应用于美颜、视频修复、角色合成等应用场景。此外，编辑特定属性后的人脸图像，亦可用来为其他视觉类机器学习任务做数据增强，例如人脸识别、人脸检测、人脸跟踪。近年来生成式对抗网络凭借其强大的图像生成能力，成为人脸属性编辑研究中的热门模型，取得了高保真度、高多样性的编辑结果。给定一个包含人脸图像和属性标签的数据集，在生成式对抗网络中，训练好的生成器可以操纵特定的图像属性以欺骗判别器，而判别器则可用来区分真实图像和生成器合成的虚假图像。编辑后图像的质量本文档来自技高网...

【技术保护点】
1.一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，其特征在于，该方法是采用加权学习和训练多个条件生成式对抗网络的方式，解决属性不平衡问题，并堆叠所有训练好的条件生成式对抗网络的生成器，形成栈式结构，解决属性纠缠问题，以及利用残差图像生成方式，解决图像编辑不准确问题；其包括以下步骤：/n1)获取包含人脸图像和属性标签的数据集，并进行预处理；/n2)根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络；/n3)利用预处理的数据集，针对不同人脸属性，采用加权学习和残差图像生成方式，独立训练所有条件生成式对抗网络；/n4)将所有训练好的生成器堆叠起来形成栈式结构，针对预处理的未...

【技术特征摘要】
1.一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，其特征在于，该方法是采用加权学习和训练多个条件生成式对抗网络的方式，解决属性不平衡问题，并堆叠所有训练好的条件生成式对抗网络的生成器，形成栈式结构，解决属性纠缠问题，以及利用残差图像生成方式，解决图像编辑不准确问题；其包括以下步骤：
1)获取包含人脸图像和属性标签的数据集，并进行预处理；
2)根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络；
3)利用预处理的数据集，针对不同人脸属性，采用加权学习和残差图像生成方式，独立训练所有条件生成式对抗网络；
4)将所有训练好的生成器堆叠起来形成栈式结构，针对预处理的未知人脸图像，依次编辑对应人脸属性。


2.根据权利要求1所述的一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，其特征在于：在步骤1)中，所述数据集是通过网上公开的人脸数据集获得；所述人脸图像是指包含单张人脸的图像，预处理包括：裁剪、缩放和归一化，使图像中的人脸占据主要画面，并且像素值大小介于-1和1之间，用x代表一张人脸图像，所有x构成了人脸图像集合即所述属性标签用yj表示，是指人脸的第j个属性的取值的标签，其中j＝1,2,…,m，m为属性个数，所有属性标签yj构成了属性标签集合即m个属性标签组合之后，加上1张人脸图像，一起构成了1对样本。


3.根据权利要求1所述的一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，其特征在于：在步骤2)中，根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络，具体如下：
Ⅰ、以编码器-解码器的结构构建生成器Gj：
生成器Gj中的编码器包含多个卷积层，它接收两个变量，包括一张来自人脸图像集合的人脸图像和一个来自于目标属性标签集合的目标属性标签其中的值不同于属性标签yj的值vk，yj来自于属性标签集合vk为第j个属性k的取值，j＝1,2,…,m，m为属性个数；1个属性标签组合之后，加上1张人脸图像，一起构成了1对样本；随后Gj映射上述两个接收的变量为一个隐编码z，用于提取人脸图像的特征，排除冗余信息；紧接着隐编码z被输入到由多个反卷积层组成的解码器，生成一幅改变目标人脸属性的残差图像其中定义为人脸图像x和编辑后图像的差值，为所有构成的集合，为所有构成的集合；最终，编辑后图像经过x和在像素层面上叠加得到；由于少数类样本在不平衡数据集中容易被忽略，所以需要对数据集中的每一个样本赋予一个学习权重ω，来表示它在训练中的重要性，带有少数类属性值的样本的ω的值大，反之亦然；对于一张人脸图像x，ω根据第j个属性值vk来计算，定义如下：



式中，|Yj|指代第j个属性的不同值的数量，表示第j个属性是k的样本的数量，即其中(x,yj)为人脸图像x和属性标签yj构成的1对样本，为人脸图像集合和属性标签集合构成的1对集合，|.|代表一个集合的基数；ω测量带有第j个属性上的值的最大样本数量与带有第j个属性上的值vk的样本数量之间的比例，这个比例大于或等于1，越小，代表权重ω越大，反之亦然，这个权重鼓励模型在学习过程中更多的关注带有少数类属性值的样本；
Ⅱ、以两个子判别器构建完整判别器Dj：
判别器Dj包括两个子判别器：真实性判别器Djreal和类别判别器Djcls；真实性判别器Djreal用来判断输入图像的真伪，预测输入图像是真实图像的概率；类别判别器Djcls用来鉴别输入图像属性值是否符合目标属性值，预测符合程度，其中同一属性的不同值能够看作不同类别；两个子判别器共享一个多层卷积神经网络，但拥有独立的双层全连接层；
Ⅲ、构建生成器的训练目标：
对抗损失连同其它三个损失成分：类别损失重构损失以及正则化损失被一同考虑进生成器Gj；对抗损失则被用来确保生成的图像是真实的；类别损失控制人脸图像被正确地根据目标属性值来编辑；重构损失则增强在编辑过程中，生成器Gj保留属性无关区域的信息的能力；正则化损失测量残差图像的L-1范数，以此增强它的稀疏性，其中残差图像应拥有大量零值像素；最终，生成器Gj的训练目标LG包含上述四个成分，定义为：



式中，是平衡参数，分别指代对应损失的重要性；值得注意的是，所有四个损失成分都需要在计算上考虑对带有少数类属性的样本进行加权；这些损失成分具体如下：
ⅰ、对抗损失
该损失量化了生成图像的真实性程度，它被定义为：



式中，表示计算数学期望，属性标签yj来自于属性标签集合编辑后图像来自于编辑后图像集合vk为第j个属性k的取值，j＝1,...

【专利技术属性】
技术研发人员：王啸天，陈百基，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44