基于对抗生成网络的图像处理方法和装置制造方法及图纸

本发明专利技术提供一种基于对抗生成网络的图像处理方法和装置，所述方法包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

【技术实现步骤摘要】
基于对抗生成网络的图像处理方法和装置
本专利技术涉及对抗生成网络
，尤其是基于对抗生成网络的图像处理方法和装置。
技术介绍
随着神经网络技术的发展，神经网络技术正应用在越来越多的场景中，比如模式识别、数据压缩、函数逼近等，而人脸识别作为生物特征识别中最活跃的分支之一，也越来越受到重视。其中，图像视频检索以及人脸属性分析等又是人脸识别的重要应用，以人脸识别中的年龄估计为例，在传统的年龄估计技术中，由于缺乏人脸图像样本数据，只能基于有限的数据进行年龄分布挖掘，或者在获取人脸不同区域的图像信息后，结合所获取的图像信息进行年龄估计。目前，可以采用数据增广方法对人脸图像样本进行扩充，但是常规的数据增广方法无法对包含特定年龄和性别等属性信息的人脸图像样本进行扩充，从而影响人脸识别的准确性，进而限制人脸识别的应用和推广。如何在有限数据条件下运用生成数据强化有限的真实数据优化模型性能是生成对抗网络生成数据的主要用处和目的。因此，如何保留光照、遮挡、姿态、表情的多样性，完美分离出上述多样性与目标属性(年龄、性别和种族)之间的特征并再现至合成人脸上以提高合成人脸的生成准确性，以及如何在大批量合成人脸数据中选择出人脸数据用于增强有限的真实人脸数据并优化预训练的人脸属性分析模型是生成数据辅助属性分析需要解决的主要问题。目前现有技术中的生成对抗网络算法主要集中生成图像的视觉效果，在图像实用有效性上很少进行讨论和应用。生成数据优化模型的算法的有效性也进一步证实生成对抗网络的生成数据在实际应用和辅助增强有限的数据集上的重要作用。
技术实现思路
本专利技术的实例提供了一种基于对抗生成网络的图像处理方法和装置，能够运用生成数据强化现有数据。为了实现上述目的，本专利技术采取了如下技术方案。一种基于对抗生成网络的图像处理方法，包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。一种基于对抗生成网络的图像处理装置，包括：获取单元，获取第一人脸样本图像；获取第一人脸多属性条件；输入单元，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；输出单元，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。由上述本专利技术的实例提供的技术方案可以看出，本专利技术实例通过利用FM-GAN生成批量不同属性(年龄、性别和种族)的人脸数据，在原始模型预训练性能的基础上，采用在线自训练方法结合生成数据和真实数据提升模型性能，解决了有限数据环境下模型性能瓶颈的问题。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实例的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实例提供的一种基于对抗生成网络的图像处理方法的流程图；图2为本专利技术实例提供的一种基于对抗生成网络的图像处理方法中训练所述对抗生成网络的步骤的流程图；图3为本专利技术实例提供的基于对抗生成网络的图像处理装置的连接示意图；图4为本专利技术应用场景提供的一种基于细粒度多属性生成对抗网络生成批量人脸数据的算法流程图；图5为本专利技术应用场景在优化阶段的在线自训练优化现有模型性能的算法流程图；图6为本专利技术应用场景所使用的细粒度多属性生成对抗网络中判别网络和生成网络的网络结构图；图7为本专利技术应用场景的优化阶段中批处理数据不同输入生成数据数量的模型优化情况，也就是说生成网络的损失函数图像；图8为本专利技术应用场景在不同数据库上优化预训练好的年龄估计AlexNet模型，基准为模型优化前的性能。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。为便于对本专利技术实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本专利技术实施例的限定。如图1所示，为本专利技术所述的一种基于对抗生成网络的图像处理方法，包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。其中，如图2所示，所述训练所述对抗生成网络的步骤包括：步骤S11，获取训练用人脸样本图像；获取训练用人脸多属性条件；步骤S12，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；步骤S13，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；步骤S14，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络，并跳到所述步骤S12；若所述判别网络无法区分所述训练用人脸合成图像和所述训练用人脸样本图像，则所述对抗生成网络训练完成。可选的，所述步骤S1之后，所述步骤S2之前，所述方法还包括：S11,对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；当所述第一人脸样本图像中存在人脸时，则执行步骤S2；当所述第一人脸样本图像中不存在人脸时，则结束处理。其中，所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分的步骤具体为：根据所述训练用合成图像和所述训练用人脸样本图像，分别输出真伪判别概率以及多属性特征层；根据所述真伪判别概率以及所述多属性特征层，分别计算所本文档来自技高网...

【技术保护点】
1.一种基于对抗生成网络的图像处理方法，其特征在于，包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

【技术特征摘要】
1.一种基于对抗生成网络的图像处理方法，其特征在于，包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。2.根据权利要求1所述的方法，其特征在于，所述训练所述对抗生成网络的步骤包括：步骤S11，获取训练用人脸样本图像；获取训练用人脸多属性条件；步骤S12，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；步骤S13，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；步骤S14，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络，并跳到所述步骤S12；若所述判别网络无法区分所述训练用人脸合成图像和所述训练用人脸样本图像，则所述对抗生成网络训练完成。3.根据权利要求1所述的方法，其特征在于，所述步骤S1之后，所述步骤S2之前，所述方法还包括：对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；当所述第一人脸样本图像中存在人脸时，则执行步骤S2；当所述第一人脸样本图像中不存在人脸时，则结束处理。4.根据权利要求1所述的方法，其特征在于，所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分的步骤具体为：根据所述训练用合成图像和所述训练用人脸样本图像，分别输出真伪判别概率以及多属性特征层；根据所述真伪判别概率以及所述多属性特征层，分别计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项；若所述对抗损失项趋于平稳状态且所述多属性交叉熵损失项收敛状态，则判断为：所述判别网络无法区分所述训练用合成图像和所述训练用人脸样本图像；反之，判断为所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像。5.根据权利要求4所述的方法，其特征在于，所述计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项具体为：LD←log(sr)+log(1-sf)+LS(y′a)+LS(y′g)+LS(y′e)+LregularLD←log(sr)+log(1-sf)+LS(y′a)+LS(y′g)+LS(y′e)+LregularLG←log(sf)+LS(a′)+LS(g′)+LS(e′)+Lf-match其中，LD代表判别网络的判别损失项；log(sr)和log(1-sf)是指找到满足分布的函数的极值，以满足找到使生成器最小、判别器最大的参数，也就是调参的过程。log(sf)代表图片中人脸真假的模糊程度的损失函数，log(1-sf)代表图片中人脸真假的清晰程度的损失函数，LS表示多属性交叉熵损失项，LS(y′a)、LS(y′g)和LS(y′e)表示属性损失项，分别代表年龄、性别和种族的属性损失项；LG代表生成网络的生成损失项；LS(j)表示交叉熵损失项，它表示上下两个函数的概率分布的差异性：表示预测图片值为真时的概率，表示预测图片值为假时的概率，差异越大则相对熵越大，差异越小则相对熵越小，若两者相同则熵为0；k是代表欧式距离矩阵的元素，n是代...

【专利技术属性】
技术研发人员：金一，黄杨茹，李哲，钱晨，李浥东，郎丛妍，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11