本发明专利技术公开了一种属性生成对抗网络以及基于该网络的人脸图像的连续变换方法，该属性生成对抗网络包含一个生成器和一个判别器，所述生成器包括身份特征编码器、年龄特征编码器和解码器；所述解码器使用基于自适应权值标准化的渐进式特征融合的结构，所述判别器使用多任务结构。该方法在训练该属性生成对抗网络时使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数。本发明专利技术公开的技术方案通过基于自适应权值标准化的解码器模拟人脸软组织和颅骨形状随年龄的变化，通过多任务结构的判别器减少了模型计算的参数量，在维持计算资源的低耗前提下，实现任意年龄跨度的人脸图像精准连续变换。像精准连续变换。像精准连续变换。
【技术实现步骤摘要】
属性生成对抗网络以及基于该网络的人脸图像连续变换方法
[0001]本专利技术属于计算机视觉
，涉及人脸图像连续变换方法。
技术介绍
[0002]对于人脸年龄变换问题，难以使用监督学习的方法来完成。因为监督学 习需要对每个身份采集其不同年龄的人脸图像，存在数据采集的时间跨度 大、容易产生缺失值等问题。基于生成对抗网络的人脸图像编辑方法能够改 变人脸的固有属性，如年龄、性别等。
[0003]现有技术中国专利技术专利申请CN 201810896017.8公开了一种基于生成 对抗网络的脸部变化预测方法。该方法将年轻人脸图像输入生成对抗网络模 型中，输出年老人脸图像。一方面，该方法在网络学习训练过程中，需要同 时具有一个身份人脸的两个不同年龄的人脸图像输入，对学习样本要求较 高，构建学习样本的工作量较大。另一方面，由于该方法使用的网络为单任 务变换网络，一次只能从一个年龄域变换到另一个年龄域，不能从一个人脸 图像生成大跨度的一系列连续变换的人脸图像。
[0004]
技术实现思路
[0005]基于此，本专利技术的目的在于通过构造渐进式融合结构的解码器和多任务 结构的判别器，解决现有技术中人脸图像变换的失真以及单一的技术问题。
[0006]为了达到上述目的，本专利技术提供了如下的技术方案。
[0007]一种基于属性生成对抗网络的人脸图像连续变换的方法，该方法包括如 下步骤：
[0008]S1、构建包含大量人脸图像数据的数据集,所述人脸图像数据包括人脸 图像以及与人脸图像相对应的图像信息，所述图像信息包括年龄信息和身份 ID信息；
[0009]S2、构建属性生成对抗网络，所述属性生成对抗网络包括一个生成器和 一个判别器；
[0010]所述生成器包括身份特征编码器，用于提取输入人脸图像的身份特征； 年龄特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件；解码 器，使用基于自适应权值标准化(AdaWN adaptive weight normalization) 模块的渐进式特征融合结构，用于将所述身份特征和所述目标条件通过风格 融合的方法生成目标人脸图像；
[0011]所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任 务结构包括多个全连接层以及与之相对应的多个二分类器，每一个二分类器 对应一个目标年龄域，用于判断所述目标人脸图像是否真实以及判断所述目 标人脸图像的人脸年龄是否属于目标年龄域；
[0012]其中，所述属性生成对抗网络使用的目标损失函数包括对抗损失函数、 循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数；
[0013]S3、训练属性生成对抗网络，从所述数据集随机选择两张年龄信息不同 的人脸图像分别作为输入人脸图像和参考人脸图像输入至所述生成器，所述 生成器将生成的人脸
图像输出至所述判别器，根据判别器损失函数训练所述 判别器，根据生成器损失函数训练生成器，完成所述属性生成对抗网络的训 练；
[0014]S4、进行人脸图像变换：将源人脸图像输入至训练好的属性生成对抗网 络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通 过年龄特征线性插值生成连续的年龄变换图像。
[0015]具体地，所述循环一致损失函数用于所述生成器在生成过程中维持人脸 的身份特征，具体表示为
[0016][0017]其中，且为属于源年龄域的第二参 考人脸图像经过所述年龄特征编码器E
age
提取的源年龄特征，y是所 述生成器根据源年龄域的输入人脸图像x
id
生成的目标人脸图像，F为解码 器。
[0018]具体地，所述重建损失函数表示为
[0019][0020]其中，x
rec
为重建图像。
[0021]具体地，所述身份特征损失函数表示为
[0022][0023]所述年龄特征损失函数表示为
[0024][0025]其中，为目标年龄隐向量。
[0026]具体地，所述步骤C的训练过程使用生成器判别器交替梯度下降算法、 小批量的随机梯度下降算法以及Adam算法进行训练，所述对抗损失函数 为非饱和对抗损失函数，具体表示为：
[0027][0028]其中D
t
为所述判别器第t类的softmax概率输出。
[0029]本专利技术另外还提供一种用于人脸连续变换的属性生成对抗网络，该网络 包括
[0030]一个生成器和一个判别器；
[0031]所述生成器包括身份特征编码器，包括四个第一残差块和一个第一平均 池化层，用于提取输入人脸图像的身份特征；年龄特征编码器，包括多个第 二残差块、一个第二平均池化层和一个全连接层，每一个第二残差块对应一 个目标年龄域，所述年龄特征编码器用于提取参考人脸图像的年龄特征，作 为目标条件；和
[0032]解码器，包括多个特征融合层，每一个特征融合层包括一个第三残差块 和一个自适应权值标准化模块，所述自适应权值标准化模块将所述目标条件 进行权值调整和权值标准化处理输出至第三残差块，所述第三残差块上采样 所述身份特征，将所述身份特征和所述目标条件融合输出至下一个特征融合 层，所述解码器通过基于自适应权值标准化模块的渐进式融合输出目标人脸 图像；
[0033]所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任 务结构包括多个第二全连接层以及与之相对应的多个二分类器，每一个二分 类器对应一个目标年龄域，所述多任务结构的判别器用于在训练阶段判断所 述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于 目标年龄域，以此调整所述生成器的网络参数。
[0034]本专利技术通过上述技术方案达到的有益效果是：
[0035](1)利用权值共享原理，用一个生成器和一个判别器实现一对多的人脸 图像变换任务，结构简单，计算资源消耗低，速度快，成本低；
[0036](2)使用自适应权值标准化模块的渐进式融合结构解码器，使生成器在 训练中能学习人脸软组织和颅骨的变化，增强身份特征鲁棒性，提升人脸图 像变换真实度；
[0037](3)在编码器和判别器的多任务结构中对各年龄域进行权值均分处理， 结合线性插值实现了任意年龄跨度的人脸连续变换。
附图说明
[0038]图1是本专利技术的基于属性生成对抗网络的人脸图像连续变换的方法流 程图；
[0039]图2是本专利技术的属性生成对抗网络的模块结构示意图；
[0040]图3是本专利技术AdaWN模块的结构示意图；
[0041]图4是本专利技术一个实施例方法变换结果图。
具体实施方式
[0042]为了使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例 对本专利技术的具体实施方式作进一步详细描述。应该理解，此处所描述的实施 例仅用于解释本专利技术，但不用于限制本专利技术的范围。
[0043]请参阅图1～3，本专利技术实施例提供了一种基于属性生成对抗网络的人 脸图像连本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，该方法包括如下步骤：S1、构建包含大量人脸图像数据的数据集,所述人脸图像数据包括人脸图像以及与人脸图像相对应的图像信息，所述图像信息包括年龄信息和身份ID信息；S2、构建属性生成对抗网络，所述属性生成对抗网络包括一个生成器和一个判别器；所述生成器包括身份特征编码器，用于提取输入人脸图像的身份特征；年龄特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件；解码器，使用基于自适应权值标准化模块的渐进式特征融合结构，用于将所述身份特征和所述目标条件通过风格融合的方法生成目标人脸图像；所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任务结构包括多个全连接层以及与之相对应的多个二分类器，每一个二分类器对应一个目标年龄域，用于判断所述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于目标年龄域；其中，所述属性生成对抗网络使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数；S3、训练属性生成对抗网络，从所述数据集随机选择两张年龄信息不同的人脸图像分别作为输入人脸图像和参考人脸图像输入至所述生成器，所述生成器将生成的人脸图像输出至所述判别器，根据目标损失函数训练所述判别器和所述生成器；S4、进行人脸图像变换：将一张源人脸图像输入至由步骤C训练好的属性生成对抗网络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通过年龄特征线性插值生成连续的年龄变换图像。2.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述循环一致损失函数用于所述生成器在生成过程中维持人脸的身份特征，具体表示为其中，且为属于源年龄域的第二参考人脸图像经过所述年龄特征编码器E
age
提取的源年龄特征，y是所述生成器根据源年龄域的输入人脸图像x
id
生成的目标人脸图像，F为解码器。3.根...
【专利技术属性】
技术研发人员：张海军，杨沃佳，李静侃，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。