一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法技术

本发明专利技术公开了一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，该方法主要内容是：首先对人脸图片进行对齐，将人脸图片的人脸部分截取下来，并通过图片旋转调整角度得到原图，再给定一个期望的目标人脸年龄；初始化一个隐空间向量，将隐空间向量输入到解码器中，得到生成图片；算法使用年龄估计器，判别器，人脸识别器分别得出生成图片的年龄，真实度和与原图人脸身份相似度的损失；以损失减小作为目标，梯度更新初始化的隐空间向量，然后重复前两步直到达到算法约定的步长。使用该方法可以实现人脸图片的自动转换，帮助刑侦和跨年龄人脸识别，也可以用于娱乐影视用途。也可以用于娱乐影视用途。也可以用于娱乐影视用途。

【技术实现步骤摘要】
一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法


[0001]本专利技术属于图像合成和翻译领域，尤其涉及到人脸图像的年龄转换方法。

技术介绍

[0002]随着社会步入数字时代，人们的影视文娱活动逐渐丰富。通过人工智能方法实现人脸图片的年龄转换可以作为视频特效，广泛应用于直播平台，社交媒体中。不少影视作品需要拍摄角色从小到大的过程，而传统的手工年龄转换特效制作开销大耗时长，使用人工智能方法能够大大地降低成本。刑侦中往往遇到犯人或失踪者已经经过数十年未现身的情况，面对此问题，传统方法采用专家人工绘制年龄转换画像的方式，所需时间长且专家人数有限。使用人工智能方法可以有效解决这一问题。人脸图片年龄转换是指输入一张或多张人脸图片，对其中人脸部分进行图像翻译，以实现预测图片中人在过去或在未来的样子的任务。直到深度学习技术被广泛运用以前，人工智能方法往往只能预测成年后很小年龄跨度的人脸图片，并且只集中在人脸的纹理变化上。进入深度学习时代之后，人工智能方法有了长足的进步，实现了更大的年龄转换跨度，人脸形变等效果。但是存在模型训练时间极长，单独为人脸年龄转换设计的训练过程中抽取的特征不够具有代表性，大跨度年龄转换生成图片真实度不高，年龄转换过程中人脸身份、姿态、背景和光照不易保持等问题。因此，现有的人脸图片年龄转换技术有待提升。

技术实现思路

[0003]针对现有技术存在的以上问题，本专利技术旨在提供一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，通过使用梯度对抗攻击的方式抽取解码器、判别器、人脸识别和年龄估计模块的先验知识，在不需要额外训练的情况下直接通过迭代生成看起来很真实的人脸年龄转换图片，并确保图片人脸与目标年龄尽可能相近、人脸的表情、姿态和背景保持不变。
[0004]为实现本专利技术的目的，本专利技术所采用的技术方案如下：
[0005]一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，所述方法包括以下步骤：
[0006]步骤1：使用人脸对齐方法从在野图片中裁剪出对正的人脸图片；
[0007]步骤2：包含有判别器、解码器、人脸年龄估计模型、人脸身份识别模型；
[0008]步骤3：使用解码器隐空间的平均向量初始化或使用更新后的隐空间向量，解码得到生成图片后输入到判别器、人脸年龄估计模型、人脸身份识别模型中取得生成图片与目标年龄的差别、生成图片真实度、生成图片的人脸身份保持度；
[0009]步骤4：以目标年龄差别、生成图片真实度、人脸身份保持度加权得到优化目标，用梯度下降的方式更新隐空间向量；
[0010]步骤5：重复步骤3和步骤4，直到达到算法的最大迭代数，最后取得的图片为算法
的输出。
[0011]作为本专利技术的一种改进，所述步骤1中，人脸对齐方法为：
[0012]在野人脸图片包括人的全身，包括很多无关背景，首先使用人脸识别算法取得人脸特征点，使用SDM算法取得人脸106特征点，然后通过一组特征点的连线与水平的角度差来旋转图片，再使用瞳孔连线与水平线的角度差，然后人为规定一个人脸中心，本例使用眉间，按照一定像素长宽，以规定的人脸中心裁剪出人脸图片。本方法具体采用SDM算法取得106 特征点，然后用瞳孔连线与水平线的角度差旋转图片，使得瞳孔连线变得水平，然后使用眉间作为人脸中心，用256
×
256大小从原图裁剪。
[0013]作为本专利技术的一种改进，所述步骤2中，包括有生成对抗模型中的判别器，以图片作为输入，输出一维数值，用于表示图片来自生成数据集或真实数据集的可能性，这一判别器用D 表示，主要使用多层卷积神经网络，以及残差连接结构实现，运用其计算的表达式为D(x)，若输入图片x接近于虚假的生成图片，那么D(x)尽可能接近于0；若输入图片x接近于真实的图片，那么D(x)尽可能接近于1，本方法使用带有多层卷积神经网络以及残差连接的模型，类似于StyleGAN2的判别器，输入图片为256
×
256大小的三通道RGB图片；
[0014]包括有解码器，将隐空间编码作为输入，输出生成的图片，使用G
θ
表示解码器，其输入隐空间编码w，得到输出图片的过程表示为：
[0015]x
′
＝G
θ
(w)；
[0016]本方法中输入为512维隐空间向量，生成256
×
256大小的三通道RGB图片，使用类似于StyleGAN2的生成器的解码器结构，包含有14层卷积神经网络和8层残差卷积模块，
[0017]包括有人脸年龄估计模型E
age
，以图片作为输入，以一定形式输出估计的年龄，本例使用年龄的回归值，代表年龄的特殊编码。本方法使用预训练的人脸年龄估计算法DEX，以224
×
224大小的三通道彩色图片作为输入，输出101维年龄特征，
[0018]包括有人脸身份估计模型E
id
，使用人脸识别算法，判断视觉相似性的VGG损失或最小二乘损失。本方法使用预训练的人脸识别算法LightCNN，以112
×
112大小的单色图片作为输入，输出人脸特征向量E
id
(x)。
[0019]本例使用现成的模型。本方法采用已经在FFHQ数据集上训练的StyleGAN2预训练权值的解码器G
θ
和判别器D，预训练的人脸识别器LightCNN，以及预训练的人脸年龄估计模块DEX。
[0020]作为本专利技术的一种改进，所述步骤3中，以一种方式初始化隐空间向量。使用从多维高斯分布，以预设的方差σ和均值μ生成一个随机向量，本例使用能够生成高质量图片的一系列隐空间向量的平均，我们以w0代表初始化得到的隐空间向量，我们设定更新用的隐空间向量 w＝w0，之后被更新的隐空间向量也用w表示。
[0021]符合本方法步骤2描述的解码器表示为G
θ
，得到生成图片的过程为：
[0022]x
′
＝G
θ
(w)。
[0023]作为本专利技术的一种改进，所述步骤4中，分别将生成的图片输入到判别器D，人脸年龄估计器E
age
，人脸身份估计器E
id
中，输出分别为D(x
′
),E
age
(x
′
),E
id
(x
′
)，然后将输入的真实图片x也输入到人脸身份估计器E
id
，人脸年龄估计其中E
age
，得到的输出分别为： E
age
(x),E
id
(x),方法的目标是为了让生成的图片尽可能真实，并且尽可能接近目标年龄特征 c，以及在变换的过程中保持人脸身份、表情、姿态、背景等不变。计算损失函数，并要求最优的w
使损失函数最小化：
[0024][0025]其中λ
age
和λ
...

【技术保护点】

【技术特征摘要】
1.一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，其特征在于，所述方法包括以下步骤：步骤1：使用人脸对齐方法从在野图片中裁剪出对正的人脸图片；步骤2：选择判别器、解码器、人脸年龄估计模型和人脸身份识别模型；步骤3：使用解码器隐空间的平均向量初始化或使用更新后的隐空间向量，解码得到生成图片后输入到判别器、人脸年龄估计模型、人脸身份识别模型中取得生成图片与目标年龄的差别、生成图片真实度、生成图片的人脸身份保持度；步骤4：以目标年龄差别、生成图片真实度、人脸身份保持度加权得到优化目标，用梯度下降的方式更新隐空间向量；步骤5：重复步骤3和步骤4，直到达到算法的最大迭代数，最后取得的图片为算法的输出。2.根据权利要求1所述的一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，其特征在于：所述步骤1中，人脸对齐方法为：在野人脸图片包括人的全身，包括很多无关背景，首先使用人脸识别算法取得人脸特征点，使用SDM算法取得人脸106特征点，然后通过一组特征点的连线与水平的角度差来旋转图片，使用瞳孔连线与水平线的角度差，然后人为规定一个人脸中心，具体采用SDM算法取得106特征点，然后用瞳孔连线与水平线的角度差旋转图片，使得瞳孔连线变得水平，然后使用眉间作为人脸中心，用256
×
256大小从原图裁剪。3.根据权利要求1所述的一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法，其特征在于：所述步骤2中，选用生成对抗模型中的判别器，以图片作为输入，输出一维数值，用于表示图片来自生成数据集或真实数据集的可能性，这一判别器用D表示，主要使用多层卷积神经网络，以及残差连接结构实现，运用其计算的表达式为D(x)，若输入图片x接近于虚假的生成图片，那么D(x)尽可能接近于0；若输入图片x接近于真实的图片，那么D(x)尽可能接近于1，使用带有多层卷积神经网络以及残差连接的模型，类似于StyleGAN2的判别器，输入图片为256
×
256大小的三通道RGB图片；选用解码器，将隐空间编码作为输入，输出生成的图片，使用G
θ
表示解码器，其输入隐空间编码w，得到输出图片的过程表示为：x
′
＝G
θ
(w)；输入为512维隐空间向量，生成256
×
256大小的三通道RGB图片，使用类似于StyleGAN2的生成器的解码器结构，包含有14层卷积神经网络和8层残差卷积模块，选用人脸年龄估计模型E
age
，以图片作为输入，以一定形式输出估计的年龄，使用预训练的人脸年龄估计算法DEX，以224
×
224大小的三通道彩色图片作为输入，输出101维年龄特征，包括有人脸身份估计模型E
id...

【专利技术属性】
技术研发人员：杨绍枢，永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：