基于局部和全局区域策略对抗学习的人脸老化方法技术

本发明专利技术公开了一种基于局部和全局区域策略对抗学习的人脸老化方法，主要解决现有技术使用对抗网络不能够生成具有明显衰老特征的老化人脸问题。其实现方案是：使用人脸关键点识别技术对人脸数据进行检测、对齐和裁剪，并将其划分为训练集和测试集；对训练集和测试集的对每张图片赋予对应的年龄标签；分别构建人脸生成模型、人脸面部总损失及基于个人身份特征的损失函数；采用对抗训练的方法对人脸生成模型进行训练直至面部总损失和特征损失函数收敛；将测试集中的人脸图像加载到训练好的人脸生成模型中生成各年龄阶段的人脸图像。本发明专利技术提高了年龄跨度较大的人脸生成图像的衰老特征，可用于协助警察对疑犯踪迹查找、长时间失踪儿童找回及医学整形。失踪儿童找回及医学整形。失踪儿童找回及医学整形。

【技术实现步骤摘要】
基于局部和全局区域策略对抗学习的人脸老化方法


[0001]本专利技术属于图像生成
，主要涉及一种人脸老化方法，可用于协助警察进行疑犯踪迹查找、长时间跨度失踪儿童找回及医学美容整形。

技术介绍

[0002]人脸老化是指通过学习和研究大量老化人脸，模型可以自动识别和建模出面部老化特征。通常根据指定的年龄段，模拟出当年年龄阶段的人类皮肤皱纹和肌肉松弛等老化外貌特征，进而生成老化人脸。而年轻化指的是给定一个老化人脸，模型可以生成出该人脸年轻时的样貌，可以应用于对老照片进行年轻化预测等。人脸老化方法在很多领域都具有广泛的应用，例如协助警察进行疑犯踪迹查找、长时间跨度失踪儿童找回和医学美容整形行业。
[0003]近些年来，已经有许多方法致力于研究实现人脸老化预测方法，可以把它们大致分为4类：基于物理模型的人脸老化方法、基于图像原型的人脸老化方法、基于传统机器学习的方法和基于神经网络的人脸老化方法。
[0004]基于物理模型的人脸老化方法，是指利用物理规律和几何学原理来模拟面部特征的衰老过程，通常从皮肤的松弛程度、骨骼构造的变化、面部肌肉的萎缩等方面入手进行建模，产生一个老化的脸部形态，通过变形公式对面部轮廓进行拉伸和剪切变换。该方法的缺点是不涉及面部皱纹等细节信息，仅对轮廓做出约束。
[0005]基于图像原型的人脸老化方法，其操作步骤为：首先，通过对已有的人脸图像数据集按不同年龄阶段分组，计算平均脸来构建各年龄段的图像原型；其次，通过对比各阶段图像原型之间的差异获得老化特征差异向量；最终，将输入人脸所在年龄阶段和待输出的目标年龄阶段的图像原型之间的差异向量叠加至输入人脸即可获得老化图像。但是该方法由于只是简单的叠加老化特征，因而会造成一些身份特征的丢失。
[0006]基于传统机器学习的方法，是通过大量的人工操作从图片中提取出对老化预测有用的衰老特征，将其组合成高维向量，并利用如决策树、朴素贝叶斯、支撑向量机的方法对老化特征进行建模学习以生成真实的老化人脸。与基于图像原型的人脸老化方法相比，基于传统机器学习的人脸老化方法更加直接，操作更加便捷，但该方法由于受建模学习方法的选择和人工进行特征提取的影响，其预测精度较低。
[0007]以上方法虽具有一定实用性，但难以保证生成图像质量，且计算量较大，对数据依赖性较高。随着深度学习在计算机视觉领域的广泛应用，越来越多的研究者开始思考如何将深度学习与人脸合成方法相结合，深度学习方法中最常用的是生成对抗网络GAN模型。
[0008]GrigoryAntipov等人在IEEE International Conference on Image Processing(ICIP)上第一次尝试使用GAN来进行自动模拟人脸老化，提出了年龄条件生成对抗网络，其将年龄信息作为额外条件与人脸图像一起输入到网络中，这是第一个在所需的年龄类别内生成高质量合成图像GAN。在保持身份特征方面，使用了一种新的潜在向量优化方法对输入人脸进行重建，该方法用人脸识别网络FR来表示潜在向量，可以在生成老化人脸时更好的
保留身份特征。
[0009]Zhu Haipin等人也使用GAN进行老化人脸生成，在arXiv.1804.02740上引入年龄估计技术来控制老化精度，通过基于CNN的顺序回归方法来估计生成的人脸图像的年龄，并计算基于年龄的欧氏距离损失来消除输入输出图像之间的年龄差距，生成年龄更准确的老化人脸。同时引入一个用训练数据集预先训练好的编码器来提取潜在向量，通过计算输入输出图像之间的潜在向量距离损失更好的保留个人身份特征。
[0010]上述两种方法的基本原理是利用一组生成器G和判别器D相互博弈，使得生成器能够不断优化生成结果，从而产生更加逼真的老化人脸图像，且同时训练两个模型：1、生成模型G以捕捉训练样本的分布，并通过学习模仿训练数据集生成新样本；2、判别模型D，以区分生成的样本和训练数据。生成模型G和判别模型D通过使用如下等式进行极小极大博弈相互竞争，生成更真实的老化人脸：
[0011][0012]其中，表示数据分布期望，z表示从某个分布p(z)，例如高斯分布或均匀分布中随机抽样得到的向量，数据分布为p
data
(x)，即训练数据x符合x～p
data
(x)分布，G和D这两个模型是交替训练的。
[0013]但是上述两种方法均存在两方面的不足：1、对于年龄跨度较大的老化人脸生成，不能够生成具有明显衰老特征的老化人脸，在对应的年龄区间内生成的老化人脸平均年龄较低；2、在GAN模型生成老化人脸时，可能会产生伪影等不真实的效果，影响生成图片质量。
[0014]综上，找到一种可以生成具有明显老化特征的清晰人脸的方法对老化人脸生成任务有重要意义。

技术实现思路

[0015]本专利技术的目的在于针对上述现有技术的不足，提出一种基于局部和全局区域策略对抗学习的人脸老化方法，以解决现有技术中存在的生成老化人脸衰老特征不明显，偏于年轻化的问题，提高对应的年龄区间内生成的老化人脸的平均年龄，生成符合生长规律的老化人脸，便于更好的协助警察进行疑犯踪迹及长时间跨度失踪儿童的查找。
[0016]为实现上述目的，本专利技术的技术方案包括：
[0017](1)从公开的人脸数据集获取n张人脸数据，使用人脸关键点识别技术对其依次进行检测、对齐和裁剪的预处理，并将预处理的数据集按照9：1的比例划分训练集和测试集；
[0018](2)对训练集和测试集的图片按年龄划分为0～5岁、6～10岁、11～15岁、16～20岁、21～30岁、31～40岁、41～50岁、51～60岁、61～70岁和71岁以上，共10个类别，并这10个类别依次定义为1～10个年龄标签，即对每张图片赋予相应的年龄标签；
[0019](3)构建包括编码器、生成器和2个鉴别器组成的人脸生成模型，用于生成不同年龄的人脸图片；
[0020](4)构建人脸生成模型的局部策略损失函数；
[0021](4a)使用人脸关键点检测技术对给定人脸图像进行面部区域检测，定位出人脸面部器官的所有关键点，得到一个二维数组S；
[0022](4b)选取面部左嘴角纹LM、右嘴角纹RM、左法令纹LN、右法令纹RN、左眼纹LE、右眼
纹RE和额头区域FH这些局部老化区域；
[0023](4c)确定每个局部老化区域的左上角和右下角两个点：
[0024]取出二维数组S中第i行数据的第一个元素作为左上角点的横坐标x0；
[0025]取出二维数组S中第j行数据的第二个元素作为左上角点的纵坐标y0；
[0026]取出二维数组S中第m行数据的第一个元素作为右下角点的横坐标x1；
[0027]取出二维数组S中第n行数据的第二个元素作为右下角点的纵坐标y1；
[0028]根据i，j，m，n这四个关键点的位置定位出的左上角点坐标(x0,y0)和右下角点坐标(x1,y1):
[0029](x0,y0)＝(S[i][0]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部和全局区域策略对抗学习的人脸老化方法，其特征在于，包括如下：(1)从公开的人脸数据集获取n张人脸数据，使用人脸关键点识别技术对其依次进行检测、对齐和裁剪的预处理，并将预处理的数据集按照9：1的比例划分训练集和测试集；(2)对训练集和测试集的图片按年龄划分为0～5岁、6～10岁、11～15岁、16～20岁、21～30岁、31～40岁、41～50岁、51～60岁、61～70岁和71岁以上，共10个类别，并这10个类别依次定义为1～10个年龄标签，即对每张图片赋予相应的年龄标签；(3)构建包括编码器、生成器和2个鉴别器组成的人脸生成模型，用于生成不同年龄的人脸图片；(4)构建人脸生成模型的局部策略损失函数；(4a)使用人脸关键点检测技术对给定人脸图像进行面部区域检测，定位出人脸面部器官的所有关键点，得到一个二维数组S；(4b)选取面部左嘴角纹LM、右嘴角纹RM、左法令纹LN、右法令纹RN、左眼纹LE、右眼纹RE和额头区域FH这些局部老化区域；(4c)确定每个局部老化区域的左上角和右下角两个点：取出二维数组S中第i行数据的第一个元素作为左上角点的横坐标x0；取出二维数组S中第j行数据的第二个元素作为左上角点的纵坐标y0；取出二维数组S中第m行数据的第一个元素作为右下角点的横坐标x1；取出二维数组S中第n行数据的第二个元素作为右下角点的纵坐标y1；根据i，j，m，n这四个关键点的位置定位出的左上角点坐标(x0,y0)和右下角点坐标(x1,y1):(x0,y0)＝(S[i][0],S[j][1])(x1,y1)＝(S[m][0],S[n][1])；(4d)在输入图片和输出图片中根据每个局部老化区域的左上角点坐标和右下角点坐标裁剪出大小相同的多对局部老化区域面部块，对多对老化区域面部块分别计算各自的老化损失，得到人脸生成模型的局部策略损失函数化损失，得到人脸生成模型的局部策略损失函数其中为对左嘴角纹面部块计算得到的损失值，为对右嘴角纹面部块计算得到的损失值，为对左法令纹面部块计算得到的损失值，为对右法令纹面部块计算得到的损失值，为对左眼纹面部块计算得到的损失值，为对右眼纹面部块计算得到的损失值，为对额头区域面部块计算得到的损失值，α、β、γ、δ、ε、ζ、η分别代表左嘴角纹、右嘴角纹、左法令纹、右法令纹、左眼纹、右眼纹和额头区域的损失系数；(5)对输入图片和输出图片整体区域进行计算，得到人脸生成模型的全局损失函数(5)对输入图片和输出图片整体区域进行计算，得到人脸生成模型的全局损失函数其中，image
input
表示输入图片，image
output
表示输出图片，MAE代表平均绝对误差；(6)根据人脸生成模型的全局损函数失和人脸生成模型的局部策略损失函数
得到人脸生成模型的面部总损失函数得到人脸生成模型的面部总损失函数其中，λ
global
是的权重参数，λ
local
是的权重参数；(7)将输入图片和输出图片分别加入到已有预训练好的人脸识别模型中，将其转化为特征向量，计算这两个特征向量之间的欧氏距离，得到人脸生成模型的个人身份特征损失函数(8)采用对抗训练的方法对人脸生成模型进行训练：(8a)将训练集输入到人脸生成模型；(8b)生成器输出与每张输入人脸相对应的生成人脸；(8c)将输入人脸和生成人脸传入鉴别器，鉴别器判断输出两者分别是真实样本的概率值；(8d)根据鉴别器输出的概率值和输入人脸的标签，计算生成器的损失函数和两个鉴别器的损失函数和根据损失函数对生成器和判别器的参数使用反向传播算法进行梯度更新；(8e)重复步骤(8b)～(8d)直至损失函数收敛，停止训练，得到训练好的人脸生成模型；(9)将测试集中的人脸图像输入到训练好的人脸生成模型中生成各年龄阶段的人脸图像。2.根据权利要求1所述的方法，其特征在于，步骤(1)中使用人脸关键点识别技术对人脸图片进行检测，是使用现有的Dlib库中基于非线性局部回归的CNN人脸检测器对人脸数据集中的每张图片进行人脸检测：若判断出人脸存在，则通过预训练好的人脸关键点检测器模型文件定位出图片中的68个重要的特征点，得到一个大小为68*2的二维矩阵，其中第一维表示68个关键点，第二维中的x和y分别表示每个关键点在图像中的坐标；否则，将该张图片从人脸数据集中移除，继续检测人脸数据集中下一张图片。3.根据权利要求1所述的方法，其特征在于，步骤(1)中对检测出的人脸关键点和固定位置进行匹配，完成图像的对齐，实现如下：1a)根据检测出的人脸关键点计算左眼区域中心点(x1,y1)和右眼区域的中心点(x2,y2)：)：其中，n为左眼关键点的个数，m是右眼关键点的个数；1b)根据检测出的人脸关键点计算嘴唇中心点坐标(x3,y3)：其中，x
min
和y
min
分别表示嘴唇区域关键点的最小x值和最小y值，x
max
和y
max
分别表示嘴
唇区域关键点的最大x值和最大y值；1c)将(x1,y1)、(x2,y2)、(x3,y3)和固定位置(x1′
,y1′
)、(x2′
,y2′
)、(x3′
,y3′
)这3对点代入变换矩阵：列出如下6个方程：x1′
＝a1x1+a2y1+t
x
y1′
＝a3x1+a4y1+t
y
x2′
＝a1x2+a2y2+t
x
y2′
＝a3x2+a4y2+t
y
x3′
＝a1x3+a2y3+t
x
y3′
＝a3x3+a4y3+t
y
对这6个方程进行求解，得出仿射变换矩阵的4个缩放比例参数a1、a2、a3、a4和2个平移参数t
x
、t
y
；1d)将图片上每一点的坐标(x,y)利用仿射变换矩阵计算新图像上对应的点坐标(x
′
,y
′
)，将新图像上点(x
′
,y
′
)处的像素值设置为原图像上点(x,y)处的像素值，完成图像对齐。4.根据权利要求1所述的方法，其特征在于，步骤(2)中对每张图片赋予相应的年龄标签是使用one
‑
hot编码方式将10类年龄标签分别表示如下：标签1：[1,0,0,0,0,0,0,0,0,0]，即当年龄范围在0～5时对应的第一列为1，其余列为0；标签2：[0,1,0,0,0,0,0,0,0,0]，即当年龄范围在6～10时对应的第二列为1，其余列为0；标签3：[0,0,1,0,0,0,0,0,0,0]，即当年龄范围在11～15时对应的第三列为1，其余列为0；标签4：[0,0,...

【专利技术属性】
技术研发人员：缑水平，薛睿晨，童诺，李睿敏，沙毓，刘宁涛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：