基于生成对抗网络的人脸去识别化生成方法技术

本发明专利技术公开了一种基于生成对抗网络的人脸去识别化生成方法，获取N对人脸图像，对每张人脸图像分别提取得到特征向量，将每张人脸图像的人脸五官部分采用随机噪声进行遮挡获取遮挡人脸图像，将遮挡人脸图像与相应的人脸图像特征向量组合，二者结合作为生成对抗网络中生成器的输入，原始人脸图像作为辨别器的真实人脸图像，构成一个训练样本；采用训练样本对生成器和辨别器进行训练。训练完成后，在应用阶段，对于每一张待去识别化的人脸图片，同样得到遮挡人脸图像与人脸图像特征向量，然后组合输入至训练好的人脸去识别化生成模型的生成器，得到去识别化后的人脸图像。本发明专利技术可以在保护用户隐私的同时，生成高质量的虚拟用户的人脸图像。

【技术实现步骤摘要】
基于生成对抗网络的人脸去识别化生成方法
本专利技术属于人脸识别
，更为具体地讲，涉及一种基于生成对抗网络的人脸去识别化生成方法。
技术介绍
随着网络信息技术飞速发展，人脸识别技术与应用已经逐渐从学术界发展到政府部门以及工业界，在越来越多的应用中扮演着重要的角色，这些角色通常为用以代替或辅助身份证、密码、其他证件等凭借标识来进行用户的身份信息验证。然而不论从人脸识别模型的训练以及实际应用中，往往需要大量高质量带标签的数据，而这些数据往往会携带着用户的个人肖像隐私，在训练或使用中被第三方运营商获取到将对用户的隐私产生影响。正是这样的需求使得人脸去识别化生成需求应运而生，提供在不泄露个人隐私的情况下唯一标识用户，能够进行人脸识别模型的训练以及人脸识别模型的实际应用。人脸去识别化生成方法主要由两部分构成，人脸去识别化以及人脸图片生成。以往的传统方法往往更注重于人脸的去识别化部分，如K匿名等方法，这些方法存在着一定缺点：首先，用这些方法在对人脸去识别化后，数据虽然可以满足去识别化要求，但本身无法再唯一标识用户，因此无法用于人脸识别模型的训练与使用中，其实际使用价值较低。其次，这些方法的清晰度较差，图片比较模糊，与真实人脸图片存在较大差异。此外，对于同一用户的不同人脸图片，由于其拍摄环境、用户装束等因素不同，在脱敏后的图片可能会截然不同，即对于用户特征信息丢失较多。因此，仅完成人脸去识别化任务是无法满足实际人脸使用需求的。在实际的人脸使用中，数据拥有方需要在保障用户肖像隐私不被泄露的情况下，还能够保证数据的唯一标识等特性，并具有足够高的清晰度，保留足够多的特征信息能够用于人脸识别模型的训练以及实际人脸识别应用，然而对于此种需求目前行业内并没有行之有效的解决方法。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于生成对抗网络的人脸去识别化生成方法，既保证用户个人信息隐私不被泄露，又保证图片具有足够高的清晰度以及尽可能保留用户特征，以便用于人脸识别模型的训练以及应用。为了实现上述专利技术目的，本专利技术于生成对抗网络的人脸去识别化生成方法包括以下步骤：S1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对其中表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N；S2：将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像所对应的特征向量为将每张人脸图像的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像将其转化为向量，与人脸图像的特征向量进行组合作为输入，将原始人脸图像作为真实人脸图像，构成一个训练样本的三元组S3：构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像；S4：将步骤S2中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本，所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，各种损失的计算方法分别为：对抗损失的计算方法为：采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD；梯度惩罚损失的计算方法为：计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP；用户内损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI；用户间损失的计算方法为：当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO；去识别化损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失LRF；结构相似度损失的计算方法为：计算当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的结构相似度，平均后作为结构相似度损失Ls；设置辨别器损失为LD-θLGP，生成器损失为LD+αLFFI+βLs-γLRF+ηLFFO，其中θ、α、β、γ、η为预设的参数，交替训练辨别器与生成器；S5：将需要进行去识别化生成的人脸图像调整至预设尺寸，将所得到的人脸图像p′通过人脸特征提取模型提取其特征向量f′，将人脸图像p′采用随机噪声进行人脸五官部分遮挡得到人脸图像将其转化为向量，与特征向量f′进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p′*。本专利技术基于生成对抗网络的人脸去识别化生成方法，获取N对人脸图像，将每张人脸图像分别输入预训练的人脸特征提取模型中得到特征向量，将每张人脸图像的人脸五官部分采用随机噪声进行遮挡获取遮挡人脸图像，将得到的遮挡人脸图像与相应的人脸图像特征向量组合，二者结合作为生成对抗网络中生成器的输入，原始人脸图像作为辨别器的真实人脸图像，构成一个训练样本；采用训练样本对生成器和辨别器进行训练。训练完成后，在应用阶段，对于每一张待去识别化的人脸图片，同样得到遮挡人脸图像与人脸图像特征向量，然后组合输入至训练好的人脸去识别化生成模型的生成器，得到去识别化后的人脸图像。采用本专利技术可以利用的真实用户的人脸图像生成高质量的虚拟用户的人脸图像，在满足去识别化的基础上最大程度保留用户的性别、人种、肤色等与身份识别相关度较小的特征，保证用户集的统计信息不受影响，并且对于相同用户生成的图片均属于相同虚拟用户，保证了生成后人脸图像仍能用于人脸识别模型的训练以及使用，从而在保护用户隐私同时使去识别化生成的人脸图像具有高度可用性。附图说明图1是本专利技术基于生成对抗网络的人脸去识别化生成方法的具体实施方式流程图；图2是本实施例中原始人脸图像和生成虚拟用户人脸图像的对比图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例图1是本专利技术基于生成对抗网络的人脸去识别化生成方法的具体实施方式流程图。如图1所示，本专利技术基于生本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的人脸去识别化生成方法，其特征在于，包括以下步骤：/nS1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对

【技术特征摘要】
1.一种基于生成对抗网络的人脸去识别化生成方法，其特征在于，包括以下步骤：
S1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对其中表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N；
S2：将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像所对应的特征向量为fin；
将每张人脸图像的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像将其转化为向量，与人脸图像的特征向量fin进行组合作为输入，将原始人脸图像作为真实人脸图像，构成一个训练样本的三元组
S3：构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像；
S4：将步骤S2中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本，所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，各种损失的计算方法分别为：
对抗损失的计算方法为：采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD；
梯度惩罚损失的计算方法为：计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP；
用户内损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI；
用户内间损失的计算方法为：在当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO；
去识别化损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失...

【专利技术属性】
技术研发人员：孙铭佑，王晓玲，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31