一种基于注意力与生成对抗网络的人脸图像隐私保护方法技术

本发明专利技术公开了一种基于注意力与生成对抗网络的人脸图像隐私保护方法，包括步骤一、构建自注意力感知生成网络；步骤二、构建空间注意力引导判别网络；步骤三、确定注意力

【技术实现步骤摘要】
一种基于注意力与生成对抗网络的人脸图像隐私保护方法


[0001]本专利技术属于数据安全与隐私保护的
，具体涉及一种基于注意力与生成对抗网络的人脸图像隐私保护方法。

技术介绍

[0002]互联网信息技术的快速发展，极大便利了人们使用智能手机和其他便携式智能设备将照片上传到个性化的互联网平台，分享他们的社交体验。尽管这些智能设备为用户提供了便利，但人脸图像在设备中的广泛传播和易访问性，给用户身份信息的安全性和隐私性带来前所未有的挑战。为解决上述问题，人脸去识别化技术应运而生，采用图像生成或处理操作，如像素化、遮蔽、模糊化或匿名化，提供在不泄露个人隐私的情况下唯一标识用户，处理后的人脸图像能够进行人脸识别模型的训练与应用。然而，上述方法存在清晰度较差，与真实人脸图像存在较大差异以及用户特征信息丢失较多等问题。
[0003]近年来，随着深度学习技术的不断发展，Goodfellow等人提出生成对抗网络(Generative Adversarial Network，GAN)，并将其成功应用于人脸图像合成、属性生成、去识别化等领域。基于GAN的人脸图像去识别化方法直接对人脸图像在不同属性处分布之间的特征图转换进行建模，并通过优化映射函数以较高的视觉保真度将验证的人脸图像转换为目标属性组，生成清晰度较高的图像代替原始图像发布，成为在复杂分布上进行无监督学习最具潜力的研究方法之一。
[0004]但在对现有技术的研究与分析中发现，已有技术仍存在以下问题有待解决：1)由于基于GAN的方法通常只关注图像内容之间的转换，而忽略了训练图像的其他关键语义条件信息(面部属性)，因此，无法指导生成具有高视觉逼真度和正确属性的目标人脸图像。2)在实践中，由于同一对象的多个面部图像的采集成本高昂，基于GAN的方法仍然存在训练模型的面部样本不平衡的问题，导致模型崩溃；3)如果没有高级条件信息的指导，这些基于GAN的去识别方法很容易生成许多具有不正确面部属性的图像。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于注意力与生成对抗网络的人脸图像隐私保护方法，能够通过保留去识别的人脸图像的更丰富细节来提高其效用，以生成高保真的去识别人脸图像，以便用于人脸识别模型的训练与应用，并确保其隐私属性不会被检测到，保证用户个人信息隐私不被泄露。
[0006]实现本专利技术的技术方案如下：
[0007]一种基于注意力与生成对抗网络的人脸图像隐私保护方法，包括以下步骤：
[0008]步骤一、构建自注意力感知生成网络；
[0009]步骤二、构建空间注意力引导判别网络；
[0010]步骤三、确定注意力
‑
生成对抗网络优化目标函数；
[0011]步骤四、训练注意力
‑
生成对抗网络，输出最后结果。
[0012]进一步地，步骤一具体为：为了能够完备保留生成人脸图像的细节信息，在提取的多尺度人脸特征基础上，通过计算多尺度人脸特征各个特征层之间的相关性的方法，计算各个特征层融合的加权系数，并结合自注意力机制模型，在多尺度融合特征基础上嵌入人脸性别、年龄的标签属性信息，生成具有全局及细节特征的人脸图像。
[0013]进一步地，步骤二具体为：通过对特征层的平均池化、最大池化运算，提取多尺度空间特征，并利用特征聚合运算实现空间特征图的生成，以此作为判别依据指导人脸后续判别及图像生成；在此基础上，引入人脸属性分类与匹配辅助模型到判别器中，通过生成具有所需属性的视觉逼真的人脸图像以用于隐私保护。
[0014]进一步地，所述注意力
‑
生成对抗网络优化目标函数具体为：
[0015][0016]其中，为多尺度重建像素损失函数，表示求函数的期望，为具有属性att的原始人脸图像特征，分别表示生成人脸图像和期望属性的分布，S
spa
表示判别器函数，v
id
表示混淆人脸图像所需的属性，Z
id
表示身份嵌入函数。
[0017]进一步地，步骤四的具体过程为：通过注意力引导的生成网络，在训练过程中结合人脸属性匹配函数、人脸图像生成函数以及属性分类函数，通过训练迭代优化，生成具有高逼真度并且保留人脸全局局部视觉及轮廓特性的人脸图像。
[0018]有益效果：
[0019]1)本专利技术通过保留去识别的人脸图像的更丰富细节来提高其效用，以生成高保真的去识别人脸图像，以便用于人脸识别模型的训练与应用，并确保其隐私属性不会被检测到，保证用户个人信息隐私不被泄露。
[0020]2)本专利技术在生成器和判别器之间的对抗学习过程中引入双重注意力机制，提出一种新颖的注意力
‑
生成对抗网络框架，通过更加稳健的对抗学习有效提升了生成模型的性能，所生成的去识别图像满足在保护用户隐私同时具有高度可用性和质量，有效应用于人脸识别模型的训练与使用。
[0021]3)本专利技术设计了循环一致性损失函数和多尺度重建像素损失函数，用于以协同方式训练人脸图像隐私保护模型，能够使网络更好地学习图像的像素间连续变化的模式，保证生成图像与真实图像之间的全局和局部质量的一致性，提高生成图像的纹理细节，增强具有隐私保护的合成人脸图像的真实性。
附图说明
[0022]图1为本专利技术方法流程图。
[0023]图2为本专利技术自注意力网络具体实施方式流程图。
[0024]图3为本专利技术空间注意力网络具体实施方式流程图。
具体实施方式
[0025]下面结合附图并举实施例，对本专利技术进行详细描述。
[0026]本专利技术提供了一种基于注意力与生成对抗网络的人脸图像隐私保护方法，如图1所示，包括以下步骤：
[0027]步骤1：构建自注意力感知生成网络，具体步骤如下：
[0028]1)属性提取与嵌入：选取人脸图像数据集(例如CelebA数据集、MORPH数据集或RaFD数据集)，采用预训练好的GoogleLeNet作为身份编码器，并将每张人脸图像分别输入编码器中，用于提取身份属性特征集X＝{X
id
,X
att
}，其中X
id
、X
att
分别表示身份属性和背景属性。身份属性嵌入的实现定义为Γ
id
:Z(X)
→
Z
id
(X
id
)，并与最终的全连接层(Fully Connected layer,FC)集成用于面部属性特征提取。为保留图像不同层次的细节信息，基于U
‑
Net
‑
like结构设计多尺度特征嵌入(Multi
‑
scale Feature Embedding Strategy,MFES)策略，生成用于特征集成的多尺度特征图策略，生成用于特征集成的多尺度特征图其中表示来自U
‑
Net
‑
like解码器的第n层特征图，k∈{1,
…
,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力与生成对抗网络的人脸图像隐私保护方法，其特征在于，包括以下步骤：步骤一、构建自注意力感知生成网络；步骤二、构建空间注意力引导判别网络；步骤三、确定注意力
‑
生成对抗网络优化目标函数；步骤四、训练注意力
‑
生成对抗网络，输出最后结果。2.如权利要求1所述的一种基于注意力与生成对抗网络的人脸图像隐私保护方法，其特征在于，步骤一具体为：为了能够完备保留生成人脸图像的细节信息，在提取的多尺度人脸特征基础上，通过计算多尺度人脸特征各个特征层之间的相关性的方法，计算各个特征层融合的加权系数，并结合自注意力机制模型，在多尺度融合特征基础上嵌入人脸性别、年龄的标签属性信息，生成具有全局及细节特征的人脸图像。3.如权利要求1所述的一种基于注意力与生成对抗网络的人脸图像隐私保护方法，其特征在于，步骤二具体为：通过对特征层的平均池化、最大池化运算，提取多尺度空间特征，并利用特征聚合运算实现空间特征图的生成，以此作为判别依据指导人脸后续判别...

【专利技术属性】
技术研发人员：沈博，王祥根，崔佳佳，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：