基于可逆神经网络技术的人脸隐私面具可逆保护方法技术

本发明专利技术涉及基于可逆神经网络技术的人脸隐私面具可逆保护方法，与现有技术相比解决了针对人脸隐私保护的不可感知性和可逆性的缺陷。本发明专利技术包括以下步骤：原始人脸图像的获取；可逆面具网络的构建；可逆面具网络的训练；待保护人脸图像的获取；人脸隐私面具的生成；人脸隐私面具的卸除。本发明专利技术利用Mask

【技术实现步骤摘要】
基于可逆神经网络技术的人脸隐私面具可逆保护方法


[0001]本专利技术涉及图像隐私处理
，具体来说是基于可逆神经网络技术的人脸隐私面具可逆保护方法。

技术介绍

[0002]计算机视觉技术已广泛应用于视觉识别等任务中，所有这些技术在给人们的日常生活带来极大便利的同时，也带来了巨大的风险。大量原始照片和视频被上传到云端或发送给第三方进行分析和识别任务，其中还包括面部信息。然而，人脸信息是一种敏感信息，包含了大量的个人信息，如果不小心保护，高度敏感的面部信息很容易被第三方或攻击者访问和非法使用。保护这些数据的隐私，需要一种能够在执行传统计算机视觉技术应用的同时确保面部信息安全的技术。
[0003]在以前的研究中，原始人脸隐私保护方法是通过使用超像素、模糊、高斯噪声、边缘和低分辨率等方法对原始人脸进行不可逆处理来实现的。然而，原始的人脸隐私保护方法都是针对人脸语义信息的缺失，不能保证原始人脸信息的可重用性。随着深度学习技术的发展，GAN应运而生并不断发展，人脸隐私保护领域的研究人员开始关注于GAN。Ren等人提出学习匿名化人脸以保护隐私的动作检测，视频人脸匿名器对动作检测器的影响最小；Maximov等人提出了CIAGAN，一种基于条件生成对抗网络的图像和视频匿名化模型；You等人提出了一种新颖的可逆人脸隐私保护方案，将人脸信息匿名化并在需要时恢复原始人脸信息。
[0004]通过对已有人脸隐私保护方法的分析可以发现，这些现有的人脸隐私保护方法仅保留用于计算机视觉任务的语义信息，但在上传之前永久破坏原始人脸信息，从而防止第三方和合法用户访问原始人脸信息，而且几乎所有这些方法都不能完全恢复原始人脸。事实上，由于模糊的脸是不自然和可感知的，它更容易被攻击者注意到。
[0005]此外，在某些应用中，我们希望模糊的人脸能够被察觉并且需要恢复原始的受保护人脸。例如，在社交平台上，许多人喜欢记录自己的生活并分享自己的照片，他们希望照片看起来自然，而不会将面部隐私泄露给未经授权的人，他们还希望原始面部可以显示给朋友授权的人(朋友或家人等)。如果在视频监控中抓获罪犯，在保护隐私后罪犯的原始面部也需要恢复。
[0006]因此，实际应用中存在两个问题需要解决。一是如何实现人脸隐私保护的不可感知性，即如何很自然地隐藏被保护的人脸；二是如何实现可逆性，即被遮挡的图像可以很好地恢复到被保护的人脸上。

技术实现思路

[0007]本专利技术的目的是为了解决现有技术中针对人脸隐私保护的不可感知性和可逆性的缺陷，提供一种基于可逆神经网络技术的人脸隐私面具可逆保护方法来解决上述问题。
[0008]为了实现上述目的，本专利技术的技术方案如下：
[0009]一种基于可逆神经网络技术的人脸隐私面具可逆保护方法，包括以下步骤：
[0010]原始人脸图像的获取：获取原始受保护人脸图像，并组成训练数据集；
[0011]可逆面具网络的构建：基于可逆神经网络构建可逆面具网络；
[0012]可逆面具网络的训练：将训练数据集输入可逆面具网络进行训练；
[0013]待保护人脸图像的获取：获取待保护的人脸图像；
[0014]人脸隐私面具的生成：将待保护的人脸图像输入训练后的可逆面具网络，生成带有面具的人脸图像；
[0015]人脸隐私面具的卸除：将带有面具的人脸图像输入训练后的可逆面具网络，卸除人脸隐私面具。
[0016]所述可逆面具网络的构建包括以下步骤：
[0017]设定可逆面具网络包含2个子模块，为Mask
‑
Net模块、可逆嵌入网络；
[0018]设定Mask
‑
Net模块包含四个模块：编码器、ID注入模块、解码器和面部增强模块，其结构设定如下：
[0019]设定编码器的输入为受保护人脸，经过编码器对受保护人脸进行编码，输出编码后的受保护人脸；
[0020]设定ID注入模块的输入为编码后的受保护人脸和源脸的身份信息，其在特征层面将源脸的身份信息迁移到编码后的受保护人脸；
[0021]设定通过解码器获得初步生成的面具人脸；
[0022]设定利用面部增强模块对初步生成的面具人脸进行超分辨率重建，生成面具人脸；
[0023]设定可逆嵌入网络包括前向过程、后向过程及其损失函数，其中前向过程与后向过程的结构相同；
[0024]设定前向过程包含三个步骤：DWT、前向嵌入网络、IWT；设定后向部分包含三个步骤：DWT、后向恢复网络、IWT；其中，DWT用于将图像的时域特征转化为频域特征，IWT用于将频域特征恢复为图像；
[0025]设定前向嵌入网络，前向嵌入网络由N个嵌入块级联而成；
[0026]设定后向恢复网络，后向恢复网络由N个恢复块级联而成；
[0027]设定可逆嵌入网络的整体LOSS函数，
[0028]定义嵌入损失函数如下：
[0029][0030]其中，等价于θ是网络参数，T是训练样本数，是用于衡量戴上面具人脸x
Masked
和面具人脸x
Mask
之间的差异，L
Embedding
(θ)代表嵌入损失；
[0031]定义恢复损失函数如下：
[0032][0033]其中，恢复人脸等价于等价于表示恢复过程，χ是
n的分布，T是训练样本数，表示恢复人脸x
Recovered
和受保护人脸 x
Protected
之间的差异，L
Recovering
(θ)代表恢复损失；
[0034]定义低频小波损耗如下：
[0035][0036]其中，H()
LL
代表着低频子带，代表着戴上面具人脸x
Masked
的低频子带和面具人脸x
Mask
的低频子带之间的差异，T是训练样本数， L
low
‑
frequency
(θ)代表低频损失；
[0037]定义总损失L
Total
为嵌入损失L
Embedding
、恢复损失L
Recovering
和低频损失L
low
‑
frequency
三者的权重和，其表达式如下：
[0038]L
Total
＝λ1L
Embedding
+λ2L
Recovering
+λ3L
low
‑
frequency
[0039]其中λ1、λ2和λ3用于平衡不同损失函数的权重。
[0040]所述可逆神经网络的训练包括以下步骤：
[0041]训练参数设置：设定学习率为0.00001、权重衰减为1000、批量大小为16 个样本、循环次数为10000次；
[0042]将训练数据集输入Mask
‑
Net模块，输出面具人脸；
...

【技术保护点】

【技术特征摘要】
1.一种基于可逆神经网络技术的人脸隐私面具可逆保护方法，其特征在于，包括以下步骤：11)原始人脸图像的获取：获取原始受保护人脸图像，并组成训练数据集；12)可逆面具网络的构建：基于可逆神经网络构建可逆面具网络；13)可逆面具网络的训练：将训练数据集输入可逆面具网络进行训练；14)待保护人脸图像的获取：获取待保护的人脸图像；15)人脸隐私面具的生成：将待保护的人脸图像输入训练后的可逆面具网络，生成带有面具的人脸图像；16)人脸隐私面具的卸除：将带有面具的人脸图像输入训练后的可逆面具网络，卸除人脸隐私面具。2.根据权利要求1所述的基于可逆神经网络技术的人脸隐私面具可逆保护方法，其特征在于，所述可逆面具网络的构建包括以下步骤：21)设定可逆面具网络包含2个子模块，为Mask
‑
Net模块、可逆嵌入网络；22)设定Mask
‑
Net模块包含四个模块：编码器、ID注入模块、解码器和面部增强模块，其结构设定如下：221)设定编码器的输入为受保护人脸，经过编码器对受保护人脸进行编码，输出编码后的受保护人脸；222)设定ID注入模块的输入为编码后的受保护人脸和源脸的身份信息，其在特征层面将源脸的身份信息迁移到编码后的受保护人脸；223)设定通过解码器获得初步生成的面具人脸；224)设定利用面部增强模块对初步生成的面具人脸进行超分辨率重建，生成面具人脸；23)设定可逆嵌入网络包括前向过程、后向过程及其损失函数，其中前向过程与后向过程的结构相同；231)设定前向过程包含三个步骤：DWT、前向嵌入网络、IWT；设定后向部分包含三个步骤：DWT、后向恢复网络、IWT；其中，DWT用于将图像的时域特征转化为频域特征，IWT用于将频域特征恢复为图像；232)设定前向嵌入网络，前向嵌入网络由N个嵌入块级联而成；233)设定后向恢复网络，后向恢复网络由N个恢复块级联而成；234)设定可逆嵌入网络的整体LOSS函数，定义嵌入损失函数如下：其中，等价于θ是网络参数，T是训练样本数，是用于衡量戴上面具人脸x
Masked
和面具人脸x
Mask
之间的差异，L
Embedding
(θ)代表嵌入损失；定义恢复损失函数如下：
其中，恢复人脸等价于等价于表示恢复过程，χ是n的分布，T是训练样本数，表示恢复人脸x
Recovered
和受保护人脸x
protected
之间的差异，L
Recovering
(θ)代表恢复损失；定义低频小波损耗如下：其中，H()
LL
代表着低频子带，代表着戴上面具人脸x
Masked
的低频子带和面具人脸x
Mask
的低频子带之间的差异，T是训练样本数，L
low
‑
frequency
(θ)代表低频损失；定义总损失L
Total
为嵌入损失L
Embedding
、恢复损失L
Recovering
和低频损失L
low
‑
frequency
三者的权重和，其表达式如下：L
Total
＝λ1L
Embedding
+λ2L
...

【专利技术属性】
技术研发人员：杨杨，时铭，黄一洋，
申请(专利权)人：安徽大学，
类型：发明
国别省市：