一种可逆的人脸匿名化处理系统技术方案

本发明专利技术属于图像处理技术，特别涉及一种可逆的人脸匿名化处理系统，包括特用于根据原始图像生成相互解耦的身份特征和属性特征的特征编码器；将图像的身份特征进行由一个秘钥控制的变换，得到匿名的身份特征的特征变换模块；用于将匿名的身份特征和属性特征重新拼接后通过多层感知器将重组的特征映射为一个符合StyleGAN隐空间分布的变量的特征映射模块；根据特征映射模块的输出进行图像生成的图像生成模块；对图像生成模块的输出进行微调修复的图像修复模块；本发明专利技术得到的匿名图像与原始图像有较大的差异，人眼无法识别出其原始的身份，且匿名化人脸与原始人脸在身份特征空间上保持了一定的距离，保证了隐私性。保证了隐私性。保证了隐私性。

【技术实现步骤摘要】
一种可逆的人脸匿名化处理系统


[0001]本专利技术属于图像处理技术，特别涉及一种可逆的人脸匿名化处理系统。

技术介绍

[0002]作为一种最直接暴露个人身份信息的可视媒体，人脸图像的隐私问题备受关注。全球知名的卡内基梅隆大学安全隐私实验室CyLab的一项最新调查研究表明，约89％的调查者对人脸识别技术持负面或保守态度，仅11％的用户表示支持，而绝大多数反对声音均来自人脸识别技术中潜在的个人隐私风险。
[0003]在人脸匿名化技术方面，现有技术可分为：1、传统人脸匿名化方法，使用图像模糊化滤波如高斯滤波和中值滤波、马赛克、频域变化等技术实现匿名化；2、使用对抗样本方法实现匿名化，使用神经网络在人脸图像中添加人脸难以识别的对抗扰动，会导致神经网络模型以高置信度给出一个错误的输出，从而实现匿名化。
[0004]目前针对人脸图像视觉信息的隐私保护研究虽然已经取得诸多成果，但仍存在一些不足，匿名化人脸的视觉质量有待提高，现有的技术更多侧重匿名化的目标，而缺乏对匿名化图像可用性的考量，如身份识别问题。此外，更重要的是，现有的技术采用相对简单的变换机制，缺乏安全性与图像恢复问题的考虑，即可逆性问题，没有考虑匿名化图像可逆变换回原图像的问题，在面对需要可逆变换的场景如监管部门要求恢复原始图像时无能为力。

技术实现思路

[0005]为了有效保护人脸面部身份隐私，同时保留机器对隐私保护图像身份匹配能力的人脸匿名化处理，本专利技术提出一种可逆的人脸匿名化处理系统，该系统包括特征编码器、特征变换模块、特征映射模块、图像生成模块以及图像修复模块构成的匿名人脸图像生成网络，其中：
[0006]特征编码器，用于根据原始图像生成相互解耦的身份特征和属性特征；
[0007]特征变换模块，将图像的身份特征进行由一个秘钥控制的变换，得到匿名的身份特征；
[0008]特征映射模块，用于将匿名的身份特征和属性特征重新拼接后通过多层感知器将重组的特征映射为一个符合StyleGAN隐空间分布的变量；
[0009]图像生成模块，用于将一个符合StyleGAN隐空间分布的变量输入一个预训练的StyleGAN生成匿名化图像；
[0010]图像修复模块，用于使用跨域图像换脸中的联合微调网络JR
‑
Net将原始图像的人脸背景信息与StyleGAN生成人脸图像进行融合，并基于一个编解码结构将解耦的属性特征作为风格信息通过AdaIN残差模块注入图像生成过程，得到修复图像。
[0011]进一步的，匿名人脸图像生成网络在训练时分为两个阶段，在第一个阶段对特征编码器和特征映射模块进行学习，特征编码器包括身份特征编码器和属性特征编码器，其
中身份特征编码器器采用预训练的编码器，将原始图像输入身份特征编码器提取原始图像的身份特征，将目标图像输入属性特征提取器提取目标图像的属性特征，原始图像和目标图像是两张相同或者不同的图像，将原始图像的身份特征和目标图像的属性特征拼接在一起后通过特征映模块进行特征映射，对特征编码器的属性特征提取模块和特征映射模块，以特征编码器和属性特征编码器提取的身份特征和属性特征拼接后通过特征映射模块重组为一个符合StyleGAN隐空间分布的变量为目标进行优化；完成第一阶段训练后，基于已构建的特征编码器与特征映射模块，将特征映射模块输出的特征作为一个预训练StyleGAN的输入，StyleGAN输出得到匿名图像，将匿名图像输入图像修复模块，得到修复图像，在此过程中以生成更高质量的重建图像为目标对图像修复模块进行优化。
[0012]进一步的，在第一阶段的训练时引入一个判别器，用于判别图像生成模块的输出是否符合StyleGAN的隐空间的分布，训练过程包括：
[0013]利用非对抗损失对特征编码器进行训练；
[0014]然后采用非饱和损失函数计算判别器的损失，并对判别器进行优化；
[0015]接着计算特征映射模块的损失函数，利用该损失函数对特征映射模块进行优化；
[0016]重复以上训练过程，直到达到最大训练次数或者损失函数收敛。
[0017]进一步的，特征编码器进行训练过程中采用的非对抗损失表示为：
[0018][0019][0020][0021][0022]其中，E
ID
(
·
)表示特征提取模型提取出的图像身份特征，I
S
表示原图像，I
T
表示目标图像，表示特征映射模块输出的图像；LDM(
·
)表示利用预训练的人脸关键点提取器从某一中提取人脸关键点；表示求两个图像之间深度感知损失LPIPS与L1损失的加权和；||
·
||2表示L2损失函数；；λ1、λ2、λ3分别为分别为和的权重。
[0023]进一步的，采用非饱和损失函数计算判别器的损失的过程包括：
[0024][0025]其中，E[
·
]表示求期望值；D
w
(
·
)为用于判断是否符合符合StyleGAN隐空间分布的判别器，w表示特征映射模块的输出；表示z
ID
和z
Attr
的数学期望；M(
·
)表示特征映射模块；z
ID
表示身份特征；z
Attr
表示属性特征；γ表示权值；表示对特征映射模块的输出w求梯度；||
·
||2表示L2损失函数。
[0026]进一步的，特征映射模块的损失函数表示为：
[0027][0028]其中，E[
·
]表示求期望值；为用于判断是否符合符合StyleGAN隐空间分布的判别器；M(
·
)表示特征映射模块；z
ID
表示身份特征；z
Attr
表示属性特征。
[0029]进一步的，对图像修复模块进行训练的损失函数包括：
[0030][0031][0032][0033]其中，表示图像修复模块的损失函数；I
S
表示原图像；E
ID
(
·
)表示身份特征提取器，表示图像修复模块输出的图像；表示GAN网络的图像感知损失(perceptual loss)，ID(
·
)表示身份信息；BG(
·
)表示预训练的人脸背景分割模型；表示图像与目标图像I
T
之间风格与纹理相似度的上下文损失(Contextual Loss)；||
·
||2表示L2损失函数；λ3、λ4分别为的权重。
[0034]进一步的，特征转换模块对输入的原始特征向量上添加一个由密钥控制的扰动向量以实现身份特征在特征空间的类间迁移，得到匿名身份特征向量，该过程称为正变换；在需要验证身份信息时，从匿名化图像中提取匿名的身份特征，从匿名的身份特征中减去与正变换相同的扰动向量，得到原始身份特征向量，该过程称为逆变换；正变化与逆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可逆的人脸匿名化处理系统，其特征在于，包括特征编码器、特征变换模块、特征映射模块、图像生成模块以及图像修复模块构成的匿名人脸图像生成网络，其中：特征编码器，用于根据原始图像生成相互解耦的身份特征和属性特征；特征变换模块，将图像的身份特征进行由一个秘钥控制的变换，得到匿名的身份特征；特征映射模块，用于将匿名的身份特征和属性特征重新拼接后通过多层感知器将重组的特征映射为一个符合StyleGAN隐空间分布的变量；图像生成模块，用于将一个符合StyleGAN隐空间分布的变量输入一个预训练的StyleGAN生成匿名化图像；图像修复模块，用于使用跨域图像换脸中的联合微调网络JR
‑
Net将原始图像的人脸背景信息与StyleGAN生成人脸图像进行融合，并基于一个编解码结构将解耦的属性特征作为风格信息通过AdaIN残差模块注入图像生成过程，得到修复图像。2.根据权利要求1所述的一种可逆的人脸匿名化处理系统，其特征在于，匿名人脸图像生成网络在训练时分为两个阶段，在第一个阶段对特征编码器和特征映射模块进行学习，特征编码器包括身份特征编码器和属性特征编码器，其中身份特征编码器器采用预训练的编码器，将原始图像输入身份特征编码器提取原始图像的身份特征，将目标图像输入属性特征提取器提取目标图像的属性特征，原始图像和目标图像是两张相同或者不同的图像，将原始图像的身份特征和目标图像的属性特征拼接在一起后通过特征映模块进行特征映射，对特征编码器的属性特征提取模块和特征映射模块，以特征编码器和属性特征编码器提取的身份特征和属性特征拼接后通过特征映射模块重组为一个符合StyleGAN隐空间分布的变量为目标进行优化；完成第一阶段训练后，基于已构建的特征编码器与特征映射模块，将特征映射模块输出的特征作为一个预训练StyleGAN的输入，StyleGAN输出得到匿名图像，将匿名图像输入图像修复模块，得到修复图像，在此过程中以生成更高质量的重建图像为目标对图像修复模块进行优化。3.根据权利要求2所述的一种可逆的人脸匿名化处理系统，其特征在于，在第一阶段的训练时引入一个判别器，用于判别图像生成模块的输出是否符合StyleGAN的隐空间的分布，训练过程包括：利用非对抗损失对特征编码器进行训练；然后采用非饱和损失函数计算判别器的损失，并对判别器进行优化；接着计算特征映射模块的损失函数，利用该损失函数对特征映射模块进行优化；重复以上训练过程，直到达到最大训练次数或者损失函数收敛。4.根据权利要求3所述的一种可逆的人脸匿名化处理系统，其特征在于，特征编码器进行训练过程中采用的非对抗损失表示为：行训练过程中采用的非对抗损失表示为：行训练过程中采用的非对抗损失表示为：
其中，E
ID
(
·
)表示特征提取模型提取出的图像身份特征，I
S
表示原图像，I
T
表示目标图像，表示特征映射模块输出的图像；LDM(
·
)表示利用预训练的人脸关键点提取器从某一中提取人脸关键点；表示求两个图像之间深度感知损失LPIPS与L1损失的加权和；||
·
||2表示L2损失函数；λ1、λ2、λ3分别为和的权重。5.根据权利要求3所述的一种可逆的人脸匿名化处理系统，其特征在于，采用非饱和损失函数计算判别器的损失的过程包括：其中，E[
·
]表示求期望值；为用于判断是否符合符合StyleGAN隐空间分布的判别器，w表示特征映射模块的输出；表示z
ID
和z
Attr
的数学期望；M(
·
)表示特征映射模块；z
ID<...

【专利技术属性】
技术研发人员：李红波，刘林国，袁霖，高新波，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：