基于视觉对抗重构的DeepFake防御方法和系统技术方案

本发明专利技术提出基于视觉对抗重构的DeepFake防御方法和系统。其中，方法包括：两阶段方法。在第一阶段，将真实人脸数据转化为潜在编码，它能够通过一个生成器逼真地重建真实图像。将这个问题看做GAN的逆向问题，训练一个编码器来生成潜在嵌入，将其作为初始化，然后再对其进行微调。在第二阶段，在第一阶段获得的潜在嵌入的临近域中搜索，以获得最优嵌入，该嵌入可以产生完美的重建并且使DeepFake失效。此过程中，潜在嵌入使用来自目标DeepFake模型的梯度信息进行优化，并限制在一个小的修改范围中，以满足视觉相似性要求。以满足视觉相似性要求。以满足视觉相似性要求。

【技术实现步骤摘要】
基于视觉对抗重构的DeepFake防御方法和系统


[0001]本专利技术属于DeepFake 防御领域，尤其涉及基于视觉对抗重构的DeepFake防御方法和系统。

技术介绍

[0002]随着复杂的图像和视频合成技术的出现，尤其是生成对抗网络 (Generative adversarial network, GAN)~\cite{goodfellow2014generative}，生成高质量、令人信服的假视频变得越来越容易。 DeepFake~\cite{choi2018stargan,karras2019style,karras2020analyzing}是一种新的合成视频流派，其中主体的面部被修改为目标面部，以在特定环境中模拟目标主体，并创建令人信服的真实事件视频。为此，应制定有效措施打击此类DeepFake，以保护的个人安全和隐私。
[0003]现有的 DeepFake 防御技术主要侧重于被动检测，即利用生成后的假脸中的伪影对其进行检测。具体来说，给定一张人脸图像，DeepFake 检测器提取各种有效特征，并根据这些特征将图片分类为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉对抗重构的DeepFake防御方法，其特征在于，所述方法包括：步骤S1、准备人脸数据集；人脸生成器，记做G(
•
)；步骤S2、设计一个人脸编码器，记做E(
•
)；设计一个人脸判别器，记做D(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码z0为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z；步骤S3、以所述隐空间编码z为中心，在所述隐空间编码z的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z
’
；设计保护人脸图像的内容的面部内容目标函数和保护人脸图像的身份信息的身份信息目标函数，对近邻域隐空间编码z
’
进行优化搜索，得到优化后的隐空间编码z
*
；步骤S4、将所述优化后的隐空间编码z
*
输入人脸生成器，重构图像。2.根据权利要求1所述的一种基于视觉对抗重构的DeepFake防御方法，其特征在于，在所述步骤S2中，所述人脸编码器E(
•
)的训练目标函数为：其中，θ
E
为所述人脸编码器E(
•
)的优化参数，V(
•
)是VGG神经网络，为数学期望，表示二范数距离，P为真实人脸图像分布，λ
vgg
和λ
adv
表示人为设定的超参数。3.根据权利要求1所述的一种基于视觉对抗重构的DeepFake防御方法，其特征在于，在所述步骤S2中，所述人脸判别器D(
•
)的训练目标函数为：其中，θ
D
为所述人脸判别器D(
•
)的优化参数，
∇
x
表示对x的梯度，为数学期望，表示二范数距离，P为真实人脸图像分布，λ
reg
为人为设定的超参数。4.根据权利要求2所述的一种基于视觉对抗重构的DeepFake防御方法，其特征在于，在所述步骤S2中，所述以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调的训练目标函数为：其中，z为隐空间编码，表示二范数距离。5.根据权利要求1所述的一种基于视觉对抗重构的DeepFake防御方法，其特征在于，在所述步骤S3中，所述面部内容目标函数为：其中，z
’
为近邻域隐空间编码，表示二范数距离，F(
•
...

【专利技术属性】
技术研发人员：董晶，王伟，彭勃，何子文，项伟，谭铁牛，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：