一种基于积极扰动的制造技术

本发明专利技术公开了一种基于积极扰动的

【技术实现步骤摘要】
一种基于积极扰动的Deepfake人脸检测方法


[0001]本专利技术属于
Deepfake
人脸图像检测
，涉及一种基于积极扰动的
Deepfake
人脸检测方法
。

技术介绍

[0002]目前，
Deepfakes
技术被滥用来制作虚假信息和假新闻，犯罪分子可以使用
Deepfakes
技术制作逼真的虚假视频，以误导和欺骗受害者，从而进行网络诈骗
、
身份盗窃或其他违法活动
。
为了维护信息可信度
、
保护个人隐私和社会稳定，
Deepfakes
检测的研究受到了人们的广泛重视，其中卷积神经网络
(CNN)
在
Deepfakes
人脸分类任务中取得了巨大的成功
。
然而，研究表明神经网络容易受到微小的扰动
。
当输入干扰图像时，神经网络会做出不同的判断
。
大多数研究利用扰动的负面影响来误导神经网络，例如对抗样本
。2018
年，
Xiao
等提出了对抗样本生成网络
AdvGAN
，这是一种基于
GAN
的对抗攻击
[Xiao C,Li B,Zhu J Y,et al.Generating adversarial examples with adversarial networks[J].arXiv preprint arXiv:1801.02610,2018.]。
该网络包括生成器
、
鉴别器和目标分类器三个部分，主要是通过原始样本来生产对抗性扰动，接着将该扰动添加到原始样本上得到对抗性样本
。
鉴别器用于判断输入样本是否是对抗样本，从而帮助生成器生成更加真实且更具攻击性的对抗样本
。
为了实现有针对性的攻击，将从生成器得到的对抗样本输入到目标分类器中得到其预测标签，并将生成样本类别作为目标类别
。
通过这种方式，攻击者可以利用对抗样本攻击来干扰目标分类器的准确性，使其产生误分类，而生成的对抗样本对于测试和评估分类器的鲁棒性和安全性非常重要，同时也有助于改进分类器的鲁棒性，以提高其对抗攻击的抵抗能力
。2019
年，
Mangla
等在
AdvGAN
的基础上进行优化并提出了
AdvGAN++[Mangla P,Jandial S,Varshney S,et al.AdvGAN++:Harnessing latent layers for adversary generation[J].arXiv preprint arXiv:1908.00706,2019.]。
该网络包含生成器
、
鉴别器
、
目标分类器和特征提取器四个部分，主要是使用目标分类器中的中间卷积层进行特征提取，并将提取到的特征和随机噪声作为生成器的输入来生成对抗样本，接着将对抗样本输入到鉴别器中判别其是否是对抗样本，通过求解最小
‑
最大化博弈来获得生成器和鉴别器的最优参数
。
最后，将对抗样本输入到目标分类器中，通过优化目标损失函数来约束预测标签来接近目标标签
。
[0003]相比于利用扰动的负面影响来误导神经网络的分类，
Wu
等提出了增强样本生成对抗网络
ESGAN。
该网络旨在利用扰动的积极影响来引导神经网络进行分类，进一步提高分类器的分类性能
[Wu J,Wang J,Zhao J,et al.ESGAN for generating high quality enhanced samples[J].Multimedia Systems,2022,28(5):1809
‑
1822.]。
该方法同样包含生成器
、
鉴别器和分类器三个部分，主要是通过原始样本来生产积极扰动，接着将积极扰动添加到高分辨率的原始样本上得到增强样本
。
鉴别器用于判断输入样本是否是生成样本，学习增强样本和真实样本之间的差异，帮助生成器生成更高质量的增强样本
。
最后，将增强样本输入到分类器中，通过优化目标函数来使预测标签更接近其真实标签，从而达到使用
积极扰动引导分类器进行正确分类的目的
。
但是，该网络只在粗粒度图像分类方面有不错的提升效果，在
Deepfake
人脸图像检测等细粒度图像分类任务方面的提升却不尽人意
。
[0004]基于上述的分析，可以发现现有的对抗样本研究都是利用扰动的负面影响来对分类器进行误导，很少有人使用扰动的积极影响来帮助分类器获得更好的检测效果
。
而那些少数使用积极扰动来生成增强样本的方法，在细粒度图像分类方面对分类器却没有较好的性能提升
。
因此，在
Deepfake
人脸检测任务方面，还没有使用积极扰动生成的增强样本来提升检测器准确性的方法
。

技术实现思路

[0005]为了解决上述
技术介绍
中提到的问题，本专利技术提供一种基于积极扰动的
Deepfake
人脸检测方法，利用积极扰动的正面影响来引导分类器提升对属于细粒度分类任务的
Deepfake
人脸检测的性能
。
[0006]本专利技术采用的技术方案为：
[0007]第一方面，本专利技术提供一种基于积极扰动的
Deepfake
人脸检测方法，包括：
[0008]将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；其中所述生成器网络包括超分辨率网络和噪声网络两个子网络；
[0009]将所述生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；
[0010]其中所述生成器网络的构建训练方法包括：
[0011]构建生成器网络
、
特征鉴别器网络和真伪鉴别网络；其中所述特征鉴别器包括真实图像特征鉴别器和伪造图像特征鉴别器；
[0012]设置训练生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数；
[0013]利用真假人脸图像对训练数据集对生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络，具体包括：
[0014]输入真假人脸图像对训练数据集作为原始图像，结合生成器网络的总损失函数，将积极扰动加入到输入的原始图像中，由生成器网络得到带有积极扰动的生成图像；其中，所述原始图像包括对应的原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于积极扰动的
Deepfake
人脸检测方法，其特征在于，所述方法包括：将目标人脸图像输入训练好的生成器网络进行积极扰动的添加，得到带有积极扰动的生成图像；其中所述生成器网络包括超分辨率网络和噪声网络两个子网络；将所述生成图像输入真伪鉴别网络进行检测，输出目标人脸图像的预测标签，确定目标人脸图像的检测结果；其中所述生成器网络的构建训练方法包括：构建生成器网络
、
特征鉴别器网络和真伪鉴别网络；其中所述特征鉴别器包括真实图像特征鉴别器和伪造图像特征鉴别器；设置训练生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数；利用真假人脸图像对训练数据集，对生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络进行迭代训练，直至生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络，具体包括：输入真假人脸图像对训练数据集作为原始图像，结合生成器网络的总损失函数，将积极扰动加入到输入的原始图像中，由生成器网络得到带有积极扰动的生成图像；其中，所述原始图像包括对应的原始真图和原始假图；所述生成图像包括对应的生成真图和生成假图；将生成图像和原始图像输入预训练好的真伪鉴别网络中进行特征提取，再将真伪鉴别网络提取得到的两者的特征输入特征鉴别器中鉴别，所述特征鉴别器用于帮助生成器生成更符合要求的生成图像；计算真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数，更新真实图像特征鉴别器和伪造图像特征鉴别器网络参数，使得特征鉴别器学习到原始图像特征和生成图像特征的区别；计算生成器网络中的总损失函数，更新生成器网络参数，使得生成器生成更符合要求的生成图像；迭代执行上述步骤，直至生成器网络
、
真实图像特征鉴别器和伪造图像特征鉴别器网络的损失函数均达到对应的预设要求，得到训练好的生成器网络
。2.
根据权利要求1所述基于积极扰动的
Deepfake
人脸检测方法，其特征在于，所述生成器网络的构建方法，包括：所述超分辨率网络，通过超分辨率方法生成与原始图像大小相同但分辨率更高的图像；首先通过2个卷积层的编码器提取图像特征同时进行下采样；接着，采用8个各带有两个卷积层的残差模块，每个残差模块依次包括第一卷积层
、ReLU
和第二卷积层，加深网络层数的同时又避免了退化问题；经过最后一个残差模块之后通过一个卷积层将特征输入上采样模块，所述上采样模块包括一个像素
Shuffle
操作放大分辨率和一个反卷积操作进行上采样；所述噪声网络，通过编码器解码器结构来生成噪声图像，通过损失函数的控制来达到生成积极扰动的效果；首先通过包含4个卷积层的编码器来提取特征，每个卷积层后面都包含实例归一化和
ReLU
；接着，堆叠4个残差模块来增强编码器的表示能力并提取更丰富的特征信息；然后解码器包含4个反卷积操作来进行上采样并生成与原始图像大小相同的积极扰动，前3个反卷积操作之后都包含实例归一化和
ReLU
，最后一个反卷积操作之后是一个
Tanh
激活函数；
将输入的人脸图像经过超分辨率网络和噪声网络，分别得到超分辨率图像和噪声图像，将超分辨率图像和噪声图像进行通道拼接并使用1×1卷积来将噪声添加融合到超分辨率图像上，得到含有积极扰动的生成图像
。3.
根据权利要求1所述基于积极扰动的
Deepfake
人脸检测方法，其特征在于，所述真伪鉴别网络用于对生成图像进行检测分类，帮助生成器能更好地生成符合要求的生成图像；在训练生成器网络之前，所述真伪鉴别网络为利用
Deepfake
人脸数据集预先训练好的；所述真伪鉴别网络选自
Xception、VGG19、EfficientNet、Inception。4.
根据权利要求3所述基于积极扰动的
Deepfake
人脸检测方法，其特征在于，所述真伪鉴别网络采用
Xception
真伪鉴别网络；
Xception
真伪鉴别网络首先包含两个卷积层，每个卷积层后都包含
BN
层和
ReLU
，之后的特征进行
clone
操作作为浅层特征在
forward
中返回；接着，采用包含
12
个带有深度可分离卷积的块增加网络的表示能力；随后，真伪鉴别网络使用两个深度可分离卷积，第一个深度可分离卷积后面有
BN
层和
ReLU,
第二深度可分离卷积后面有一个
BN
层，之后的特征作为深层特征在
forward
中返回；真伪鉴别网络的最后是一个
logits
模块，该
logits
模块首先进行
ReLU
对深层特征进行非线性变化，接着是一个自适应平均池化，最后
logits
模块调整特征形状后将其输入一个全连接层得到分类结果
。5.
根据权利要求1所述基于积极扰动的
Deepfake
人脸检测方法，其特征在于，所述特征鉴别器网络包含两个结构相同的子特征鉴别器，分别是真实图像特征鉴别器和伪造图像特征鉴别器；其中真实图像特征鉴别器用于区别原始真图特征和生成真图特征，伪造图像特征鉴别器用于区别原始假图特征和生成假图特征；通过学习原始图像特征和生成图像特征的区别，帮助生成器能更好地生成更像原始图像的生成图像；真实图像特征鉴别器和伪造图像特征鉴别器中均包括三个卷积层，第一个卷积层后面有一个
LeakyReLU
，第二个卷积层和第三个卷积层后面都有一个
BN
层和
LeakyReLU
；将通过真伪鉴别网络得到的图像特征输入特征鉴别器，得到该图像特征是否是生成图像特征或原始图像特征的预测标签
。6.
根据权利要求1所述基于积极扰动的
Deepfa...

【专利技术属性】
技术研发人员：陈北京，岳鹏飞，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：