一种基于多尺度监督的深度伪造人脸图像检测方法和系统技术方案

本发明专利技术公开了一种基于多尺度监督的深度伪造人脸图像检测方法和系统，包括将ResNet50主干网络的残差卷积块提取的特征f

【技术实现步骤摘要】
一种基于多尺度监督的深度伪造人脸图像检测方法和系统


[0001]本专利技术涉及图像检测的
，尤其是一种基于多尺度监督的深度伪造人脸图 像检测方法和系统。

技术介绍

[0002]深度伪造人脸图像(deepfake)检测算法旨在利用区分出输入网络的人脸图像是 真实的还是伪造的，防止不良分子利用生成对抗网络生成的逼真图像去攻击人脸识别 系统。在过去的几年中，生成对抗网络生成的伪造从模糊逐渐到超高清，越来越逼真， 依靠人脸已经无法分辨图像的真伪性。因此，深度伪造人脸图像检测算法已经成为一 个热门的研究方向。生成对抗网络起初是用于生成新样本数据，来缓解收集样本的困 难。然而，随着生成对抗网络的迅速发展，生成对抗网络已经可以生成以假乱真的图 片，这导致生成的伪造图片可以破解人脸识别系统中的活体检测、人脸检索算法，因 此深度伪造人脸图像检测算法得到极大的关注。然而，目前的深度伪造人脸图像检测 算法通常是依靠海量的数据以及多样化的样本来使得卷积神经网络泛化到各种伪造 图像上，却忽略从卷积神经网络的本身去挖掘更多有用的特征信息或者增加更多的特 征约束，来得到鲁棒性更强的二分类模型。
[0003]目前的深度伪造人脸图像检测算法主要是以ResNet50(或者其它主流卷积神经网 络)为主干网络，在海量和多样化数据的支撑下，训练一个二分类的深度伪造人脸图 像检测算法。然而，仅仅依靠海量的数据，会导致算法在未知域上无法获取鲁棒且具 有判别力的特征，性能急剧下降。因此设计一个泛化性强的深度伪造人脸图像检测算 法仍然是一个挑战性任务。现有算法缺乏从网络本身去挖掘更多特征表示以及对网络 施加更多约束监督来提升模型的泛化性。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于多尺度监督的 深度伪造人脸图像检测方法和系统，以解决上述技术问题。
[0005]根据本专利技术的一个方面，提出了一种基于多尺度监督的深度伪造人脸图像检测方 法，包括：
[0006]S1：将ResNet50主干网络的残差卷积块提取的特征f
i
‑1通过1x1的卷积层扩充 通道数获得特征f
i
‑
1*
，特征f
i
通过转置卷积获得特征f
i*
，其中，主干网络包括4个主 要的残差卷积块，i＝2，3，4；
[0007]S2：将特征f
i
‑
1*
和特征f
i*
送入尺度监督函数获得对应尺度监督函数；
[0008]S3：将第四个残差卷积块输出的特征送入全局平均池化层，送入分类层进行真伪 图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练，结合尺度监督函 数和标签平滑正则化的交叉熵损失函数进行约束。
[0009]在一些具体的实施例中，特征f
i
的提取方式表示为f
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代 表
ResNet50第i个残差卷积块，x
i
代表输入的行人图像，θ
i
代表第i个特征提取过程 涉及的参数。
[0010]在一些具体的实施例中，S2中尺度监督函数其中，B 代表批处理大小，f
i
‑
1*
和f
i*
均为一个四维特征。
[0011]在一些具体的实施例中，S2中生成3个尺度监督函数，分别为L12，L23和L34。
[0012]在一些具体的实施例中，S3中标签平滑正则化的交叉熵损失函数其中ε∈[0，1]，K定义为类 别数，p(k)代表预测属于类别k的概率。
[0013]在一些具体的实施例中，S3中结合尺度监督函数和标签平滑正则化的交叉熵损 失函数进行约束具体表示为：整体损失函数失函数进行约束具体表示为：整体损失函数
[0014]根据本专利技术的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个 计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
[0015]根据本专利技术的第三方面，提出了一种基于多尺度监督的深度伪造人脸图像检测系 统，该系统包括：
[0016]特征处理单元，配置用于将ResNet50主干网络的残差卷积块提取的特征f
i
‑1通过 1x1的卷积层扩充通道数获得特征f
i
‑
1*
，特征f
i
通过转置卷积获得特征f
i*
，其中，主 干网络包括4个主要的残差卷积块，i＝2，3，4；
[0017]尺度监督单元，配置用于将特征f
i
‑
1*
和特征f
i*
送入尺度监督函数获得对应尺度监 督函数；
[0018]训练单元：配置用于将第四个残差卷积块输出的特征送入全局平均池化层，送入 分类层进行真伪图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练， 结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约束。
[0019]在一些具体的实施例中，特征f
i
的提取方式表示为f
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代 表ResNet50第i个残差卷积块，x
i
代表输入的行人图像，θ
i
代表第i个特征提取过程 涉及的参数；尺度监督函数其中，B代表批处理大小，f
i
‑
1*
和f
i*
均为一个四维特征，生成3个尺度监督函数，分别为L
12
，L
23
，L
34
。
[0020]在一些具体的实施例中，标签平滑正则化的交叉熵损失函数在一些具体的实施例中，标签平滑正则化的交叉熵损失函数其中ε∈[0，1]，K定义为类别数，p(k)代表预 测属于类别k的概率；结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约 束具体表示为：整体损失函数示为：整体损失函数
[0021]本专利技术提出了一种基于多尺度监督的深度伪造人脸图像检测方法和系统，利用 ResNet50不同阶段不同尺度特征进行聚合来提升特征的表示，并在不同尺度特征间 施加约束，即在特征层面使得不同尺度的特征在空间平面尽可能靠近，提升模型的泛 化性，在未知域的伪造人脸数据集上具有更好的鲁棒性。
附图说明
[0022]包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本 说明书的一部分。附图图示了实施例并且与描述一起用于解释本专利技术的原理。将容易 认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得 被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本 申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，包括：S1：将ResNet50主干网络的残差卷积块提取的特征f
i
‑1通过1x1的卷积层扩充通道数获得特征f
i
‑
1*
，特征f
i
通过转置卷积获得特征f
i*
，其中，所述主干网络包括4个主要的残差卷积块，i＝2,3,4；S2：将所述特征f
i
‑
1*
和所述特征f
i*
送入尺度监督函数获得对应尺度监督函数；S3：将第四个残差卷积块输出的特征送入全局平均池化层，送入分类层进行真伪图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练，结合尺度监督函数和所述标签平滑正则化的交叉熵损失函数进行约束。2.根据权利要求1所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述特征f
i
的提取方式表示为f
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代表ResNet50第i个残差卷积块，x
i
代表输入的行人图像，θ
i
代表第i个特征提取过程涉及的参数。3.根据权利要求1所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述S2中尺度监督函数其中，B代表批处理大小，f
i
‑
1*
和f
i*
均为一个四维特征。4.根据权利要求3所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述S2中生成3个尺度监督函数，分别为L
12
，L
23
和L
34
。5.根据权利要求4所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述S3中所述标签平滑正则化的交叉熵损失函数所述S3中所述标签平滑正则化的交叉熵损失函数其中ε∈[0,1]，K定义为类别数，p(k)代表预测属于类别k的概率。6.根据权利要求5所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述S3中结合尺度监督函数和所述标签平滑正则化的交叉熵损失函数进行约束具体表示为：整体...

【专利技术属性】
技术研发人员：陈婷婷，林国凤，陈明明，杨光，罗婷，叶学森，
申请(专利权)人：厦门华厦学院，
类型：发明
国别省市：