人脸图像的深度伪造检测方法技术

本发明专利技术属于图像处理领域，公开了一种人脸图像的深度伪造检测方法

【技术实现步骤摘要】
人脸图像的深度伪造检测方法、系统、设备及介质


[0001]本专利技术属于图像处理领域，涉及一种人脸图像的深度伪造检测方法
、
系统
、
设备及介质
。

技术介绍

[0002]基于深度学习的深度伪造技术
(DeepFake)
通过篡改或替换原始视频的人脸信息误导人们相信视频中的虚假言行，这对侵犯隐私
、
制造虚假言论以及扰乱国家安全构成了新的威胁
。
为了防御这种威胁，近年来研究人员提出了许多深度伪造检测方法，包括基于特定伪像的检测方法和基于深度表征的检测方法
。
[0003]基于特定伪像的深度伪造检测方法通常利用现有的深度伪造数据先验知识来预定义特定伪像，并进一步生成相应的监督信息，这种补充监督信息可以作为二值图像级监督信息的替代或补充，为深度伪造检测器的学习提供指导
。
例如，在之前的研究中，异常生物特征伪像
、
混合操作导致的区域不一致伪像及跨模态不一致伪像曾被用来作为特定伪像监督检测器学习真实和虚假面部图像之间的差异
。
相比之下，基于深度表征的方法通常通过在大规模深度伪造数据集上训练深度学习网络的方式让网络自动学习并提取判别性特征，这类方法可以结合空间频率信号
、
注意力机制和其他学习策略进行表征学习
。
尽管现存的深度伪造检测方法在域内测试场景中取得了优异的性能，但面对跨域分布的未见过的测试数据时，性能通常会有显著下降
>。
因此，检测器的泛化能力成为人们的关注重点
。
[0004]最近的研究表明深度伪造检测器的泛化能力较差是因为其往往会过拟合于面部图像的局部区域，因而缺乏对虚假样本的全面认识
。
现有研究目前主要从两个方面减轻这种不良影响
。
一方面，在训练阶段应用数据增强来破坏面部结构内容，以突出伪像或捕捉不被关注的伪像信息
。
另一方面，通过人脸重建解耦面部内容特征和伪像特征以提升伪像特征的表示
。
然而，仅破坏或移除深度伪造图像的面部内容信息，仍然会留下训练数据中存在的特定伪像模式，这将导致网络的过拟合
。
鉴于此，为了丰富训练数据中存在的伪像模式，有些研究提出了虚假样本合成方法，但这些方法通常依赖于预定义的伪像类型或伪像区域
。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术中，现有人脸图像的深度伪造检测方法的泛化性差的缺点，提供一种人脸图像的深度伪造检测方法
、
系统
、
设备及介质
。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]本专利技术第一方面，提供一种人脸图像的深度伪造检测方法，包括：
[0008]获取待检测的人脸图像；
[0009]将待检测的人脸图像输入预设的人脸图像深度伪造检测模型中，得到待检测的人脸图像的深度伪造检测结果；
[0010]其中，所述人脸图像深度伪造检测模型通过下述步骤得到：
[0011]获取若干人脸图像样本；其中，若干人脸图像样本中包含真实人脸图像样本和虚假人脸图像样本；
[0012]将增强图像块尺度依次增加至预设值，在每次增加后均进行下述训练步骤：
[0013]训练步骤：将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作和图像块乱序操作，得到若干增强人脸图像样本；根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络；其中，多任务深度卷积神经网络通过在用于深度伪造检测的深度卷积神经网络中设置人脸属性级别的深度伪造检测任务分支
、
人脸结构级别的深度伪造检测任务分支和人脸图像级别的深度伪造检测任务分支得到，人脸图像级别的深度伪造检测任务分支通过注意力机制对人脸属性级别的深度伪造检测任务分支和人脸结构级别的深度伪造检测任务分支的特征进行融合；
[0014]将多任务深度卷积神经网络中的人脸图像级别的深度伪造检测任务分支作为人脸图像深度伪造检测模型
。
[0015]可选的，所述真实人脸图像样本的目标人脸图像为真实人脸图像样本自身；所述虚假人脸图像样本的目标人脸图像为生成虚假人脸图像样本时采用的目标人脸图像
。
[0016]可选的，所述将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作包括：
[0017]根据当前增强图像块尺度，将各人脸图像样本与各人脸图像样本的目标人脸图像通过下式划分为不重叠的若干图像块：
[0018]从
(O
，
1)
均匀分布中随机采样一个图像块交换比例
λ
，根据图像块交换比例
λ
进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换
。
[0019]可选的，所述根据图像块交换比例
λ
进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换包括：
[0020]根据图像块交换比例
λ
生成二值图像块交换掩码遮罩
M
；其中，二值图像块交换掩码遮罩
M
中的
O
值与1值个数根据图像块交换比例
λ
确定；
[0021]通过下式进行图像块交换：
[0022]x
mix
‑
hard
＝
upsample(M)
⊙
x+(1
‑
upsample(M))
⊙
x
p
[0023]其中，
x
mix
‑
hard
为增强人脸图像样本，
upsample(M)
为向上取样二值图像块交换掩码遮罩
M
，
⊙
为元素乘法，
x
为人脸图像样本，
x
p
为人脸图像样本的目标人脸图像
。
[0024]可选的，所述根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络时，通过下式得到增强人脸图像样本
x
mix
‑
hard
的软标签
y
mix
‑
soft
：
[0025]y
mix
‑
soft
＝
λ
y+(1
‑
λ
)
⊙
y
p
[0026]其中，
y
为人脸图像样本
x
的标签，
y
p
为人脸图像样本
x
的目标人脸图像的标签；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人脸图像的深度伪造检测方法，其特征在于，包括：获取待检测的人脸图像；将待检测的人脸图像输入预设的人脸图像深度伪造检测模型中，得到待检测的人脸图像的深度伪造检测结果；其中，所述人脸图像深度伪造检测模型通过下述步骤得到：获取若干人脸图像样本；其中，若干人脸图像样本中包含真实人脸图像样本和虚假人脸图像样本；将增强图像块尺度依次增加至预设值，在每次增加后均进行下述训练步骤：训练步骤：将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作和图像块乱序操作，得到若干增强人脸图像样本；根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络；其中，多任务深度卷积神经网络通过在用于深度伪造检测的深度卷积神经网络中设置人脸属性级别的深度伪造检测任务分支
、
人脸结构级别的深度伪造检测任务分支和人脸图像级别的深度伪造检测任务分支得到，人脸图像级别的深度伪造检测任务分支通过注意力机制对人脸属性级别的深度伪造检测任务分支和人脸结构级别的深度伪造检测任务分支的特征进行融合；将多任务深度卷积神经网络中的人脸图像级别的深度伪造检测任务分支作为人脸图像深度伪造检测模型
。2.
根据权利要求1所述的人脸图像的深度伪造检测方法，其特征在于，所述真实人脸图像样本的目标人脸图像为真实人脸图像样本自身；所述虚假人脸图像样本的目标人脸图像为生成虚假人脸图像样本时采用的目标人脸图像
。3.
根据权利要求1所述的人脸图像的深度伪造检测方法，其特征在于，所述将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作包括：根据当前增强图像块尺度，将各人脸图像样本与各人脸图像样本的目标人脸图像通过下式划分为不重叠的若干图像块：从
(0
，
1)
均匀分布中随机采样一个图像块交换比例
λ
，根据图像块交换比例
λ
进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换
。4.
根据权利要求3所述的人脸图像的深度伪造检测方法，其特征在于，所述根据图像块交换比例
λ
进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换包括：根据图像块交换比例
λ
生成二值图像块交换掩码遮罩
M
；其中，二值图像块交换掩码遮罩
M
中的0值与1值个数根据图像块交换比例
λ
确定；通过下式进行图像块交换：
x
mix
‑
hard
＝
upsample(M)
⊙
x+(1
‑
upsample(M))
⊙
x
p
其中，
x
mix
‑
hard
为增强人脸图像样本，
upsample(M)
为向上取样二值图像块交换掩码遮罩
M
，
⊙
为元素乘法，
x
为人脸图像样本，
x
p
为人脸图像样本的目标人脸图像
。5.
根据权利要求4所述的人脸图像的深度伪造检测方法，其特征在于，所述根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络时，通过下式得到增强人脸图像样本
x
mix
‑
hard
的软标签
y
mix
‑
soft
：
y
mix
‑
soft
＝
λ
y+(1
‑
λ
)
☉
y
p
其中，
y
为人脸图像样本
x
的标签，
y
p
...

【专利技术属性】
技术研发人员：蔺琛皓，邓静怡，沈超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：