一种基于图像重构的人脸深度伪造检测系统及方法技术方案

本发明专利技术涉及一种基于图像重构的人脸深度伪造检测系统及方法，属于图像处理技术领域，解决了现有技术中伪造检测的泛化性较低、针对真实图像在高维空域空间和高维频域空间上的分布的建模效果欠佳的问题。本发明专利技术通过空域重构模块，利用蒸馏学习的方式，有效利用了真实人脸的先验分布信息，使得网络更好地建模真实人脸在空域上的共性。此外，通过频域重构模块充分建模真实图像在频域空间上的共性，辅助空域重构模块提升检测效果。另外，通过细粒度空频转换模块实现了细粒度的空频转换，同时经过通道重排，使得网络更好地捕捉不同频带的频域特征。本发明专利技术提高了伪造检测的泛化性，针对真实图像在高维空域空间和高维频域空间上的分布的建模充分。布的建模充分。布的建模充分。

【技术实现步骤摘要】
一种基于图像重构的人脸深度伪造检测系统及方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于图像重构的人脸深度伪造检测系统及方法。

技术介绍

[0002]人脸深度伪造技术包括人脸替换、表情修改以及属性编辑，这类伪造在深度学习技术的支持下，以及在合成技术逐渐提升的同时，获得难度大幅降低，在互联网上出现了越来越多的虚假图像，这些虚假信息的泛滥给社会的政治、安全都造成了极大的不良影响。
[0003]目前，存在一些伪造图像检测方法，用于对人脸深度伪造图像进行检测识别。一般来说，这些方法大多基于有监督的方式在特定的伪造数据集上进行训练，对特定的伪造方法有较好的检测效果。然而，随着深度伪造技术的发展，出现了越来越多新的伪造方法，而基于监督学习的伪造检测技术在这些未知伪造方法上的效果不佳，伪造检测的泛化性亟待提高。此外，现有的基于监督学习进行伪造检测的方法又存在如下的两个问题：首先，这些方法对真实人脸图像的先验分布信息利用不充分，不能很好地建模真实图像在高维空域空间上的分布；其次这些方法对频域信息的利用存在不充分或不合理的情况，不能很好地建模真实图像在高维频域空间上的分布。
[0004]综上，现有技术存在伪造检测的泛化性较低、针对真实图像在高维空域空间和高维频域空间上的分布的建模效果欠佳的问题。

技术实现思路

[0005]鉴于上述问题，本专利技术提供了一种基于图像重构的人脸深度伪造检测系统及方法，解决了现有技术中伪造检测的泛化性较低、针对真实图像在高维空域空间和高维频域空间上的分布的建模效果欠佳的问题。
[0006]本专利技术提供了一种基于图像重构的人脸深度伪造检测系统，包括：空域重构模块、频域重构模块和空频域特征融合模块，其中，
[0007]所述空域重构模块为卷积神经网络，用于提取待测人脸图像的待蒸馏特征和中间特征，以及高维空域特征；还用于基于融合特征得到重构空域图像；
[0008]所述频域重构模块为卷积神经网络，用于提取待测人脸图像的原始频域特征，经处理得到高维频域特征；还用于基于融合特征得到重构频域特征；
[0009]所述空频域特征融合模块，用于对所述高维空域特征和高维频域特征进行融合处理，得到融合特征。
[0010]进一步地，所述空域重构模块包括教师网络模块，所述教师网络模块是经过人脸识别任务预训练的网络，用于对待测人脸图像的第一原始空域特征进行处理，获取该待测人脸图像的多个不同层级的待蒸馏特征。
[0011]进一步地，所述空域重构模块还包括空域编码器模块，所述空域编码器模块是以深度可分离卷积网络为主干的卷积神经网络，用于对待测人脸图像的第一原始空域特征进
行处理，获得该待测人脸图像的多个不同层级的中间特征以及编码后的高维空域特征。
[0012]进一步地，所述空域重构模块还包括空域解码器模块，用于对空频域特征融合模块输出的融合特征进行处理，得到重构空域图像。
[0013]进一步地，所述频域重构模块包括细粒度空频转换模块，用于将第二原始空域特征由RGB空间转化到YCbCr空间，并截取亮度通道得到亮度特征，采用滑动窗口的方式对亮度特征进行处理，得到未通道重排的频域特征，经通道重排，得到原始频域特征。
[0014]进一步地，所述频域重构模块还包括频域编码器模块，用于对原始频域特征进行处理得到待测图像编码后的高维频域特征。
[0015]进一步地，所述频域重构模块还包括频域解码器模块，用于对空频域特征融合模块输出的融合特征进行处理，得到重构频域特征。
[0016]本专利技术还提供了一种基于图像重构的人脸深度伪造检测方法，基于所述基于图像重构的人脸深度伪造检测系统实现，包括如下步骤，其中步骤S1～步骤S11为训练阶段，步骤S12为测试阶段，步骤S13为使用阶段：
[0017]S1：构建真实人脸图像数据集作为训练集，构建包括真实人脸图像和伪造人脸图像的数据集作为测试集；其中，训练集和测试集均具有图像级的标注；
[0018]S2：将步骤S1得到的训练集中的真实人脸图像进行缩放处理，得到第一原始空域特征F
ori_spa
，输入到教师网络模块中进行处理，获取该真实人脸图像的n个不同层级的待蒸馏特征其中，第k个层级的待蒸馏特征大小为H
k
×
W
k
×
C
k
；
[0019]S3：将步骤S1得到的真实人脸图像进行缩放处理，得到第一原始空域特征F
ori_spa
，输入到空域编码器模块中进行处理，获得该真实人脸图像的n个不同层级的中间特征以及编码后的高维空域特征F
spatial
；其中，第k个层级的中间特征大小为H
k
×
W
k
×
C
k
；
[0020]S4：计算获得步骤S2得到的待蒸馏特征和步骤S3得到的中间特征之间的蒸馏损失Loss
ditill
；
[0021]S5：将步骤S1获得的真实人脸图像进行缩放，得到第二原始空域特征，输入到细粒度空频转换模块进行处理，得到原始频域特征F
ori_fre
；
[0022]S6：获取步骤S5得到的原始频域特征F
ori_fre
，输入到频域编码器模块进行处理，获得编码后的高维频域特征Ff
requency
；
[0023]S7：获取步骤S3得到的高维空域特征F
spatial
，和步骤S6得到的高维频域特征F
frequency
，输入到空频域特征融合模块进行处理，通过自注意力机制处理得到融合特征F；
[0024]S8：获取步骤S7得到的融合特征F，输入到空域解码器模块进行处理，得到重构空域图像F
recon_spa
；
[0025]S9：获取步骤S7得到的融合特征，输入到频域解码器模块进行处理，得到重构频域特征F
recon_fre
；
[0026]S10：基于步骤S2得到的第一原始空域特征F
ori_spa
、步骤S8得到的重构空域特征F
recon_spa
、步骤S5得到的原始频域特征F
ori_fre
、步骤S9得到的重构频域特征F
recon_fre
和步骤S4得到的蒸馏损失Loss
ditill
，计算得到空域重构损失Loss
spa
和频域重构损失Loss
fre
，最终得到总损失Loss
total
，作为判别图像真伪的依据；
[0027]S11：重复步骤S2至步骤S8，直到总损失Loss
total
收敛，完成训练并保存训练好的空域编码器模块、频域编码器模块、空频域特征融合模块、空域解码器模块和频域解码器模块；
[0028]S12：在测试阶段，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像重构的人脸深度伪造检测系统，其特征在于，包括：空域重构模块、频域重构模块和空频域特征融合模块，其中，所述空域重构模块为卷积神经网络，用于提取待测人脸图像的待蒸馏特征和中间特征，以及高维空域特征；还用于基于融合特征得到重构空域图像；所述频域重构模块为卷积神经网络，用于提取待测人脸图像的原始频域特征，经处理得到高维频域特征；还用于基于融合特征得到重构频域特征；所述空频域特征融合模块，用于对所述高维空域特征和高维频域特征进行融合处理，得到融合特征。2.根据权利要求1所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述空域重构模块包括教师网络模块，所述教师网络模块是经过人脸识别任务预训练的网络，用于对待测人脸图像的第一原始空域特征进行处理，获取该待测人脸图像的多个不同层级的待蒸馏特征。3.根据权利要求2所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述空域重构模块还包括空域编码器模块，所述空域编码器模块是以深度可分离卷积网络为主干的卷积神经网络，用于对待测人脸图像的第一原始空域特征进行处理，获得该待测人脸图像的多个不同层级的中间特征以及编码后的高维空域特征。4.根据权利要求3所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述空域重构模块还包括空域解码器模块，用于对空频域特征融合模块输出的融合特征进行处理，得到重构空域图像。5.根据权利要求4所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述频域重构模块包括细粒度空频转换模块，用于将第二原始空域特征由RGB空间转化到YCbCr空间，并截取亮度通道得到亮度特征，采用滑动窗口的方式对亮度特征进行处理，得到未通道重排的频域特征，经通道重排，得到原始频域特征。6.根据权利要求5所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述频域重构模块还包括频域编码器模块，用于对原始频域特征进行处理得到待测图像编码后的高维频域特征。7.根据权利要求6所述的基于图像重构的人脸深度伪造检测系统，其特征在于，所述频域重构模块还包括频域解码器模块，用于对空频域特征融合模块输出的融合特征进行处理，得到重构频域特征。8.一种基于图像重构的人脸深度伪造检测方法，其特征在于，基于权利要求1～7中任一项所述的基于图像重构的人脸深度伪造检测系统实现，包括如下步骤，其中步骤S1～步骤S11为训练阶段，步骤S12为测试阶段，步骤S13为使用阶段：S1：构建真实人脸图像数据集作为训练集，构建包括真实人脸图像和伪造人脸图像的数据集作为测试集；其中，训练集和测试集均具有图像级的标注；S2：将步骤S1得到的训练集中的真实人脸图像进行缩放处理，得到第一原始空域特征F
ori_spa
，输入到教师网络模块中进行处理，获取该真实人脸图像的n个不同层级的待蒸馏特征k＝1，2，3...n；其中，第k个层级的待蒸馏特征大小为H
k
×
W
k
×
C
k
；S3：将步骤S1得到的真实人脸图像进行缩放处理，得到第一原始空域特征F
ori_spa
，输入
到空域编码器模块中进行处理，获得该真实人脸图像的n个不同层级的中间特征k＝1，2，3...n，以及编码后的高维空域特征P
spatial
；其中，第k个层级的中间特征大小为H
k
×
W
k
×
C
k
；S4：计算获得步骤S2得到的待蒸馏特征和步骤S3得到的中间特征之间的蒸馏损失Loss
ditill
；S5：将步骤S1获得的真实人脸图像进行缩放，得到第二原始空域特征，输入到细粒度空频转换模块进行处理，得到原始频域特征F
ori_fre
；S6：获取步骤S5得到的原始频域特征F
ori_fre
，输入到频域编码器模块进行处理，获...

【专利技术属性】
技术研发人员：郭园方，袁靖淋，王蕴红，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：