一种基于面部语义内容分解领域泛化框架的深度伪造检测算法制造技术

本发明专利技术公开了一种基于面部语义内容分解领域泛化框架的深度伪造检测算法，涉及图像被动取证领域。针对现有的基于深度学习的深度伪造检测算法会对某一源域中面部语义信息过度拟合从而导致所学习的模型泛化性能差的问题做出针对性解决。具体来说，构建基于面部语义内容分解的双分支特征提取器，以提取更局部、细微且共享的痕迹特征；此外，引入领域泛化框架，构建基于最大均值差异的非对称对齐约束模块，通过对齐多个源域的特征分布，以学习到一个共享的特征空间与决策边界，可以用于未知目标域的检测。该本发明专利技术能够有效地提升深度伪造检测的准确率，具有实际应用价值。具有实际应用价值。具有实际应用价值。

【技术实现步骤摘要】
一种基于面部语义内容分解领域泛化框架的深度伪造检测算法


[0001]本专利技术涉及图像处理和取证
，尤其涉及一种基于领域泛化的深度伪造人脸检测算法。

技术介绍

[0002]深度伪造视频检测已成为信息安全领域多媒体取证技术的一个亟待解决的问题。现有的深度伪造被动取证算法主要分为基于传统手工特征与基于数据驱动两类算法。其中，基于传统手工特征的算法是通过提取由篡改操作所带来的与自然图像不一致的统计特征、生物信号特征等实现的，然而这类检测算法仅在一些早期的数据集上表现出较好的检测能力，随着生成模型的不断成熟与生成算法对于明显伪影的重点消除，这类检测算法的检测能力大大减弱。相比之下，基于深度学习的数据驱动算法，通过卷积神经网络或循环神经网络自适应地提取图像和视频中存在的伪影特征，可以更有效地进行深度伪造的视频检测。具体的过程是搜集大量的深度伪造数据集，将其全部馈入到特定的神经网络(例如ResNet、Xception、Transformer等)中，鼓励网络自适应地学习训练集的特征分布，以实现检测模型在目标数据集上的精准预测。然而，现有的基于数据驱动的检测算法所提取到图像的高维特征是高度数据集偏移的，即对训练集过拟合，造成预训练的模型在未知的数据集中检测性能差，即检测模型泛化性差。《Thinking in frequency:Face forgery detection by mining frequency
‑
aware clues》(Qian Y,Yin G,Sheng L,et al.Thinking in frequency:Face forgery detection by mining frequency
‑
aware clues[C]//European Conference on Computer Vision.Springer,vol.12357,pp.86
‑
103,2020)通过学习深度伪造图像数据与自然真实图像之间的频域特征差异，有效地提升模型在域内的检测能力，但这种方式是关注于某一数据域中真实与伪造的频域差异，一旦将所学习的模型应用于其他数据域则检测能力大幅度下降。Qian Y,Yin G,Sheng L,et al.Thinking in frequency:Face forgery detection by mining frequency
‑
aware clues[C]//European conference on computer vision.Springer,Cham,2020:86
‑
103.《Improving the Efficiency and Robustness of Deepfakes Detection through Precise Geometric Features》一文中提出现有的深度伪造视频生成过程中未对帧与帧之间的一致性做针对性处理，因此通过学习真实与伪造视频在帧与帧之间面部关键点的连续性之间的差异来实现深度伪造的检测，这类算法同样学习的是某一种数据域上的时域特征，在跨域检测中效果极差。而在现实应用中，给定一个待检测的视频，是无法获知其具体的篡改方式的，这极大地限制了基于深度学习检测算法的应用，因而如何提升检测模型的泛化能力至关重要。总的来看，现有的基于深度学习的深度伪造检测算法大都是通过设计一个基于卷积神经网络的特征提取器，提取单一源域的特定特征，所学习到的特征不可避免地会过度拟合该源域特有的痕迹，根据卷积神经网络会关注纹理丰富区域的特有属性，所关注的面部区域一般为眼睛、鼻子、嘴巴等局部语义信息，且针对不同的源域，用于判断
真伪的区域是不一致的，导致在单一源域训练得到的模型在其他未知的目标域中检测性能较差。

技术实现思路

[0003]本专利技术的目的在于解决上述局限性，提供一种基于面部语义内容分解的域泛化网络框架，用于提升深度伪造检测模型的泛化性，使之能克服现有技术的以上不足。
[0004]实现本专利技术目的的技术方案如下：
[0005]一种基于面部语义内容分解领域泛化框架的深度伪造检测算法，包括以下步骤：
[0006]步骤1：获取现有公开的多个深度伪造数据集，不同数据集是由不同的篡改方式生成的，且每个数据集中均具有视频的真伪标签与领域所属标签；将该深度伪造数据集中的任一数据集作为待测的目标域，将目标域以外的数据集作为训练所用的源域；对所述目标域和源域中数据进行包括人脸检测、裁剪、对齐的预处理操作；
[0007]步骤2：构建基于面部语义内容分解的双分支特征提取器FD
‑
DBN，将步骤1预处理过的深度伪造数据集中的源域数据集馈入到FD
‑
DBN中，其中K代表源域中数据集的个数，上标i代表源域中某一数据集的序号；具体处理方法是，一方面，采用卷积神经网络对整张人脸进行编码，提取全局特征，另一方面，通过对角线方向人脸图像块置乱模块DCSM(Diagonal
‑
directional Cross
‑
Shuffling Module)分解人脸图像，并采用卷积神经网络对分解后的人脸图像进行编码，提取局部特征，最后，通过基于坐标注意力机制的融合模块CAFM融合上述提取的全局与局部特征，获得各源域数据特征集
[0008]步骤3：
[0009]3.1通过具有真实特征聚集约束RFC与域内
‑
域间三元组约束ICT的基于最大均值差异的非对称对齐约束模块MAAC(MMD
‑
based Asymmetric Aligning Constraint)，对由步骤2提取的各源域数据特征集FT
s
进行分布适配，计算基于最大均值差异的非对称对齐约束损失
[0010]其中，MAAC将多源域的数据分布特征考虑在内，即由不同篡改方式生成的伪造图像数据分布差异较大，因而对齐所有源域的伪造图像难度较大，相比之下，由于所有真实图像均为自然图像故而更容易对齐，因此MAAC通过先采用真实特征聚集约束RFC(Real
‑
Feature Clustering Constraint)对齐多个源域的真实数据分布，再采用类内
‑
类间三元组约束ICT(Intra
‑
Cross Triplet Constraint，ICT)约束真实与伪造样本在特征空间分离的方式进行分布适配，相对应的适配损失为：
[0011][0012]3.2由常规深度伪造真伪分类模块将步骤2提取的各源域数据特征集FT
s
结合真伪标签计算分类损失
[0013]步骤4：结合步骤3中所述与计算总损失通过反向传播训练基于面部语义内容分解的领域泛化框架模型；获得目标基于面部语义内容分解的领域泛化框架模型FDDG；
[0014]所述网络最终的损失函数如下式所示：
[0015][0016]步骤5：采用步骤4训练获得的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部语义内容分解领域泛化框架的深度伪造检测算法，在深度伪造检测中构造了基于面部语义内容分解领域泛化框架，以解决单一数据域中面部语义信息过度拟合从而导致所学习的模型泛化性能差的问题；通过基于面部语义内容分解的双分支特征提取器提取更局部且共享的痕迹特征；基于最大均值差异的非对称对齐约束模块对齐多个源域的特征分布，结合基于最大均值差异的非对称对齐约束损失与分类损失计算总损失，训练并获得目标基于面部语义内容分解的领域泛化框架模型FDDG，包括以下主要步骤：步骤1：获取现有公开的多个深度伪造数据集，这些数据集是由不同的篡改方式生成的，且每个数据集中均具有视频的真伪标签与领域所属标签；将该深度伪造数据集中的任一数据集作为待测的目标域，将目标域以外的数据集作为训练所用的源域；对所述目标域和源域中数据进行包括人脸检测、裁剪、对齐的预处理操作；步骤2：构建基于面部语义内容分解的双分支特征提取器FD
‑
DBN，将步骤1预处理过的深度伪造数据集中的源域数据集馈入到FD
‑
DBN中，其中K代表源域中数据集的个数，上标i代表源域中某一数据集的序号；具体处理方法是，一方面，采用卷积神经网络对整张人脸进行编码，提取全局特征，另一方面，通过对角线方向人脸图像块置乱模块DCSM分解人脸图像，并采用卷积神经网络对分解后的人脸图像进行编码，提取局部特征，最后，通过基于坐标注意力机制的融合模块CAFM融合上述提取的全局与局部特征，获得各源域数据特征集步骤3：3.1通过具有真实特征聚集约束RFC与域内
‑
域间三元组约束ICT的基于最大均值差异的非对称对齐约束模块MAAC，对由步骤2提取的各源域数据特征集FT
s
进行分布适配，计算基于最大均值差异的非对称对齐约束损失3.2由常规深度伪造真伪分类模块将步骤2提取的各源域数据特征集FT
s
结合真伪标签计算分类损失步骤4：结合步骤3中所述与计算总损失通过反向传播训练基于面部语义内容分解的领域泛化框架模型；获得目标基于面部语义内容分解的领域泛化框架模型FDDG；步骤5：采用步骤4训练获得的目标基于面部语义内容分解的领域泛化框架模型FDDG提取待测目标域数据特征并计算预测分数p，若p>0.5，则认定待测数据为真，反之则为假，从而完成深度伪造人脸视频的检测。2.如权利要求1所述的一种基于面部语义内容分解领域泛化框架的深度伪造检测算法，其特征在于步骤2中，所述对角线方向人脸图像块置乱模块DCSM采用如下工作机制：(1)对于给定人脸图像I，将其均匀地划分为N
×
N个不重叠的子块，我们采用一个大小为N
×
N的矩阵A来表示所有子块的序列，其中A(h,w)＝(h,w)，h,w∈{1,
…
,N}；(2)采用基于对角线方向上的交叉置乱机制对矩阵A进行置乱，之乱后的矩阵A
′
表示为：其中，F表示一个副对角线元素均为1，其他元素均为0的大小为N
×
N的变换矩＝阵，可表示为：
(3)将原图像按照所述(2)中的变换方式进行图像块序列的置乱，之乱后的图像I
′
可以表示为：3.如权利要求1所述的一种基于面部语义内容分解领域泛化框架的深度伪造检测算法，其特征在于，步骤2中，基于坐标注意力机制的融合模块CAFM的具体方法为：(1)对于大小为(H,W,C)的输入特征f
g<...

【专利技术属性】
技术研发人员：张瑞梅，刘汉卿，王宏霞，
申请(专利权)人：四川大学，
类型：发明
国别省市：