一种基于多模态伪影的人脸深度伪造检测方法及系统技术方案

本发明专利技术涉及一种基于多模态伪影的人脸深度伪造检测方法及系统。该方法包括基于人脸深度伪造视频逐帧提取视频帧，从提取到的视频帧中获得人脸区域图像；利用双流特征提取网络提取所述人脸区域图像的多尺度纹理差异特征、多级噪声特征以及深层语义特征；将多尺度纹理差异特征、深层语义特征以及多级噪声特征串联起来，进行多模态特征融合，确定融合特征；基于协作监督策略进行融合特征的监督对比学习和分类；所述协作监督策略为对融合特征进行监督对比学习确定人脸深度伪造检测特征；根据人脸深度伪造检测特征以及融合特征向量进行分类。本发明专利技术能够有效的提取具有泛化性能的深度伪造检测特征，在提高数据集类内检测精度的同时，提高跨库的泛化检测精度。提高跨库的泛化检测精度。提高跨库的泛化检测精度。

【技术实现步骤摘要】
一种基于多模态伪影的人脸深度伪造检测方法及系统


[0001]本专利技术涉及多媒体信息取证
，特别是涉及一种基于多模态伪影的人脸深度伪造检测方法及系统。

技术介绍

[0002]随着计算机图形学，特别是深度生成式模型的快速发展，出现了DeepFake、FaceSwap、Face2Face、NeuralTexture等开源的人脸深度伪造技术。一方面，人脸深度伪造技术的发展促进了艺术创作领域和电影制造工业的发展。另一方面，在互联网社交媒体中传播恶意篡改的人脸图像或视频对多媒体信息安全产生了巨大的威胁，造成了侵犯个人隐私、伪造法律证据等严重的危害。
[0003]现有的人脸深度伪造检测方法大致可分为两类：一类利用手工设计特征提取真实人脸和篡改人脸的差异。例如:X.Yang等2019年在《IEEE International Conference onAcoustics,Speech and Signal Processing》发表的论文“Exposing deep fakes using inconsistentheadposes”中，基于人脸特征点手工设计特征提取头部姿势不一致性伪影作为检测特征。这类方法提取的特征目的清晰，可解释性强，但利用手工设计的特征引入了专家的先验知识，并且随着篡改人脸质量的不断提升，基于手工设计特征的检测方法不能泛化到改进的人脸深度伪造方法。另一类通过设计和改进神经网络的结构作为人脸深度伪造的判别器。例如：H.Zhao等2021年在《IEEE Conference on Computer Vision and Pattern Recognition》发表的论文“Multi
‑
attentional deepfake detection”中在EfficientNetB4网络的基础上引入多头注意力机制提取细粒度差异特征在类内场景检测中取得了良好的性能。此类方法依赖神经网络强大的数据拟合能力可以学习到丰富的伪造检测特征，但是容易过拟合于训练数据集的数据分布，很难泛化到未知的人脸深度伪造方法。
[0004]为解决当前人脸深度伪造检测方法跨库检测泛化性能差的问题，亟需提供一种新的人脸深度伪造检测方法或系统，能够有效的提取具有泛化性能的深度伪造检测特征，在提高数据集类内检测精度的同时，提高跨库的泛化检测精度。

技术实现思路

[0005]本专利技术的目的是提供一种基于多模态伪影的人脸深度伪造检测方法及系统，能够有效的提取具有泛化性能的深度伪造检测特征，在提高数据集类内检测精度的同时，提高跨库的泛化检测精度。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于多模态伪影的人脸深度伪造检测方法，包括：
[0008]基于人脸深度伪造视频逐帧提取视频帧，从提取到的视频帧中获得人脸区域图像；
[0009]利用双流特征提取网络提取所述人脸区域图像的多尺度纹理差异特征、多级噪声
特征以及深层语义特征；所述双流特征提取网络采用RGB支流和SRM噪声支流分别对输入的人脸区域图像进行特征提取；所述双流特征提取网络包括：纹理差异特征提取模块和多级自适应噪声特征提取模块；所述纹理差异特征提取模块基于RGB支流不同的浅层特征图提取多尺度纹理差异特征；所述多级自适应噪声特征提取模块利用RGB支流的深层语义特征图与SRM噪声支流中浅层噪声特征图交互并增强SRM噪声支流浅层噪声特征图中的噪声特征提取深层语义特征和多级噪声特征；
[0010]将多尺度纹理差异特征、深层语义特征以及多级噪声特征串联起来，进行多模态特征融合，确定融合特征；
[0011]基于协作监督策略进行融合特征的监督对比学习和分类；所述协作监督策略为对融合特征进行监督对比学习确定人脸深度伪造检测特征；根据确定的人脸深度伪造检测特征进行分类。
[0012]可选地，在ImageNet上进行预训练的EfficientNetB4作为所述RGB支流和所述SRM噪声支流的骨干网络；
[0013]EfficientNetB4包括：依次连接的头卷积Conv1、7个层级以及一个尾卷积；所述RGB支流和所述SRM噪声支流，流内网络共享参数，流间网络参数独立。
[0014]可选地，所述纹理差异特征提取模块包括：不同的中心差分卷积层。
[0015]可选地，SRM噪声支流的入口包含一个自适应SRM滤波层。
[0016]可选地，所述多级噪声特征提取模块包括：RGB下采样路径、SRM下采样路径、跨模态上采样交互增强路径和横向连接路径。
[0017]可选地，所述协作监督策略的损失函数为：
[0018]L
total
＝α*L
ce
+β*L
sc
；
[0019]其中，L
total
为协作监督策略的损失函数，L
sc
为监督对比学习的损失函数L
ce
为分类的损失函数，α和β均为平衡权重，z为标准化后的融合特征，N为训练过程中一个批次数据大小，|N
p
|为批次数据中正例样本集大小，N
a
为批次数据中的负例样本集，z
i
为锚样本，z
p
为正例样本，z
a
为负例样本，τ∈R
+
是温度系数，p
j
和y
j
分别为模型预测为真实的概率和输入样本j的标签。
[0020]一种基于多模态伪影的人脸深度伪造检测系统，包括：
[0021]人脸区域图像获取模块，用于基于人脸深度伪造视频逐帧提取视频帧，从提取到的视频帧中获得人脸区域图像；
[0022]特征提取模块，用于利用双流特征提取网络提取所述人脸区域图像的多尺度纹理差异特征、多级噪声特征以及深层语义特征；所述双流特征提取网络采用RGB支流和SRM噪声支流分别对输入的人脸区域图像进行特征提取；所述双流特征提取网络包括：纹理差异特征提取模块和多级自适应噪声特征提取模块；所述纹理差异特征提取模块基于RGB支流不同的浅层特征图提取多尺度纹理差异特征；所述多级自适应噪声特征提取模块利用RGB支流的深层语义特征图与SRM噪声支流中浅层噪声特征图交互并增强SRM噪声支流浅层噪
声特征图中的噪声特征提取深层语义特征和多级噪声特征；
[0023]多模态特征融合模块，用于将多尺度纹理差异特征、深层语义特征以及多级噪声特征串联起来，进行多模态特征融合，确定融合特征；
[0024]监督对比学习和分类模块，用于基于协作监督策略进行融合特征的监督对比学习和分类；所述协作监督策略为对融合特征进行监督对比学习确定人脸深度伪造检测特征；根据确定的人脸深度伪造检测特征进行分类。
[0025]可选地，在ImageNet上进行预训练的EfficientNetB4作为所述RGB支流和所述SRM噪声支流的骨干网络；
[0026]EfficientNetB4包括：依次连接的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，包括：基于人脸深度伪造视频逐帧提取视频帧，从提取到的视频帧中获得人脸区域图像；利用双流特征提取网络提取所述人脸区域图像的多尺度纹理差异特征、多级噪声特征以及深层语义特征；所述双流特征提取网络采用RGB支流和SRM噪声支流分别对输入的人脸区域图像进行特征提取；所述双流特征提取网络包括：纹理差异特征提取模块和多级自适应噪声特征提取模块；所述纹理差异特征提取模块基于RGB支流不同的浅层特征图提取多尺度纹理差异特征；所述多级自适应噪声特征提取模块利用RGB支流的深层语义特征图与SRM噪声支流中浅层噪声特征图交互并增强SRM噪声支流浅层噪声特征图中的噪声特征提取深层语义特征和多级噪声特征；将多尺度纹理差异特征、深层语义特征以及多级噪声特征串联起来，进行多模态特征融合，确定融合特征；基于协作监督策略进行融合特征的监督对比学习和分类；所述协作监督策略为对融合特征进行监督对比学习确定人脸深度伪造检测特征；根据确定的人脸深度伪造检测特征进行分类。2.根据权利要求1所述的一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，在ImageNet上进行预训练的EfficientNetB4作为所述RGB支流和所述SRM噪声支流的骨干网络；EfficientNetB4包括：依次连接的头卷积Conv1、7个层级以及一个尾卷积；所述RGB支流和所述SRM噪声支流，流内网络共享参数，流间网络参数独立。3.根据权利要求2所述的一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，所述纹理差异特征提取模块包括：不同的中心差分卷积层。4.根据权利要求1所述的一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，SRM噪声支流的入口包含一个自适应SRM滤波层。5.根据权利要求2所述的一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，所述多级噪声特征提取模块包括：RGB下采样路径、SRM下采样路径、跨模态上采样交互增强路径和横向连接路径。6.根据权利要求1所述的一种基于多模态伪影的人脸深度伪造检测方法，其特征在于，所述协作监督策略的损失函数为：L
total
＝α*L
ce
+β*L
sc
；其中，L
total
为协作监督策略的...

【专利技术属性】
技术研发人员：赵奕，姚绍文，金鑫，江倩，高嵩，武丽雯，吴峰，莫鸿，
申请(专利权)人：云南大学，
类型：发明
国别省市：