基于多模态特征融合的人脸深伪检测方法技术

本发明专利技术涉及一种基于多模态特征融合的人脸深伪检测方法。本发明专利技术的目的是提供一种基于多模态特征融合的人脸深伪检测方法。本发明专利技术的技术方案为：该检测方法其特征在于：获取待检测图像；将待检测图像输入经训练的人脸深伪检测模型，得到检测判断结果；所述人脸深伪检测模型，包括RGB纹理特征提取模块、SRM高频噪声特征提取模块、DCT频域感知特征提取模块、低维度多尺度特征交互模块、跨模态特征融合模块和分类模块。本发明专利技术适用于深度伪造检测领域。本发明专利技术适用于深度伪造检测领域。本发明专利技术适用于深度伪造检测领域。

【技术实现步骤摘要】
基于多模态特征融合的人脸深伪检测方法


[0001]本专利技术涉及一种基于多模态特征融合的人脸深伪检测方法。适用于深度伪造检测领域。

技术介绍

[0002]随机互联网的快速发展，数字媒体信息在其中的传播也越来越迅速和广泛，伴随着深度学习以及神经网络的发展，出现了神经网络驱动生成的虚假图像和视频人脸，这些图像和视频甚至人眼无法区分。这类方法对影视行业以及艺术创作等等提供了新的思路和方法，但恶意传播深度伪造数字媒体会导致社会出现安全问题甚至信任危机，因此如何鉴别互联网中传播的数字媒体的真实性，开发有效的人脸深度伪造检测方法成为亟待解决的问题。
[0003]一系列早期的人脸深度伪造检测方法依赖于手工制作的特征，例如局部模式分析、噪声方差评估、隐写分析特征等，来发现伪造模式并放大真实和伪造图像之间的微弱差异，具有比较强的可解释性，但目前没有一种传统方法能够应对所有的图像深度伪造技术，通常只能针对某种特定的伪造方法进行检测，适用条件比较有限。
[0004]深度学习引入了另一种途径来应对这一挑战，最近基于学习的深度伪造检测方法尝试使用RGB作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的人脸深伪检测方法，其特征在于：获取待检测图像；将待检测图像输入经训练的人脸深伪检测模型，得到检测判断结果；所述人脸深伪检测模型，包括：RGB纹理特征提取模块，用于提取待检测图像的RGB纹理特征；SRM高频噪声特征提取模块，用于提取待检测图像的SRM高频噪声特征；DCT频域感知特征提取模块，用于提取待检测图像的DCT频域感知特征；低维度多尺度特征交互模块，用于对各提取模块提取的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征在空间维度和通道维度上进行注意力加权交互；跨模态特征融合模块，用于融合所述低维度多尺度特征交互模块输出的经加权的RGB纹理特征、SRM高频噪声特征和DCT频域感知特征，得到融合特征；分类模块，用于基于所述跨模态特征融合模块输出的融合特征进行分类判断，输出检测判断结果。2.根据权利要求1所述的基于多模态特征融合的人脸深伪检测方法，其特征在于，所述在空间维度上进行注意力加权交互，包括：将提取的图像特征分别与对应空间Attention特征图ATT
s
做乘法，再将对应通道相加得到空间维度注意力加权后的空间交互特征图X
s
；ATT
s
＝σ(conv7×7(AVGPool(X')))其中，AVGPool为平均池化操作；conv7×7为7x7卷积；σ为sigmoid函数；X'为输入特征；ATT
s
为空间Attention特征图。3.根据权利要求2所述的基于多模态特征融合的人脸深伪检测方法，其特征在于，所述在通道维度上进行注意力加权交互，包括：对空间交互特征图X
s
求取通道权重ATT
c
；ATT
c
＝conv(σ(AVGPool(conv(X
s
))))其中，conv为卷积操作；AVGPool为平均池化操作；σ为sigmoid函数；空间交互特征图X
s
与通道权重相乘得到，得到经空间维度和通道维度注意力加权的交互特征图X
sc
。4.根据权利要求1所述的基于多模态特征融合的人脸深伪检测方法，其特征...

【专利技术属性】
技术研发人员：龚健，何覃，吕永标，
申请(专利权)人：杭州中科睿鉴科技有限公司，
类型：发明
国别省市：