一种融合空域纹理差异和频域信息的深度伪造检测方法技术

技术编号:43379862 阅读:34 留言:0更新日期:2024-11-19 17:57
本发明专利技术公开了一种融合空域纹理差异和频域信息的深度伪造检测方法,该方法首先对输入图像进行预处理得到人脸图像;其次分别将人脸图像输入上分支网络、下分支网络以提取伪造图像空域中的纹理差异信息、频域潜在伪影信息,并输出特征图;然后特征图投影为特征块并与CLS令牌拼接,输出特征向量作为特征融合模块的输入,得到经过特征融合后的CLS_S令牌与CLS_F令牌;最后将CLS_S令牌与CLS_F令牌作为多层感知器的输入获得分类结果并输出。本发明专利技术结合空域纹理差异和频域信息做为分类依据,经过交叉注意力机制进行特征融合后对真伪图像进行分类,具有更优的检测性能和泛化能力。

【技术实现步骤摘要】

本专利技术属于伪造图像检测,具体涉及一种融合空域纹理差异和频域信息的深度伪造检测方法


技术介绍

1、近年来生成模型不断发展,深度伪造相关技术逐渐成熟。存在部分利用深度伪造技术,对人脸面部区域进行操纵的恶劣行为,如替换面部区域、操纵五官等,恶意用户可以轻易的生成虚假人脸图像或视频,这些伪造内容通过社交网络得以迅速传播。随着全球“换脸”事件中敲诈勒索、色情传播、虚假信息传播等违法犯罪行为的频发,给社会安全、国民安全等国家安全领域带来了诸多风险。

2、针对深度伪造内容的检测,现有先进的方法主要利用图像中的伪造特征,通过训练复杂的神经网络模型来实现真伪图像的二分类。但是这些检测方法存在着一定局限性。首先,依靠单一伪造特征作为分类依据的检测方法,在面临不同伪造技术、不同图像质量的情况下,其检测精度会大幅下降。其次,深度伪造技术的不断更新迭代,使得伪造内容的逼真度不断提高,给检测带来更大的难度。新的伪造技术可能会引入新的伪造特征,而现有的检测方法可能无法及时适应这些变化,从而导致检测方法失效。

3、因此,需要一种更加泛化且能够对伪造图像进行准本文档来自技高网...

【技术保护点】

1.一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,所述S1预处理过程中,裁剪输入图像的人脸面部区域并调整尺寸大小。

3.根据权利要求1所述的一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,所述S2中上分支特征提取网络利用更改后的Efficient-0作为骨干网络;其中,人脸图像通过平均差分卷积结合像素的强度信息和局部相对梯度信息来提取伪造图像空域浅层特征中的纹理差异信息,之后经过骨干网络输出上分支特征图。

<p>4.根据权利要求...

【技术特征摘要】

1.一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,所述s1预处理过程中,裁剪输入图像的人脸面部区域并调整尺寸大小。

3.根据权利要求1所述的一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,所述s2中上分支特征提取网络利用更改后的efficient-0作为骨干网络;其中,人脸图像通过平均差分卷积结合像素的强度信息和局部相对梯度信息来提取伪造图像空域浅层特征中的纹理差异信息,之后经过骨干网络输出上分支特征图。

4.根据权利要求1所述的一种融合空域纹理差异和频域信息的深度伪造检测方法,其特征在于,所述s2中下分支网络包括平均灰度图像频率感知分解模块以及efficient-0骨干网络;其中,人脸图像经过平均灰度图像频率感知分解模块将图像频域信息变换为空域显示,之后经过骨干网络输出下分支特征图。

【专利技术属性】
技术研发人员:张志勇方帅举宋斌梁晗李玉祥张中亚张丽丽赵长伟于雅洁
申请(专利权)人:河南科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1