当前位置: 首页 > 专利查询>吉林大学专利>正文

基于重构学习和混合专家模式的人脸伪造检测方法及系统技术方案

技术编号:44659600 阅读:28 留言:0更新日期:2025-03-17 18:53
本发明专利技术提供一种基于重构学习和混合专家模式的人脸伪造检测方法及系统,包括步骤:从人脸视频中提取人脸帧图像;对人脸帧图像进行数据处理,获得二维人脸图像;利用Swin Transformer作为编码器,同时引入混合专家模型,对二维人脸图像进行空间特征和长距离依赖特征提取;利用混合专家模型对二维人脸图像中不同类型的特征进行增强,得到高级语义特征图;利用注意力引导的解码模块生成人脸重建图像;利用基于重建引导的特征聚合模块,将人脸重建图像与相应的二维人脸图像聚合,探索可能存在的伪造区域,得到最终用于人脸伪造检测的特征图。本发明专利技术对于未知伪造类型的检测能力更优,能够提高人脸伪造检测的准确性、鲁棒性和泛化性。

【技术实现步骤摘要】

本专利技术涉及人脸伪造检测,特别是涉及一种基于重构学习和混合专家模式的人脸伪造检测方法及系统


技术介绍

1、人脸伪造检测在维护社会稳定和国家安全等领域中扮演者至关重要的角色。起初,人脸伪造检测主要通过人工设计复杂的手工特征来实现,然而这种方式在处理更逼真的人脸伪造图像时效率低且结果难以令人满意。因此,通过使用深度学习技术来代替人工设计逐渐成为主流趋势。这种模式具有高效率、低成本的特点,在人脸伪造检测领域得到了广泛应用。目前,虽然已经存在一些方法可以实现高效的人脸伪造检测,但是这些方法并非完美无缺。因此,如何进一步提高人脸伪造检测的准确率成为了亟待解决的问题。

2、目前在基于深度学习的人脸伪造检测方向中,主要面临以下三个挑战:(1)人脸深度伪造技术不断演进,导致目前的检测技术与频繁迭代的伪造图像或视频生成技术尚存差距。虽对已知伪造类型的检测精度较高,但对未知新增的伪造类型表现明显退化。(2)即使在单一场景中表现良好的模型,当面临真实场景中常见的压缩、噪声等复杂情况时,其性能会出现急剧下降。(3)现有的人脸伪造检测方法通常借助扩展模型架构的方式来本文档来自技高网...

【技术保护点】

1.一种基于重构学习和混合专家模式的人脸伪造检测方法,其特征在于,所述方法包括步骤:

2.根据权利要求1所述的方法,其特征在于,所述对人脸帧图像进行数据处理,包括图像去噪、对比度增强、图像缩放、图像旋转、图像水平和垂直镜面变换,所述图像去噪包括膨胀、腐蚀和中值滤波操作。

3.根据权利要求1所述的方法,其特征在于,所述编码器由多个编码器块组成,不同层级的每个编码器块均包含LN模块、混合专家模型、W-MSA模块和SW-MSA模块。

4.根据权利要求3所述的方法,其特征在于,混合专家模型的输入为人脸自注意力特征图,所述人脸自注意力特征图由编码器块中的LN模块...

【技术特征摘要】

1.一种基于重构学习和混合专家模式的人脸伪造检测方法,其特征在于,所述方法包括步骤:

2.根据权利要求1所述的方法,其特征在于,所述对人脸帧图像进行数据处理,包括图像去噪、对比度增强、图像缩放、图像旋转、图像水平和垂直镜面变换,所述图像去噪包括膨胀、腐蚀和中值滤波操作。

3.根据权利要求1所述的方法,其特征在于,所述编码器由多个编码器块组成,不同层级的每个编码器块均包含ln模块、混合专家模型、w-msa模块和sw-msa模块。

4.根据权利要求3所述的方法,其特征在于,混合专家模型的输入为人脸自注意力特征图,所述人脸自注意力特征图由编码器块中的ln模块、w-msa模块和sw-msa模块对二维人脸图像进行...

【专利技术属性】
技术研发人员:陈海鹏贾一新张寒丁凯石泽男
申请(专利权)人:吉林大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1