深度伪造内容检测方法技术

本发明专利技术涉及一种深度伪造内容检测方法。适用于计算机人工智能深度伪造内容检测领域。本发明专利技术所采用的技术方案是：该方法包括：获取待检测视频内容，分离音频和视频，并基于音频得到音频序列，基于视频得到视频人脸序列；将音频序列和视频人脸序列输入经训练的音视频一致性检测模型，得到待检测视频内容的音视频一致性检测结果；所述音视频一致性检测模型包括：视觉编码器，经音、视频对比学习预训练；音频编码器，与视觉编码器一同经音、视频对比学习预训练；特征融合模块，用于融合视觉编码器提取的一致性特征和音频编码器提取的一致性特征，得到融合特征；音视频一致性检测器，用于基于特征融合模块的融合特征，得到音视频一致性概率。

【技术实现步骤摘要】

本专利技术涉及一种深度伪造内容检测方法。适用于计算机人工智能深度伪造内容检测领域。

技术介绍

1、随着移动通信技术和智能终端设备的快速发展，视频通话已经成为人们日常生活和工作的重要沟通方式。移动端视频通话因其便捷性和实时性，广泛应用于社交、商务、教育等领域。

2、然而，近年来，基于深度学习的技术不断发展，深度伪造技术的日益精进。这种技术能够生成高度逼真的虚假视频和音频内容，普通用户很难对其生成的虚假内容进行辨识。移动端是深度伪造内容攻击的主要阵地之一，攻击者可以利用各种移动端通讯软件的音视频通话功能接入深度伪造内容来实施攻击行为。

3、在视频通话场景下，伪造攻击主要表现为两种形式：视频伪造和音频伪造。视频伪造通过替换或篡改视频通话中的人脸，将目标用户的面部表情、姿态等信息替换为攻击者的内容。典型的伪造方法包括面部换脸、表情迁移、深度合成等技术。音频伪造基于语音合成技术，通过模仿目标用户的声纹特征生成虚假的语音内容，实现欺骗或误导。音频伪造可以结合视频伪造增强真实性，从而使检测和防护难度进一步加大。

4、目前，伪造检测技术本文档来自技高网...

【技术保护点】

1.一种深度伪造内容检测方法，其特征在于，包括：

2.一种深度伪造内容检测方法，其特征在于，包括：

3.一种深度伪造内容检测方法，其特征在于，包括：

4.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于：所述基于音频得到音频序列，包括：对音频进行去噪消除背景音干扰，得到音频序列；

5.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于，所述音、视频对比学习预训练，包括：

6.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于：所述视觉编码器采用Vision Transformer；所述音频编码器采...

【技术特征摘要】

1.一种深度伪造内容检测方法，其特征在于，包括：

2.一种深度伪造内容检测方法，其特征在于，包括：

3.一种深度伪造内容检测方法，其特征在于，包括：

4.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于：所述基于音频得到音频序列，包括：对音频进行去噪消除背景音干扰，得到音频序列；

5.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于，所述音、视频对比学习预训练，包括：

6.根据权利要求1或2或3所述的深度伪造内容检测方法，其特征在于：所述视觉编码器采用vision transformer；所述音频编码器采用mamba。

7.根据权利要求1或3所述的深度伪造内容检测方法，其特征在于：所述音视频一致性检测器采用...

【专利技术属性】
技术研发人员：吴彦璋，何覃，郭晨阳，
申请(专利权)人：杭州中科睿鉴科技有限公司，
类型：发明
国别省市：