一种基于多任务学习模型的AI换脸视频检测方法技术

本发明专利技术请求保护一种基于多任务学习模型的AI换脸视频检测方法，属于计算机视觉与深度学习领域，包括以下步骤：预先训练基于多任务学习的模型来检测被修改的换脸视频，并为每个查询定位修改的区域，此模型为自动编码器包括一个Y型自动解码器。利用半监督学习方法来提高网络的生成性，利用多任务之前共享有价值的信息，减少激活损失函数、分割损失函数和重建损失函数的总和，并使用优化器进行优化，进而提高性能。对于视频输入检测，对所有帧的概率进行求平均，得出输入为真或假的概率。本发明专利技术有利提高AI换脸视频检测。

【技术实现步骤摘要】
一种基于多任务学习模型的AI换脸视频检测方法
本专利技术属于计算机视觉与深度学习领域，具体涉及一种基于计算机与深度学习算法的虚假视频检测方法，用于快速准确判定虚假生成的视频文件以及定位视频篡改部位。
技术介绍
伴随着深度学习的发展，AI换脸技术越来越多，技术也越来越成熟，AI换脸的效果也越来越好，伴随着AI换脸这项技术的发展，也带来不少的负面影响。例如，不少不怀好意的人用这些技术把明星的脸换到色情图片和视频上面去，或者把一些政客的脸换到不法分子拍摄的带有不好言论的视频中去，试图动荡国际关系，例如美国总统，俄罗斯总统等发言。随着市面上AI换脸软件的泛滥，越来越多的人利用一部手机和一些照片就能合成虚假的视频，对社会产生了严重的影响，因此需要对视频的真实性进行鉴别。目前公开的AI换脸视频检测中，仅仅是从单一的特征去检测，例如基于眨眼的，基于嘴型的，基于皮肤边缘的，导致检测性能不佳。计算过程中，大多数检测方法把整个图像考虑计算，大大增加计算费用，从而不能高效并准确检测换脸视频。本专利技术主要提出一种利用多任务学习模型解决了AI换脸视频检本文档来自技高网...

【技术保护点】
1.一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，包括以下步骤：/nS1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；/nS2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征模型为一个自动编码器，自动编码器带有一个Y型解码器，Y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能，Y型解码器以半监督的方式训练；/nS3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提取，将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分。/nS4:到最后...

【技术特征摘要】
1.一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，包括以下步骤：
S1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；
S2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征模型为一个自动编码器，自动编码器带有一个Y型解码器，Y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能，Y型解码器以半监督的方式训练；
S3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提取，将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分。
S4:到最后的激活层输出视频每帧篡改概率以及与该输入视频每帧相对应的分割图，对视频每帧篡改概率进行求平均，最后得出输入是否为虚假视频。


2.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，所述步骤S1中用于虚假视频生成的算法选用DeepFake、Face2Face和FaceSwap在内的相关开源算法。


3.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，在步骤S1中用于训练的虚假视频为3000个，未修改的视频为1000个，其中每个数据集分为720个视频用于训练，140个视频用于验证，140个用于测试，每个训练视频只用200帧来训练，验证和测试视频采用10帧用于验证和测试，并裁剪面部区域。


4.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方...

【专利技术属性】
技术研发人员：李红波，王桔波，吴渝，王艺蓓，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50