人脸伪造视频检测方法、系统、设备与存储介质技术方案

本发明专利技术公开了一种人脸伪造视频检测方法、系统、设备与存储介质，上述方案在频域对于相位信息提取处理后反变换回空域，结合空域图像用以提取空间相位特征，设计了合理的浅层学习方法学习局部纹理特征，极大提高了模型的可迁移性和可解释性；上述方案在DeepFake人脸伪造视频检测任务中表现优异，在跨数据集的检测中达到了最好的效果。此外，还为伪造视频检测乃至其他计算机视觉任务提供了新的思路方法，有利于后续工作发展。

【技术实现步骤摘要】
人脸伪造视频检测方法、系统、设备与存储介质
本专利技术涉及人脸伪造视频检测
，尤其涉及一种人脸伪造视频检测方法、系统、设备与存储介质。
技术介绍
DeepFake人脸伪造视频已经成为当今互联网上传播最为广泛的媒体之一。由于深度学习在计算机视觉任务中取得了巨大成功，利用自编码器(AutoEncoder)和生成对抗网络(GenerativeAdversarialNetworks)等进行图像生成都是近年来迅速发展起来的应用。随着图像生成技术的愈发先进及相关数据算法的易获得性，高质量的DeepFake人脸伪造视频更容易被制作并且能够轻易欺骗人类。然而这些伪造技术很可能被滥用于恶意目的，造成严重的安全和伦理问题，因此DeepFake人脸伪造视频检测的方法应运而生。以前的工作中，DeepFake检测主要专注于在高质量的特定数据条件下，如何较好地区分同源数据的真伪。目前存在的图像级别的DeepFake检测工作主要分为两类：空域检测和频域检测。基于空域图像的方法虽然已经在某些条件下取得了非常好的效果，但是这类方法要么非常依赖于分布一致的数据集，要么对伪造视频的质量要求非常高，真实场景的伪造视频通常是低质量高噪声，很大程度上掩盖了伪造过程产生的伪影，因此这类方法存在一定的局限性。而之前基于频域的检测工作，大多仅仅从幅度谱上去提取特征，但实际上幅度谱并不能直接表征频域包含的信息量，导致没有完全利用频域的信息，因此基于频域的检测尚处于初等阶段，值得进行更深入的研究和探索。DeepFake人脸伪造视频通常是保留原有的人脸身份信息属性特征，因此真伪视频表达的语义信息几乎没有差别。对于传统的利用深度神经网络进行图像分类的模型,通常网络结构都较深,感受野比较大，全局语义信息得到了更多的关注，因此从某种意义上来说反而提取到了一些不利于分辨真伪的特征。因此考虑到DeepFake人脸伪造视频的特有性质，需要进行神经网络结构的设计，通过设计合理的神经网络结构并配合更通用的频域信息，从而形成鲁棒的DeepFake人脸伪造视频检测方法，可以避免互联网中非法DeepFake人脸伪造视频的遭到大肆传播，具有重要的实际应用价值。
技术实现思路
本专利技术的目的是提供一种人脸伪造视频检测方法、系统、设备与存储介质，结合空域和频域的鲁棒解决方案，并在真实场景中保证高召回率和低漏检率。本专利技术的目的是通过以下技术方案实现的：一种人脸伪造视频检测方法，包括：对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。一种人脸伪造视频检测系统，用于实现前述的方法，该系统包括：模型构造单元，用于对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；信息提取与检测单元，用于对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。由上述本专利技术提供的技术方案可以看出，在频域对于相位信息提取处理后反变换回空域，结合空域图像用以提取空间相位特征，设计了合理的浅层学习方法学习局部纹理特征，极大提高了模型的可迁移性和可解释性；上述方案在DeepFake人脸伪造视频检测任务中表现优异，在跨数据集的检测中达到了最好的效果。此外，还为伪造视频检测乃至其他计算机视觉任务提供了新的思路方法，有利于后续工作发展。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于空间相位浅层学习的人脸伪造视频检测方法的流程图；图2为本专利技术实施例提供的多次上采样过程中真假图像在幅度谱和相位谱的差异对比图；图3为本专利技术实施例提供的原始图像和上采样图像的频域分析对比图；图4为本专利技术实施例提供的本专利技术方法与现有方法的主要区别示意图；图5为本专利技术实施例提供的本专利技术所使用相位图可视化对比图；图6为本专利技术实施例提供的不同数据集上本专利技术方法和Xception的梯度热图可视化比较结果图；图7为本专利技术实施例提供的一种人脸伪造视频检测系统的示意图；图8为本专利技术实施例提供的一种电子设备的示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。近年来，深度造假技术取得了重大进展。随着图像生成技术的愈发先进及相关数据算法的易获得性，高质量的人脸伪造视频更容易被制作并且能够轻易欺骗人类。然而，这些伪造技术很可能被滥用于恶意目的，造成严重的安全和伦理问题。学界已经提出了许多检测方法试图减轻这种风险隐患。然而，绝大多数的方法都是主要专注于在高质量的特定数据条件下，如何较好地区分同源数据的真伪。本专利技术针对当前DeepFake人脸伪造视频检测方法的所存在的问题，旨在提出一种结合空域和频域的鲁棒解决方案，并在真实场景中保证高召回率和低漏检率。为达到该目的，本专利技术实施例提供一种基于空间相位浅层学习的人脸伪造视频检测方法(Spatial-PhaseShallowLearning，SPSL)。为了充分利用DeepFake人脸伪造视频生成过程中的共性，需要在图像生成过程和检测方法之间建立一个强大的映射关系。根据DeepFake人脸伪造视频生成的相关研究表明，大量上采样(Upsampling)操作是生成过程的必要步骤。由此启发，根据这一既定事实去分析这种操作在图像上带来的细微变化。由于现有图像生成方法的约束几乎都是在空域完成，因此空域中的这种伪影被大量消除，但在频域中，上采样会直接带来额外的频率分量，而累积上采样操作则会进一步放大这一现象。基于理论推导和分析发现，相比于现有频域方法通常所用的幅度谱，相位谱包含更多的频率分量因此对上采样带来的变化更加敏感。据此，本专利技术提出在频域中提取相位信息辅助检测累积上采样的方法。对于自然图像，大部分高频分量的幅值都接近于0，但是这部分频率分量在相位谱中依然可以被计算，因此相位谱包含了更多的有效频率分量。并且每一次上采样都会产生新的频率分量，以此利用频本文档来自技高网...

【技术保护点】
1.一种人脸伪造视频检测方法，其特征在于，包括：/n对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；/n对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。/n

【技术特征摘要】
1.一种人脸伪造视频检测方法，其特征在于，包括：
对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；
对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。


2.根据权利要求1所述的一种人脸伪造视频检测方法，其特征在于，所述对于输入的人脸视频图像，逐帧进行相位谱信息的提取包括：
对输入的人脸视频图像进行逐帧人脸检测和对齐，然后，进行离散傅里叶变换，获得频谱X(u)：



其中，x(n)表示图像像素点的值，X(u)表示图像频谱在频率u处的值，N表示像素总个数，j表示复数，e为自然常数；
利用频谱X(u)计算相位谱，表示为：



其中，I(u)和R(u)分别为频谱X(u)的虚部和实部。


3.根据权利要求1所述的一种人脸伪造视频检测方法，其特征在于，所述移除中间部分的卷积层包括：保留神经网络模型前端的若干卷积层与末端的卷积层，其余卷积层均为中间部分的卷积层被移除。


4.根据权利要求1或3所述的一种人脸伪造视频检测方法，其特征在于，所述神经网络模型为预训练的XceptionNet模型，其具有12层卷积层，保留首端3层卷积层与末端卷积层，移除中间的8层卷积层。


5.根据权利要求1或3所述的一种基于空间相位浅层学习的人脸伪造视频检测方法，其特征在于，感受野的定义如下：
RFl-1＝sl·RFl+(kl-sl)

【专利技术属性】
技术研发人员：周文柏，张卫明，俞能海，刘泓谷，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34