一种基于傅里叶域适应的人脸伪造视频检测方法技术

本发明专利技术公开了一种基于傅里叶域适应的人脸伪造视频检测方法，涉及人脸伪造检测技术领域，其特征在于：该方法的主要步骤如下：S1：将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列；S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中，得到每一帧图像的特征向量；S3：将域对齐后的视频序列输入到TimeSformer时空变换器网络中，得到视频序列的特征向量；S4：将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合，得到融合后的特征向量；S5：将融合后的特征向量输入到分类器中，得到视频序列是否为人脸伪造的判断结果。得到视频序列是否为人脸伪造的判断结果。得到视频序列是否为人脸伪造的判断结果。

【技术实现步骤摘要】
一种基于傅里叶域适应的人脸伪造视频检测方法


[0001]本专利技术涉及人脸伪造检测
，尤其涉及一种基于傅里叶域适应的人脸伪造视频检测方法。

技术介绍

[0002]人脸伪造是指利用数字图像处理技术或者人工智能技术，对真实人脸进行篡改或替换，从而生成虚假的人脸图像或视频。人脸伪造技术可以用于娱乐、教育、医疗等领域，但也可能被用于诈骗、诽谤、破坏社会秩序等恶意目的。因此，人脸伪造检测技术是一种重要的安全防护手段，它可以通过分析图像或视频中的人脸是否为真实或伪造，来保护个人隐私和社会公正。
[0003]目前，人脸伪造检测技术主要分为两类：基于传统图像处理技术的方法和基于深度学习技术的方法。基于传统图像处理技术的方法主要是利用图像中的一些统计特征或者视觉伪影来判断人脸是否为伪造，例如颜色分布、边缘锐度、光照不一致、眨眼频率等。这类方法的优点是简单易实现，但是缺点是对不同的伪造方式需要设计不同的特征提取器，泛化能力较差，而且容易受到噪声、压缩、遮挡等因素的干扰。基于深度学习技术的方法主要是利用卷积神经网络或者循环神经网络等模型来自动学习图像或视频中的特征，并进行分类或回归。这类方法的优点是可以提取高层次的语义特征，对不同的伪造方式具有较强的适应性，而且可以处理高分辨率和高帧率的数据。但是缺点是需要大量的标注数据进行训练，而且对于未知的伪造方式或者跨域的数据集，泛化能力较差。
[0004]为了提高人脸伪造检测技术的泛化能力和跨域适应性，一些研究者提出了基于域适应或者域对齐的方法。域适应或者域对齐是指将不同分布或者不同风格的数据集进行转换或者映射，使得它们在某种度量下更加相似或者一致。例如，人工智能国际顶级会议CVPR 2022的论文一种基于空间域适应网络（Spatial Domain Adaptation Network, SDAN）和频率域适应网络（Frequency Domain Adaptation Network, FDAN）的人脸伪造检测方法，该方法首先将源域数据集和目标域数据集中的图像进行空间域适应和频率域适应，然后将适应后的图像输入到一个共享的卷积神经网络中进行特征提取和分类。该方法可以有效地减少源域数据集和目标域数据集之间在空间域和频率域上的差异，提高了跨域检测的准确性。
[0005]然而，上述方法只考虑了对图像进行空间域适应和频率域适应，而没有考虑到视频序列中存在的时序信息。视频序列中包含了帧与帧之间的动态变化和关联性，这些信息对于区分真实人脸和伪造人脸是非常有用的。例如，在视频序列中，真实人脸通常会有自然而连贯的表情变化、眼睛闪烁、头部转动等动作，而伪造人脸则可能会出现不协调、僵硬、重复等异常现象。因此，在进行人脸伪造检测时，不仅要考虑图像信息，还要考虑视频信息。

技术实现思路

[0006]为了弥补现有技术的不足，本专利技术涉及一种基于傅里叶域适应和深度学习网络的
人脸伪造检测方法，该方法可以有效地利用图像信息和视频信息来判断视频序列中是否存在人脸伪造，并且具有良好的泛化能力和跨域适应性。
[0007]本专利技术是通过如下技术方案实现的：一种基于傅里叶域适应的人脸伪造视频检测方法，其特征在于：该方法包括以下步骤：S1：将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列；S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中，得到每一帧图像的特征向量；S3：将域对齐后的视频序列输入到TimeSformer时空变换器网络中，得到视频序列的特征向量；S4：将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合，得到融合后的特征向量；S5：将融合后的特征向量输入到分类器中，得到视频序列是否为人脸伪造的判断结果；在S1中，将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列，实现步骤包括：S11：给定源域数据集的视频为，目标域数据集的视频为，其中，表示源域数据集的某个视频，表示对应视频的彩色图片帧，其中表示实数域，和表示图像的高和宽，3表示为颜色通道为红色、绿色和蓝色的RGB图像，表示该视频或图片对应的标签，即人脸伪造视频为真或假，其中，代表目标域数据集的视频，代表目标域数据集的图片，代表目标域数据集的对应的标签；S12：设代表彩色图像进行傅里叶变换的幅值分量，代表彩色图像进行傅里叶变换的相位分量，对于单通道的图像，通过公式（1）把图像从空间域转换到频率域，公式（1）为：
ꢀꢀꢀꢀ
（1）其中，是图像在坐标处的像素值，是变换后的图像在坐标处的值，为虚数单位，为欧拉数，表示图像的横坐标，表示图像的纵坐标，和代表频率域中的横纵坐标，表示在方向上的频率变化，表示在方向上的频率变化，代表图像的高度，代表图像的宽度；S13：用表示一个掩码矩阵，用于替换图像的低频区域，用式
（2）表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，指定图像的中心位置为，组成一个正方形的图像像素值全为1的区域，其中，用来表示此正方形区域的大小，、表示图像的高和宽，、表示需要进行掩码区域的高和宽；S14：根据傅里叶逆变换把频率域的图像再次转换到空间域，得到域对齐后的图像，变换公式为式（3）：
ꢀꢀꢀꢀꢀꢀ
（3）S15：把公式（3）记作，给定两个视频序列中的帧图片，，傅里叶域适应用式（4）表示为： （4）其中，表示傅里叶逆变换，表示源域视频的一张图像，表示目标域视频的一张图像，表示风格迁移后生成的图像，表示源域图像傅里叶变换后的相位部分，表示目标域图像傅里叶变换后的幅值部分，表示源域图像傅里叶变换后的幅值部分，表示掩码矩阵，表示两个函数的复合；在所述S15中，设置为0.001；所述傅里叶域适应是指：将源域数据集和目标域数据集中每个视频序列在时频平面上进行傅里叶变换，并计算其幅度谱和相位谱，然后，将源域数据集中每个视频序列与目标域数据每个视频序列进行随机配对，并将配对后视频序列之间交换其幅度谱；最后，将交换幅度谱后视频序列在时频平面上进行傅里叶逆变换，并保留其原始相位谱。
[0008]作为本技术方案的进一步限定，所述特征融合是指将不同网络的特征向量进行组合或整合，以生成更具表达能力或更适合分类任务的新特征向量，设使用的Xception为,函数表示对图像的特征进行提取，表示提取到的特征向量，参见公式（5）所示，接下来要根据对应的帧数来求帧序列对应的平均特征向量，参见公式（6）所示，其中表示帧序列中所包含的帧数；同理，设使用的TimeSformer为,函数表示对图像序列的特征进行提取，表示提取到的特征向量,表示风格迁移后生成的帧序列，参见公式（7）所示，设为融合后的特征向量，其表示为公式（8）,表示把与两个特征向量对应相加，得到融合后的特征向量后，再进行公式（9）便可得到最终的预测概率,其中表示softmax层，表示线性层；对于Xception
网络，根据公式（10）便可把经过线性层与softmax层转化为预测类别的概率；
ꢀꢀꢀꢀꢀ
（5）（6本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于傅里叶域适应的人脸伪造视频检测方法，其特征在于：该方法包括以下步骤：S1：将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列；S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中，得到每一帧图像的特征向量；S3：将域对齐后的视频序列输入到TimeSformer时空变换器网络中，得到视频序列的特征向量；S4：将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合，得到融合后的特征向量；S5：将融合后的特征向量输入到分类器中，得到视频序列是否为人脸伪造的判断结果;在S1中，将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列，实现步骤包括：S11：给定源域数据集的视频为，目标域数据集的视频为，其中，表示源域数据集的某个视频，表示对应视频的彩色图片帧，其中表示实数域，和表示图像的高和宽，3表示为颜色通道为红色、绿色和蓝色的RGB图像，表示该视频或图片对应的标签，即人脸伪造视频为真或假，其中，代表目标域数据集的视频，代表目标域数据集的图片，代表目标域数据集的对应的标签；S12：设代表彩色图像进行傅里叶变换的幅值分量，代表彩色图像进行傅里叶变换的相位分量，对于单通道的图像，通过公式（1）把图像从空间域转换到频率域，公式（1）为：
ꢀꢀꢀꢀ
（1）其中，是图像在坐标处的像素值，是变换后的图像在坐标处的值，为虚数单位，为欧拉数，表示图像的横坐标，表示图像的纵坐标，和代表频率域中的横纵坐标，表示在方向上的频率变化，表示在方向上的频率变化，代表图像的高度，代表图像的宽度；S13：用表示一个掩码矩阵，用于替换图像的低频区域，用式（2）表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，指定图像的中心位置为，组成一个正方形的图像像素值全为1
的区域，其中，用来表示此正方形区域的大小，、表示图像的高和宽，、表示需要进行掩码区域的高和宽；S14：根据傅里叶逆变换把频率域的图像再次转换到空间域，得到域对齐后的图像，变换公式为式（3）：
ꢀꢀꢀꢀꢀꢀ
（3）S15：把公式（3）记作，给定两个视频序列中的帧图片，，傅里叶域适应用式（4）表示为： （4）其中，表示傅里叶逆变换，表示源域视频的一张图像，表示目标域视频的一张图像，表示风格迁移后生成的图像，表示源域图像傅里叶变换后的相位部分，表示目标域图像傅里叶变换后的幅值部分，表示源域图像傅里叶变换后的幅值...

【专利技术属性】
技术研发人员：王春鹏，时超轶，马宾，王玉立，魏子麒，夏之秋，李琦，李健，咸永锦，韩冰，王晓雨，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：