一种基于傅里叶域适应的人脸伪造视频检测方法技术

本发明专利技术公开了一种基于傅里叶域适应的人脸伪造视频检测方法，涉及人脸伪造检测技术领域，其特征在于：该方法的主要步骤如下：S1：将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列；S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中，得到每一帧图像的特征向量；S3：将域对齐后的视频序列输入到TimeSformer时空变换器网络中，得到视频序列的特征向量；S4：将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合，得到融合后的特征向量；S5：将融合后的特征向量输入到分类器中，得到视频序列是否为人脸伪造的判断结果。得到视频序列是否为人脸伪造的判断结果。得到视频序列是否为人脸伪造的判断结果。

【技术实现步骤摘要】
一种基于傅里叶域适应的人脸伪造视频检测方法


[0001]本专利技术涉及人脸伪造检测
，尤其涉及一种基于傅里叶域适应的人脸伪造视频检测方法。

技术介绍

[0002]人脸伪造是指利用数字图像处理技术或者人工智能技术，对真实人脸进行篡改或替换，从而生成虚假的人脸图像或视频。人脸伪造技术可以用于娱乐、教育、医疗等领域，但也可能被用于诈骗、诽谤、破坏社会秩序等恶意目的。因此，人脸伪造检测技术是一种重要的安全防护手段，它可以通过分析图像或视频中的人脸是否为真实或伪造，来保护个人隐私和社会公正。
[0003]目前，人脸伪造检测技术主要分为两类：基于传统图像处理技术的方法和基于深度学习技术的方法。基于传统图像处理技术的方法主要是利用图像中的一些统计特征或者视觉伪影来判断人脸是否为伪造，例如颜色分布、边缘锐度、光照不一致、眨眼频率等。这类方法的优点是简单易实现，但是缺点是对不同的伪造方式需要设计不同的特征提取器，泛化能力较差，而且容易受到噪声、压缩、遮挡等因素的干扰。基于深度学习技术的方法主要是利用卷积神经网络或者循环神经网络等模型来自动学习图像或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于傅里叶域适应的人脸伪造视频检测方法，其特征在于：该方法包括以下步骤：S1：将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列；S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中，得到每一帧图像的特征向量；S3：将域对齐后的视频序列输入到TimeSformer时空变换器网络中，得到视频序列的特征向量；S4：将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合，得到融合后的特征向量；S5：将融合后的特征向量输入到分类器中，得到视频序列是否为人脸伪造的判断结果;在S1中，将源域数据集和目标域数据集中的视频序列进行傅里叶域适应，得到域对齐后的视频序列，实现步骤包括：S11：给定源域数据集的视频为，目标域数据集的视频为，其中，表示源域数据集的某个视频，表示对应视频的彩色图片帧，其中表示实数域，和表示图像的高和宽，3表示为颜色通道为红色、绿色和蓝色的RGB图像，表示该视频或图片对应的标签，即人脸伪造视频为真或假，其中，代表目标域数据集的视频，代表目标域数据集的图片，代表目标域数据集的对应的标签；S12：设代表彩色图像进行傅里叶变换的幅值分量，代表彩色图像进行傅里叶变换的相位分量，对于单通道的图像，通过公式（1）把图像从空间域转换到频率域，公式（1）为：
ꢀꢀꢀꢀ
（1）其中，是图像在坐标处的像素值，是变换后的图像在坐标处的值，为虚数单位，为欧拉数，表示图像的横坐标，表示图像的纵坐标，和代表频率域中的横纵坐标，表示在方向上的频率变化，表示在方向上的频率变化，代表图像的高度，代表图像的宽度；S13：用表示一个掩码矩阵，用于替换图像的低频区域，用式（2）表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，指定图像的中心位置为，组成一个正方形的图像像素值全为1
的区域，其中，用来表示此正方形区域的大小，、表示图像的高和宽，、表示需要进行掩码区域的高和宽；S14：根据傅里叶逆变换把频率域的图像再次转换到空间域，得到域对齐后的图像，变换公式为式（3）：
ꢀꢀꢀꢀꢀꢀ
（3）S15：把公式（3）记作，给定两个视频序列中的帧图片，，傅里叶域适应用式（4）表示为： （4）其中，表示傅里叶逆变换，表示源域视频的一张图像，表示目标域视频的一张图像，表示风格迁移后生成的图像，表示源域图像傅里叶变换后的相位部分，表示目标域图像傅里叶变换后的幅值部分，表示源域图像傅里叶变换后的幅值...

【专利技术属性】
技术研发人员：王春鹏，时超轶，马宾，王玉立，魏子麒，夏之秋，李琦，李健，咸永锦，韩冰，王晓雨，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：