基于空域和频域双特征的深度伪造视频鉴定方法及系统技术方案

本发明专利技术提出一种基于空域和频域双特征的深度伪造视频鉴定方法及系统，涉及多媒体信息安全的技术领域，首先从待鉴定视频中提取视频帧，从提取到的视频帧中提取人脸区域图像，然后进行频域的图像分割及频率域分支特征提取、空间域分支特征提取，最后频率域分支特征和空间域分支特征合并形成特征向量，用于卷积神经网络分类器的训练和测试，避免当前深度伪造视频鉴定方法对低质量视频检测精度低、跨库检测性能差的问题，综合利用空域和频域特征，能够有效检测由深度伪造技术生成的虚假视频，提高了检测精度。了检测精度。了检测精度。

【技术实现步骤摘要】
基于空域和频域双特征的深度伪造视频鉴定方法及系统


[0001]本专利技术涉及多媒体信息安全的
，更具体地，涉及一种基于空域和频域双特征的深度伪造视频鉴定方法及系统。

技术介绍

[0002]随着生成对抗网络和自动编码器的深度伪造技术的快速发展，深度伪造视频已成为当今互联网上传播最为广泛的媒体之一。深度伪造技术降低了编辑人脸、篡改人脸的成本，导致深度伪造技术生成虚假视频数量的显著增加。此外，由于无处不在的互联网和各种视频共享网站(例如YouTube、抖音)的流行，深度伪造视频在社交平台上更易形成广泛传播趋势，对多媒体信息安全产生了巨大的威胁。
[0003]现有的深度伪造技术可以通过交换源对象与目标对象的面部区域，或使用源对象的面部动作驱动目标对象的面部动作的方式，在不修改视频中对象身份信息的情况下，修改人物的表情、所说的话，从而达到歪曲事实的目的。于个人而言，涉及其肖像的深度伪造视频的恶意传播可能侵犯公民的隐私权及名誉权；于社会而言，不法分子借此技术传播谣言将影响社会舆情稳定；于国家而言，虚假视频一旦被用于传播错误思想等恶劣途径，将严本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，所述方法包括：从待鉴定视频中提取视频帧，从提取到的视频帧中提取人脸区域图像；将人脸区域图像从RGB颜色空间域变换到频率域，并进行频率响应分解，得到一系列频率图像分量，基于频率图像分量进行频率域特征提取，得到频率域特征表示F1；对人脸区域图像进行RGB空间域分支的浅层特征提取，基于浅层特征及多重注意力机制，进一步得到全局深层特征表示F2；将频率域特征表示F1和全局深层特征表示F2合并，形成高维特征集合F；选定用于深度伪造视频鉴定的卷积神经网络分类器，将高维特征集合F作为特征向量，对卷积神经网络分类器进行训练和鉴定分类测试。2.根据权利要求1所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，从待鉴定视频中提取视频帧后，利用BlazeFace人脸检测模型从提取到的视频帧中提取人脸区域图像，提取的人脸区域图像的大小固定。3.根据权利要求2所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，利用离散余弦变换将人脸区域图像从RGB颜色空间域变换到频率域，所述的频率响应分解基于二进制滤波器和可学习的滤波器组合实现，设人脸区域图像表示为x，b
i
表示二进制滤波器，l
i
表示可学习的滤波器；利用将可学习的滤波器限制在
‑
1和+1之间；二进制滤波器和可学习的滤波器组合表示为：F
i
＝b
i
+σ(l
i
)F
i
表示组合滤波器，利用组合滤波器进行频率响应分解的表达式为：Y
i
＝DCT(x)e F
i
其中，DCT(.)表示离散余弦变换；Y
i
表示频率响应分解后得到的频率图像分量；将频率响应分解后得到的频率图像分量经过离散余弦变换的逆变换，返回至RGB颜色空间，得到新的RGB表示：Z
i
＝DCT
‑1(Y
i
)将Z
i
沿着通道方向进行拼接，最终得到频率域信息图，选定骨干网络为在ImageNet上进行了预训练的XceptionNet，将频率域信息作为频率域分支的输入，送入预先训练的XceptionNet模型中进行频率域特征提取，得到频率域特征表示F1。4.根据权利要求3所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，二进制滤波器将频率域划分为低、中、高三个频带。5.根据权利要求1所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，选定预先训练的模型为XceptionNet，将人脸区域图像送入预先训练的模型XceptionNet进行RGB空间域分支的浅层特征提取。6.根据权利要求5所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，XceptionNet包括依次连接的...

【专利技术属性】
技术研发人员：边山，李颖，王春桃，黄远航，钟浩，胡娟，甘雨，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：