【技术实现步骤摘要】
本专利技术属于多媒体数字取证的，具体涉及一种基于小波变换和时序特征提取的深度伪造视频检测方法及装置。
技术介绍
1、视频作为日常信息获取的重要载体，其在互联网上的传播量巨大，发挥的作用极其重要。随着深度学习技术的不断发展，深度伪造技术逐渐成熟，对视频中人脸的伪造也愈加真实，不少开源代码或应用的普及使得即使是非专业人士，也能生成高质量的伪造人脸视频，这使得“眼见不一定为实”。人脸伪造技术基本上可以分为重现、替换、编辑、合成四种，其中编辑指的是对人脸的某种属性进行变化，如瞳孔颜色、发色、配饰等；合成是指人脸的整体生成，如虚拟角色创建。人脸的编辑和合成在研究领域中表现得十分火热，但是，重现和替换带来的问题更引人警惕，重现是指让目标对象重现源对象的一些行为，如表情、嘴部动作等，重现技术的不当使用可能会造成诽谤、错误信息传播或者欺诈、勒索等违法犯罪行为的发生。替换即人脸身份交换。人脸替换的滥用同样会危害社会公共秩序。因此对人脸伪造视频的检测方法亟需。
2、目前深度伪造视频的检测主要从三个方面入手：空域视觉伪影、频域伪造痕迹以及时序不一致性。空域视觉伪影主要是从原始视频帧出发，利用手工设计的特征或者深度神经网络挖掘伪造视频在空域中留下的篡改痕迹，如局部阴影异常(b.peng,w.wang,j.dong and t.tan,"optimized 3d lighting environment estimation for imageforgery detection,"in ieee transactions on informa
3、现有的大多数深度人脸伪造视频检测方法多没有考虑到模型对低质量视频的适应能力和对未知视频的泛化能力。部分利用时序不一致性进行检测的方法多需要利用大量的视频帧，有较大的计算压力，如何提升模型对于低质量视频的检测能力以及减轻模型的运算负担，是本领域技术人员亟待解决的问题。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于小波变换和时序特征提取的深度伪造视频检测方法及装置，通过小波变换聚焦局部特征提升检测方法对低质量视频的检测能力并通过输入较少的帧数来减轻检测时的运算压力。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种基于小波变换和时序特征提取的深度伪造视频检测方法，包括下述步骤：
4、对视频进行分帧和人脸区域提取预处理并对视频帧进行数据增强操作，然后对经过处理的视频帧进行分组；所述数据增强操作包括旋转、滤波模糊和高斯噪声处理；
5、对分组的视频帧进行一级二维离散小波变换，得到每帧视频帧对应的低频子带部分和高频子带部分；将低频子带部分舍弃并将高频子带部分在通道维度上进行拼接和维度调整，得到视频帧的细节特征，即小波变换特征；
6、构建深度伪造视频检测模型，首先将原视频帧的特征与视频帧的小波变换特征以成组的方式输入预设的时序特征提取模块，进行帧间时序特征的提取操作；然后将提取的帧间时序特征在预设的特征整合与结果判别模块中进行进一步的特征提取，并对伪造篡改视频进行判别以获取视频判别标签；利用视频真实标签与视频判别标签之间的交叉熵作为整个网络模型的损失函数，通过损失反向传播对模型进行训练，获取训练好的深度伪造视频检测模型；所述深度伪造视频检测模型包括时序特征提取模块和特征整合与结果判别模块；所述时序特征提取模块基于vit模型构建，特征整合与结果判别模块基于3d深度可分离卷积进行构建；
7、利用训练好的深度伪造视频检测模型对待检测的视频进行判别，并获取视频帧的判别结果。
8、作为优选的技术方案，所述将低频子带部分舍弃并将高频子带部分在通道维度上进行拼接和维度调整，得到小波变换特征，具体为，
9、舍弃得到的低频子带ll并将高频子带hl、lh和hh部分在通道维度上进行拼接；并利用通道卷积进行维度调整，对三个高频子带的特征进行融合处理，最终得到小波变换特征，如下式：
10、fi＝cat([hli,lhi,hhi])
11、fni＝conv1×1(fii)
12、其中cat(·)表示拼接函数，fi表示将高频子带部分在通道维度上进行拼接之后得到的特征，fni表示利用通道卷积conv1×1进行维度调整和特征融合之后得到的小波变换特征，lli表示第i帧视频帧的逼近子图，hli,lhi,hhi表示第i帧视频帧3个不同方向上的细节子图。
13、作为优选的技术方案，所述时序特征提取模块的构建，还包括以下步骤：
14、所述时序特征提取模块基于vit模型进行构建，在vit模型的基础上，舍弃classtoken设置，保留位置编码，构建时序特征提取模块包括以下操作：利用transformer编码器对输入特征进行编码；对编码器处理得到的特征进行反分块操作，得到原始输入特征的注意力权重信息；信息融合操作则是将得到的权重信息与原始输入特征进行加权融合；最后的信息拼接操作则是将分别经过编码、反分本文档来自技高网...
【技术保护点】
1.基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述将低频子带部分舍弃并将高频子带部分在通道维度上进行拼接和维度调整，得到小波变换特征，具体为，
3.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述时序特征提取模块的构建，还包括以下步骤：
4.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述将原视频帧的特征与小波变换特征以成组的方式输入预设的时序特征提取模块，进行帧间时序特征的提取操作，具体为，
5.根据权利要求4所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述分块处理，具体为，使用滑动窗口的方法将输入特征分为尺寸大小为N×N的块，且没有重叠。
6.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述特征整合与判别模块的构建，具体为：
7.根据权利要求1所述基于小波变换
8.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述利用视频真实标签与视频判别标签之间的交叉熵作为整个网络模型的损失函数，通过损失反向传播对模型进行训练，获取训练好的深度伪造视频检测模型，具体为：
9.基于小波变换和时序特征提取的深度伪造视频检测系统，其特征在于，应用于权利要求1-8中任一项所述的基于小波变换和时序特征提取的深度伪造视频检测方法，包括预处理模块，离散小波变换模块，模型构建与训练模块及测试执行模块；
10.一种电子设备，其特征在于，所述电子设备包括：
...【技术特征摘要】
1.基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述将低频子带部分舍弃并将高频子带部分在通道维度上进行拼接和维度调整，得到小波变换特征，具体为，
3.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述时序特征提取模块的构建，还包括以下步骤：
4.根据权利要求1所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述将原视频帧的特征与小波变换特征以成组的方式输入预设的时序特征提取模块，进行帧间时序特征的提取操作，具体为，
5.根据权利要求4所述基于小波变换和时序特征提取的深度伪造视频检测方法，其特征在于，所述分块处理，具体为，使用滑动窗口的方法将输入特征分为尺寸大小为n×n的块，且没有重叠。
6.根据权利要求1所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。