【技术实现步骤摘要】
本专利技术属于深度伪造检测领域，涉及人脸自监督预训练在深度伪造检测中的应用，具体涉及一种基于像素级别的人脸修正预训练的深度伪造检测方法。
技术介绍
1、近年来，人脸深度伪造技术得到了显着提升，这些深度伪造方法可以篡改不同大小的面部区域且这一部分面部区域往往不可预测。在早期的深度伪造检测研究中，设计用于检测的人工特征是主要的方法，包括视频人物的眨眼频率等。随着深度伪造技术的快速发展，许多伪造方法可以产生高度真实的输出样本，并且没有表现出可辨别的异常特征。因此，深度伪造检测领域转而采用深度学习方法，使模型能够发现伪造样本的潜在特征。
2、最近，计算机视觉领域越来越流行的一种方法是自监督预训练，即使没有标记数据，它也能在学习图像和视频的表示方面表现出非凡的价值。在所有自监督预训练的方法中，掩码自编码器使模型预测图像中被遮蔽的区域来学习有价值的表示，并在下游任务中取得了显著的效果。利用大量真实面部数据进行深度伪造检测的概念建立在迁移学习的基础上，这是一种成熟的技术。迁移学习使模型能够通过利用额外的知识来提高特定任务或领域的性能。在真实面部图像上训练模型使其能够更容易地提取和编码有意义的面部表示，捕捉真实面部的细微差别。
3、为了应对深度伪造领域产生的新问题，相关研究专注于设计专门用于检测的深度学习模型，这些模型通过分析多尺度的视觉信息和上下文线索，以发掘被篡改的媒体信息中的异常。然而，深度伪造及其检测技术之间的这场无休止的军备竞赛需要一种新的方法。
技术实现思路
1
2、所述基于像素级别人脸修正预训练的深度伪造检测方法，分以下步骤：
3、步骤一，收集包含不同场景和面部特征的真实人物视频，并对收集到的真实视频进行数据预处理，得到人脸预训练数据集。
4、数据预处理的过程为：
5、首先，使用视频流处理工具对视频进行切帧，得到各帧的图片；
6、然后，使用人脸定位算法裁剪各图片中的人脸部分，得到真实人脸数据集。
7、最后，从真实人脸数据集中剔除分辨率低和光线暗的人物图片，将剩余的人脸数据作为人脸预训练数据集。
8、步骤二，对人脸预训练数据集中的原始图像进行下采样，构建不同分辨率的面部图像金字塔。
9、定义缩放的比例r＝[r0,r1,r2,…,rn]，根据比例r采用线性插值的方法对原始图像进行下采样，得到下采样图片集y＝[y0,y1,y2,…,yn]，则面部图像金字塔的层数为n+1。其中，r0＝1，得到的下采样图片集中y0为原始图像。
10、步骤三，采用像素级分辨率混合技术，使用特定的融合比例和下采样图片集生成融合图像。
11、首先，采用迪利克雷分布随机生成融合比例u＝[μ1,μ2,μ3,…,μn]，并确保生成的某一比例大于设定的阈值。
12、然后，根据融合比例u生成对应的遮罩，并与下采样图片集y进行按位与操作，得到互不重叠的图片集z＝[z1,z2,z3,…,zn]；
13、最后，将图片集z中的n张图片合并，得到最终输出的融合图像m，作为最终的监督信号。
14、步骤四，将融合图像m输入差异修正模块，利用标准的掩码自编码器训练模型完成对遮蔽区域的重建，解决像素级别的差异，得到图像编码器fe。
15、首先，输入的融合图像m被划分成互不重叠的图像块，每个图像块通过线性映射生成各自的嵌入表示；
16、随后，掩码自编码器以一定的比例屏蔽部分图像块的嵌入表示，并将剩余未屏蔽的图像块送入transformer编码器中进行编码。
17、然后，将编码器的编码结果输入到层数少的解码器中，得到重建之后图像块。
18、最后，计算被屏蔽的图像块嵌入表示与重建之后的图像块的均方误差作为损失函数，并利用adamw优化器对预训练网络进行优化，得到图像编码器fe；
19、损失函数为：
20、
21、其中，n表示被遮蔽的图像块的数量，和分别表示原始图像块和重建后的图像块。
22、步骤五，将预训练阶段得到的图像编码器在深度伪造样本上进行微调，得到能实现人脸深度伪造检测的图像编码器。
23、使用在预训练网络中得到的图像编码器fe，在深度伪造样本上进行有限次的迭代训练即可得到最终的检测器。使用交叉熵损失函数作为深度伪造检测的监督函数：
24、
25、其中xl表示样本x的真实标签，xp表示样本的预测结果。在微调阶段采用了adamw优化器对网络进行优化，微调完成后即得到用于人脸伪造深度检测的图像编码器。
26、步骤六，将待检测的样本输入微调后的图像编码器，即可对样本进行人脸深度伪造检测。
27、本专利技术的优点在于：
28、(1)本专利技术提出了一种通用的预训练任务来识别细微的篡改线索，而不需要根据具体的伪造方法设计特定的网络结构。
29、(2)本专利技术可以利用大量未标注的数据进行预训练，通过设计像素级别的人脸修正任务来生成全新的监督信号，使得模型学习到更通用的特征和表示，提高模型的鲁棒性和泛化能力，并且可以迁移到其他任务上进行微调和训练。
本文档来自技高网...【技术保护点】
1.一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，步骤一中所述的数据预处理的过程为：
3.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，步骤三中生成融合图像的过程为：
4.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，步骤四中所述的损失函数为：
5.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，使用交叉熵损失函数作为深度伪造检测的监督函数：
【技术特征摘要】
1.一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征在于，步骤一中所述的数据预处理的过程为：
3.根据权利要求1所述的一种基于像素级别人脸修正预训练的深度伪造检测方法，其特征...
【专利技术属性】
技术研发人员：周琳娜，尤玮珂，李翔，林清然，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。