一种提升DeepFake视频检测精度的方法技术

本发明专利技术公开一种提升DeepFake视频检测精度的方法，包括步骤：对真实人脸视频及对应的伪造人脸视频分别解码，按帧存储为不同图像序列；对伪造人脸图像序列逐个进行人脸检测；对人脸检测框位置修正，提取修正后人脸检测框内人脸区域关键点信息；用修正后人脸检测框位置裁剪真实人脸，构建Soft Label扩增数据，形成多个不同融合图像；对裁剪的真实人脸进行人脸姿态矫正；将真实人脸视频与伪造人脸视频中不同ID人脸与Soft Label扩增后人脸分别存储，用于后续模型训练。本发明专利技术通过人脸跟踪技术的使用可大幅缩减检测时间；通过用Soft Label进行数据扩增，可以让标签更为平滑，训练更容易收敛，最终提升模型性能。最终提升模型性能。最终提升模型性能。

【技术实现步骤摘要】
一种提升DeepFake视频检测精度的方法


[0001]本专利技术涉及人脸视频伪造检测
，特别是涉及一种提升DeepFake视频检测精度的方法。

技术介绍

[0002]换脸技术Deepfake是由“deep machine learning”(深度机器学习)和“fake photo”(假照片)组合而成，该技术出现后，给大众带来欢乐的同时，也在被不少人滥用，对社会造成危害。因此就需要相应的视频检测以识别检测其真伪，即对视频流中的伪造人脸进行伪造检测以识别其中的人脸的真伪，以满足用户对人脸伪造视频甄别的要求。然而现有人脸伪造检测技术在视频检测精度、检测时间以及运行速度上均有待进一步提升。

技术实现思路

[0003]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种提升DeepFake视频检测精度的方法。
[0004]为实现本专利技术的目的所采用的技术方案是：
[0005]一种提升DeepFake视频检测精度的方法，包括步骤如下：
[0006]对真实人脸视频及基于该真实人脸视频形成的伪造人脸视频分别解码，并按帧存储为不同的图像序列；
[0007]对输入的伪造人脸图像序列逐个进行人脸检测；
[0008]利用跟踪方法对人脸检测中提取的人脸检测框位置修正，保存修正后人脸检测框的位置；
[0009]利用关键点检测算法提取修正后人脸检测框内人脸区域的关键点信息；
[0010]利用修正后人脸检测框位置裁剪真实人脸图像序列中真实人脸视频中对应的真实人脸，构建Soft Label扩增数据；
[0011]利用所述关键点信息，根据人脸对齐算法对裁剪的真实视频中的人脸进行人脸姿态矫正；
[0012]图像序列遍历完成后，将真实人脸视频与伪造人脸视频中不同ID人脸与Soft Label扩增后人脸分别存储，用于后续深度伪造鉴别模型训练。
[0013]本专利技术通过对伪造人脸序列进行检测跟踪，保存人脸检测框，然后直接在对应到真实人脸序列中提取直实人脸位置，可以大幅缩减检测时间。
[0014]本专利技术通过利用Soft Label(软标签)进行数据扩增，可以让标签更为平滑，训练更容易收敛，同时通过设置不同的权重参数weight可以对训练数据扩增，进行高效增广，最终提升模型性能。
附图说明
[0015]图1是本专利技术实施例的提升DeepFake视频检测精度的方法的整体流程示意图。
[0016]图2为本专利技术实施例的提升DeepFake视频检测精度的方法处理过程的示意图。
[0017]图3为本专利技术实施例的通过Soft Label形成的多个融合图像的示意图。
具体实施方式
[0018]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0019]如图1所示，本专利技术实施例的提升DeepFake视频检测精度的方法，包括步骤：
[0020]对真实人脸视频及基于该真实人脸视频形成的伪造人脸视频分别解码，并按帧存储为不同的图像序列；
[0021]对输入的伪造人脸图像序列逐个进行人脸检测；
[0022]利用跟踪方法对人脸检测中提取的人脸检测框位置修正，保存修正后人脸检测框的位置；
[0023]利用关键点检测算法提取修正后人脸检测框内人脸区域的关键点信息；
[0024]利用修正后人脸检测框位置裁剪真实人脸图像序列中真实人脸视频中对应的真实人脸，构建Soft Label扩增数据；
[0025]利用所述关键点信息，根据人脸对齐算法对裁剪的真实视频中的人脸进行人脸姿态矫正；
[0026]图像序列遍历完成后，将真实人脸视频与伪造人脸视频中不同ID人脸与Soft Label扩增后人脸分别存储，用于后续深度伪造鉴别模型训练。
[0027]由于在公开测试集及自主生成的DeepFake伪造数据集中，大多包含伪造视频及其对应到真实视频，由于存在多种不同生成方法，故一种真实视频可生成多个伪造视频，利用这些视频中对应帧人脸位置一致的关系，可以在一个真实或伪造视频中检测出人脸位置后，直接用该位置裁剪其他视频中的人脸区域。
[0028]本专利技术实施例通过对伪造人脸序列进行检测跟踪，保存检测框，然后直接在对应到真实人脸序列中提取人脸位置，可以大幅缩减检测时间。
[0029]现有DeepFake检测方法中，均采用Hard Label，即将真实视频的标签定为0，伪造视频的标签定为1，本专利技术从伪造人脸与真实人脸存在对应关系的角度出发，将真实人脸与伪造人脸进行不同比例的融合，从而获得不同的Label,形成获得融合图像的不同Soft Label。
[0030]如设权重参数weight为0.1，代表伪造人脸(Fake)权重为0.1，真实人脸(Real)权重为0.9，此时融合后图像的Soft Label为0.1，融合后的图像表达如下：
[0031]F
merge
＝weight*F
fake
+(1
‑
weight)*F
real
[0032]F
merge
代表融合后的图像，F
fake
代表伪造人脸图像，F
real
代表真实人脸图像。
[0033]通过上述的利用Soft Label，可以让标签更为平滑，训练更容易收敛，同时通过设置不同的权重参数weight∈(0,1)可以对训练数据扩增，进行高效增广，最终提升模型性能，形成的不同的融合图像，请参见图3所示。
[0034]另外，本专利技术实施例中引入跟踪及识别算法，可处理一帧图像中出现多个人脸的情况，利用识别算法，可以将不同ID的人脸存储于不同的序列，为后续鉴伪方法提供便利，使其具备评价视频真伪能力的同时，可以准确判别视频中具体的伪造人物。
[0035]参见图2所示，通过黑色质心的波动对比可以看到，在检测过程中引入跟踪技术或方法后，波动减小，更为稳定、平滑的人脸裁剪框可以减少抖动噪声，可以让基于时序的鉴伪模型更关注帧间的时序信息。
[0036]对人脸跟踪时，主要是通过预测下一时刻的人脸检测框来实现的：已知t
‑
1时刻下人脸检测框位置为x
t
‑1,y
t
‑1,w
t
‑1,h
t
‑1,分别代表t
‑
1时刻检测框左上角坐标点和检测框的宽度与高度，设视频序列中，人脸匀速运动，即为常数，t时刻下人脸检测框的位置由于检测过程中，检测框位置存在抖动，因此需要预测t时刻下检测框的最优位置。
[0037]为提升运行速度，本专利技术实施例将跟踪算法中的参数矩阵改为上三角矩阵，如跟踪过程中的系统状态用X
[x,y,w,h,Δx,Δy,Δw,Δh]表示，其元素分别代表人脸检测框的左上角顶点坐标、检测框的长度、宽度以及它们的变化量；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.提升DeepFake视频检测精度的方法，其特征在于，包括步骤：对真实人脸视频及基于该真实人脸视频形成的伪造人脸视频分别解码，并按帧存储为不同的图像序列；对输入的伪造人脸图像序列逐个进行人脸检测；利用跟踪方法对人脸检测中提取的人脸检测框位置修正，保存修正后人脸检测框的位置；利用关键点检测算法提取修正后人脸检测框内人脸区域的关键点信息；利用修正后人脸检测框位置裁剪真实人脸图像序列中真实人脸视频中对应的真实人脸，构建Soft Label扩增数据；利用所述关键点信息，根据人脸对齐算法对裁剪的真实视频中的人脸进行人脸姿态矫正；图像序列遍历完成后，将真实人脸视频与伪造人脸视频中不同ID人脸与Soft Label扩增后人脸分别存储，用于后续深度伪造鉴别模型训练。2.根据权利要求1所述提升DeepFake视频检测精度的方法，其特征在于，所述根据人脸对齐算法进行人脸姿态矫正的步骤之后，包括步骤：利用人脸识别算法，判断人脸姿态矫正后的人脸图像是否为已知ID序列，若是，则将该人脸图像加入对应的已知ID序列，若否，则新建ID序列。3.根据权利要求1或2所述提升DeepFake视频检测精度的方法，其特征在于，所述构建Soft Label扩增数据，是将真实人脸与伪造人脸按权重进行不同比例融合，获得不同Label,从而形成融合图像的不同Soft Labe，利用不同Soft Labe构建出多个融合图像，形成扩增数据；其中，融合图像表达如下：F
merge
＝weighf*F
fake
+(1
‑
weight)*F
real

【专利技术属性】
技术研发人员：茹一伟，孙哲南，何召锋，李琦，
申请(专利权)人：天津中科智能识别有限公司，
类型：发明
国别省市：