一种基于双细粒度伪影的深度伪造视频检测方法技术

本发明专利技术公开了一种基于双细粒度伪影的深度伪造视频检测方法，包括：获取真伪成对的视频数据集；通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据集的视频内裁剪人脸区域、获得真伪成对的人脸图像序列；从所述真伪成对的人脸图像序列中获取伪造人脸图像的双细粒度伪影标注；采用在线伪造人脸数据增广方式扩充所述视频数据集中的伪造人脸图像；根据真伪人脸图像标注数据和深度神经网络输出计算相应的损失函数，训练所述深度伪造检测模型；训练好的深度伪造检测模型对深度伪造人脸图像进行检测，得到检测结果。本发明专利技术通过揭露深度伪造视频中固有存在的双细粒度伪影，显著提高了检测器的泛化性能。化性能。化性能。

【技术实现步骤摘要】
一种基于双细粒度伪影的深度伪造视频检测方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于双细粒度伪影的深度伪造视频检测方法。

技术介绍

[0002]深度伪造(DeepFake)技术借助深度学习模型和大数据可以轻松篡改甚至合成高度逼真的声音和图像等数字媒体内容。而近年来，关于人脸的深度伪造视频已经被广泛滥用于制作换脸色情视频，恶搞政治人物等。这给社会带来了严重的威胁。因此，针对深度伪造视频的检测是非常重要且紧急的。
[0003]目前主要的深度伪造检测的相关技术中，大多是基于数据驱动的深度网络模型方法，例如MesoNet、Capsule、XceptionNet、MTD
‑
Net、PRRNet、F3
‑
NET、STIL等。这些方法需要大量有标注的真实视频和深度伪造视频进行监督训练学习，通常依赖于特定的训练数据，一旦测试场景中出现和训练数据不同分布的，未知的伪造方法生成伪造视频时，这些方法通常难以准确的鉴别其真伪，意味着现有方法在真实的场景中的检测效果会大打折扣。
[0004]因此，现有技术面对未知的深度伪造技术所生成的伪造视频时，其检测性能大大下降，泛化性能还有待改进和发展。

技术实现思路

[0005]针对上述的现有方法缺陷，本专利技术提供一种基于双细粒度伪影的深度伪造视频检测方法、装置、智能终端及计算机可读存储介质，旨在解决现有技术中面对数据分布差异导致检测性能下降的问题，以提高检测模型的泛化性。
[0006]为实现上述技术目的，本专利技术的技术方案如下：
[0007]第一方面，本专利技术实施例提供一种基于双细粒度伪影的深度伪造视频检测方法，所述方法包括：
[0008]获取真伪成对的视频数据集；
[0009]通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据集的视频内裁剪人脸区域、获得真伪成对的人脸图像序列；
[0010]从所述真伪成对的人脸图像序列中获取伪造人脸图像的双细粒度伪影标注；
[0011]对所述视频数据集采用深度神经网络进行训练并随机选不同视频的视频帧，采用在线伪造人脸数据增广方式扩充所述视频数据集中的伪造人脸图像；
[0012]根据所述真伪人脸图像的双细粒度伪影标注数据和深度神经网络输出计算相应的损失函数，训练所述深度伪造检测模型；
[0013]用训练好的深度伪造检测模型对深度伪造人脸图像进行检测，得到检测结果。
[0014]在一种实现方式中，所述通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据集的视频内裁剪人脸区域、获得真伪成对的人脸图像序列具体包括：
[0015]将所述数据集内视频转换为图像帧序列；
[0016]基于所述图像帧序列，使用人脸检测模型对其中真实视频的图像帧序列检测人脸区域，以得到真实图像帧序列中人脸区域的位置坐标值序列；
[0017]基于所述真实图像帧序列中人脸区域的位置坐标值序列，从相互成对的真伪图像帧序列裁剪出相应的人脸图像序列。
[0018]在一种实现方式中，所述从所述真伪成对的人脸图像序列中获取伪造人脸图像的双细粒度伪影标注具体包括：
[0019]成对真伪人脸图像之间对应像素做减法运算后，再取其绝对值获得差异图，然后用一个预先定义的阈值对差异图进行二值化操作得到二值化差异图，最后计算二值化差异图的凸包以得到内在细粒度伪影的标注掩码图。
[0020]通过所述内在细粒度伪影的标注掩码图进行形态学中的膨胀操作和腐蚀操作分别得到膨胀内在细粒度伪影掩码图和腐蚀内在细粒度伪影掩码图，最后计算膨胀内在细粒度伪影掩码图减去腐蚀内在细粒度伪影掩码图以得到外在细粒度伪影的标注掩码图。
[0021]其中内在细粒度伪影是生成模型中的一系列常见操作(如上卷积或上采样)引起的，外在细粒度伪影是由后处理中的一个常见步骤引入的，该步骤将合成的人脸与原始视频进行融合。双细粒度伪影标注掩码图包括内在细粒度伪影的标注掩码图和外在细粒度伪影的标注掩码图。
[0022]在一种实现方式中，所述对所述视频数据集采用深度神经网络进行训练并随机选不同视频的视频帧，采用在线伪造人脸数据增广方式扩充所述视频数据集中的伪造人脸图像具体包括：
[0023]通过一张深度伪造人脸图像和其人脸角度相似但不对应的真实人脸生成一张新的伪造图像，以及一张真实人脸图像和其人脸角度相似的另一张真实人脸生成一张新的伪造图像。通过所述的两种合成方法扩充数据集中伪造人脸图像；
[0024]在一种实现方式中，所述基于双细粒度伪影的深度伪造视频检测方法,其中，所述根据真伪人脸图像标注数据和深度神经网络输出计算相应的损失函数，训练所述深度伪造检测模型：
[0025]将真伪人脸图像输入到深度神经网络，得到真伪分类的概率置信度输出，以及预测内在细粒度伪影和外在细粒度伪影的两个的掩码图输出。并将所述深度神经网络的输出和标注数据计算损失函数，根据损失函数训练所述深度伪造检测模型。
[0026]在一种实现方式中，所述基于双细粒度伪影的深度伪造视频检测方法，其中，所述深度神经网络具体包括：
[0027]将真伪人脸图像输入到所述深度神经网络的编码器中，以得到深度特征；然后深度特征通过全局池化层和线性分类层以得到真伪分类的概率置信度输出；同时将深度特征通过两个并联的解码器分别得到内在细粒度伪影和外在细粒度伪影的预测掩码图输出。
[0028]在一种实现方式中，所述基于双细粒度伪影的深度伪造视频检测方法，其中，所述损失函数具体包括：
[0029]对于真伪分类的概率置信度输出，计算交叉熵损失函数：
[0030]L
Cls
＝y log(O
Cls
(x))+(1
‑
y)log(1
‑
O
Cls
(x))
[0031]其中，x是输入的人脸图像样本，y是样本的类别标签，y＝0表示输入的是真实人脸
图像，y＝1表示输入的是伪造人脸图像，O
Cls
(x)表示所述深度神经网络输出的真伪分类的概率置信度。
[0032]对于内在细粒度伪影和外在细粒度伪影的预测掩码图输出，计算像素级别的交叉熵损失函数：
[0033][0034][0035]其中O
In
(x)和O
Ex
(x)分别表示所述深度神经网络输出的内在细粒度伪影和外在细粒度伪影的预测掩码图，M
In
和M
Ex
分别表示所述内在细粒度伪影和外在细粒度伪影的标注掩码图，i,j表示掩码图上的像素定位。
[0036]一种基于双细粒度伪影的深度伪造视频检测装置，其中，包括：
[0037]获取模块，用于获取真伪成对的视频数据集；
[0038]裁剪处理模块，用于通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双细粒度伪影的深度伪造视频检测方法，其特征在于，所述检测方法包括：获取真伪成对的视频数据集；通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据集的视频内裁剪人脸区域、获得真伪成对的人脸图像序列；从所述真伪成对的人脸图像序列中获取伪造人脸图像的双细粒度伪影标注；对所述视频数据集采用深度神经网络进行训练并随机选不同视频的视频帧，采用在线伪造人脸数据增广方式扩充所述视频数据集中的伪造人脸图像；根据所述真伪人脸图像的双细粒度伪影标注数据和深度神经网络输出计算相应的损失函数，训练所述深度伪造检测模型；用训练好的深度伪造检测模型对深度伪造人脸图像进行检测，得到检测结果。2.根据权利要求1所述的基于双细粒度伪影的深度伪造视频检测方法，其特征在于，所述通过人脸检测模型获取真实视频内人脸区域的位置坐标值序列，并从所述真伪成对的视频数据集的视频内裁剪人脸区域、获得真伪成对的人脸图像序列的步骤包括：将所述数据集内视频转换为图像帧序列；基于所述图像帧序列，使用人脸检测模型对其中真实视频的图像帧序列检测人脸区域，以得到真实图像帧序列中人脸区域的位置坐标值序列；基于所述真实图像帧序列中人脸区域的位置坐标值序列，从相互成对的真伪图像帧序列裁剪出相应的人脸图像序列。3.根据权利要求1所述的基于双细粒度伪影的深度伪造视频检测方法，其特征在于，所述从所述真伪成对的人脸图像序列中获取伪造人脸图像的双细粒度伪影标注的步骤包括：将成对真伪人脸图像之间对应像素做减法运算，取其绝对值获得差异图；用一个预先定义的阈值对差异图进行二值化操作得到二值化差异图，最后计算二值化差异图的凸包以得到内在细粒度伪影的标注掩码图；通过所述内在细粒度伪影的标注掩码图进行形态学中的膨胀操作和腐蚀操作分别得到膨胀内在细粒度伪影掩码图和腐蚀内在细粒度伪影掩码图，最后计算膨胀内在细粒度伪影掩码图减去腐蚀内在细粒度伪影掩码图以得到外在细粒度伪影的标注掩码图；其中，内在细粒度伪影是生成模型中的一系列常见操作(如上卷积或上采样)引起的，外在细粒度伪影是由后处理中的一个常见步骤引入的，该步骤将合成的人脸与原始视频进行融合；双细粒度伪影标注掩码图包括内在细粒度伪影的标注掩码图和外在细粒度伪影的标注掩码图。4.根据权利要求1所述的基于双细粒度伪影的深度伪造视频检测方法，其特征在于，所述对所述视频数据集采用深度神经网络进行训练并随机选不同视频的视频帧，采用在线伪造人脸数据增广方式扩充所述视频数据集中的伪造人脸图像的步骤包括：通过一张深度伪造人脸图像和其人脸角度相似但不对应的真实人脸生成一张新的伪造图像，以及一张真实人脸图像和其人脸角度相似的另一张真实人脸生成一张新的伪造图像。通过所述的两种合成方法扩充数据集中伪造人脸图像。5.根据权利要求1所述的基于双细粒度伪影的深度伪造视频检测方法,其特征在于，所述根据真伪人脸图像标注数据和深度神经网络输出计算相应的损失函数，训练所述深度伪造检测模型：
将真伪人脸图像输入到深度神经网络，得到真伪分类的概率置信度输出，以及预测内在细粒度...

【专利技术属性】
技术研发人员：李斌，陈涵，巫俊强，
申请(专利权)人：深圳大学，
类型：发明
国别省市：