深度伪造视频检测方法技术

本公开提供了一种深度伪造视频检测方法

【技术实现步骤摘要】
深度伪造视频检测方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种深度伪造视频检测方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着计算机技术的发展，深度伪造技术的应用也越来越广泛
。
深度伪造技术是利用自动编码器
、
卷积神经网络
、
生成对抗网络
、
图像转换网络等技术完成对图像视频的重现
、
替换
、
编辑
、
合成等操作，其中对人脸的深度伪造应用最为广泛
。
为了避免深度伪造视频的泛滥对金融
、
交通
、
保险
、
通讯等行业造成安全威胁，需要对深度伪造视频进行检测
。
[0003]因此，目前亟需一种深度伪造视频检测方法，以确保深度伪造视频检测的准确性
、
可靠性以及实用性
。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息
。

技术实现思路

[0005]本公开提供一种深度伪造视频检测方法
、
装置
、
电子设备及存储介质，至少在一定程度上提高了深度伪造视频检测的准确性
、
可靠性以及实用性
。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得
。
[0007]根据本公开实施例的一个方面，提供了一种深度伪造视频检测方法，该方法包括：获取待检测视频；确定该待检测视频中各帧图像分别对应的融合特征向量，其中，该融合特征向量为基于空间域特征以及频域特征进行融合得到；将各帧图像分别对应的融合特征向量按帧的次序输入循环神经网络模型以得到对应的时域特征；对该时域特征进行分析，得到该待检测视频的深度伪造检测结果
。
[0008]在本公开的一些实施例中，确定该待检测视频中各帧图像分别对应的融合特征向量，包括：确定该待检测视频中各帧图像分别对应的空间域特征图，并确定各帧图像分别对应的频域特征图；根据各帧图像对应的空间域特征图与频域特征图，确定各帧图像对应的融合特征向量
。
[0009]在本公开的一些实施例中，确定该待检测视频中各帧图像分别对应的空间域特征图，并确定各帧图像分别对应的频域特征图，包括：将该待检测视频中各帧图像分别输入预训练后的
CNN(Convolutional Neural Network
，卷积神经网络
)
模型，得到各帧图像分别对应的空间域特征图；将该待检测视频中各帧图像分别输入
Gabor(
伽柏
)
滤波器，得到各帧图像分别对应的频域特征图
。
[0010]在本公开的一些实施例中，获取待检测视频之后，本公开实施例提供的深度伪造视频检测方法，还可以包括：对该待检测视频按帧的次序进行拆分并分别进行人脸识别
、
提取与裁剪处理，得到该待检测视频中各帧图像
。
[0011]在本公开的一些实施例中，根据各帧图像对应的空间域特征图与频域特征图，确定各帧图像对应的融合特征向量，包括：将该各帧图像对应的空间域特征图与频域特征图输入多模双线性池化层中进行特征融合，得到各帧图像对应的融合特征向量
。
[0012]在本公开的一些实施例中，本公开实施例提供的深度伪造视频检测方法可以包括：将该待检测视频输入深度伪造检测模型，该深度伪造检测模型用于确定该待检测视频中各帧图像分别对应的融合特征向量；将各帧图像分别对应的融合特征向量按帧的次序输入循环神经网络模型以得到对应的时域特征；对该时域特征进行分析，得到该待检测视频的深度伪造检测结果；
[0013]其中，本公开实施例提供的深度伪造视频检测方法，还可以包括：计算深度伪造视频检测的整体损失，其中，该整体损失包括交叉熵损失和分割损失；根据该整体损失进行模型训练，得到训练后的深度伪造检测模型
。
[0014]在本公开的一些实施例中，通过如下操作计算该整体损失中包括的分割损失：对各帧图像分别对应的融合特征向量进行逆卷积，得到特征差异图；根据该特征差异图计算该分割损失
。
[0015]根据本公开的另一个方面，提供一种深度伪造视频检测装置，包括：待检测视频获取模块，用于获取待检测视频；融合特征向量确定模块，用于确定该待检测视频中各帧图像分别对应的融合特征向量，其中，该融合特征向量为基于空间域特征以及频域特征进行融合得到；时域特征确定模块，用于将各帧图像分别对应的融合特征向量按帧的次序输入循环神经网络模型以得到对应的时域特征；深度伪造检测结果确定模块，用于对该时域特征进行分析，得到该待检测视频的深度伪造检测结果
。
[0016]在本公开的一些实施例中，融合特征向量确定模块，用于确定该待检测视频中各帧图像分别对应的空间域特征图，并确定各帧图像分别对应的频域特征图；根据各帧图像对应的空间域特征图与频域特征图，确定各帧图像对应的融合特征向量
。
[0017]在本公开的一些实施例中，融合特征向量确定模块，用于将该待检测视频中各帧图像分别输入预训练后的
CNN
模型，得到各帧图像分别对应的空间域特征图；将该待检测视频中各帧图像分别输入
Gabor
滤波器，得到各帧图像分别对应的频域特征图
。
[0018]在本公开的一些实施例中，本公开实施例提供的深度伪造视频检测装置还可包括：待检测视频处理模块，用于对该待检测视频按帧的次序进行拆分并分别进行人脸识别
、
提取与裁剪处理，得到该待检测视频中各帧图像
。
[0019]在本公开的一些实施例中，融合特征向量确定模块，用于将该各帧图像对应的空间域特征图与频域特征图输入多模双线性池化层中进行特征融合，得到各帧图像对应的融合特征向量
。
[0020]在本公开的一些实施例中，融合特征向量确定模块，用于将该待检测视频输入深度伪造检测模型，该深度伪造检测模型用于确定该待检测视频中各帧图像分别对应的融合特征向量；时域特征确定模块，用于将各帧图像分别对应的融合特征向量按帧的次序输入循环神经网络模型以得到对应的时域特征；对该时域特征进行分析，得到该待检测视频的深度伪造检测结果；
[0021]本公开实施例提供的深度伪造视频检测装置，还可包括：深度伪造检测模型训练模块，用于计算深度伪造视频检测的整体损失，其中，该整体损失包括交叉熵损失和分割损
失；根据该整体损失进行模型训练，得到训练后的深度伪造检测模型
。
[0022]在本公开的一些实施例中，深度伪造检测模型训练模块，用于通过如下操作计算该整体损失中包括的分割损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种深度伪造视频检测方法，其特征在于，包括：获取待检测视频；确定所述待检测视频中各帧图像分别对应的融合特征向量，其中，所述融合特征向量为基于空间域特征以及频域特征进行融合得到；将各帧图像分别对应的融合特征向量按帧的次序输入循环神经网络模型以得到对应的时域特征；对所述时域特征进行分析，得到所述待检测视频的深度伪造检测结果
。2.
根据权利要求1所述的深度伪造视频检测方法，其特征在于，所述确定所述待检测视频中各帧图像分别对应的融合特征向量，包括：确定所述待检测视频中各帧图像分别对应的空间域特征图，并确定各帧图像分别对应的频域特征图；根据各帧图像对应的空间域特征图与频域特征图，确定各帧图像对应的融合特征向量
。3.
根据权利要求2所述的深度伪造视频检测方法，其特征在于，所述确定所述待检测视频中各帧图像分别对应的空间域特征图，并确定各帧图像分别对应的频域特征图，包括：将所述待检测视频中各帧图像分别输入预训练后的卷积神经网络
CNN
模型，得到各帧图像分别对应的空间域特征图；将所述待检测视频中各帧图像分别输入伽柏
Gabor
滤波器，得到各帧图像分别对应的频域特征图
。4.
根据权利要求1至3任一所述的深度伪造视频检测方法，其特征在于，所述获取待检测视频之后，还包括：对所述待检测视频按帧的次序进行拆分并分别进行人脸识别
、
提取与裁剪处理，得到所述待检测视频中各帧图像
。5.
根据权利要求2或3所述的深度伪造视频检测方法，其特征在于，所述根据各帧图像对应的空间域特征图与频域特征图，确定各帧图像对应的融合特征向量，包括：将所述各帧图像对应的空间域特征图与频域特征图输入多模双线性池化层中进行特征融合，得到各帧图像对应的融合特征向量

【专利技术属性】
技术研发人员：王涛，徐馨兰，刘倩，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：