基于新型神经网络架构的深度伪造视频检测方法及装置制造方法及图纸

本申请涉及一种基于新型神经网络架构的深度伪造视频检测方法及装置

【技术实现步骤摘要】
基于新型神经网络架构的深度伪造视频检测方法及装置


[0001]本申请涉及视频检测
，特别是涉及一种基于新型神经网络架构的深度伪造视频检测方法及装置
。

技术介绍

[0002]随着深度学习算法的创新突破，计算机视觉和图像技术迎来了新的发展浪潮，生成极具真实感的面部修改图像或视频变得越来越容易
。
新一代的生成深度神经网络可以从大量训练数据中，自动生成极具真实感的图像或视频
。
尤其是
Deepfake
的出现，大大降低了面部修改技术的门槛
。Deepfake
使用生成对抗网络将原始视频中的面部，以近乎完美的方式替换成另一个人的面部
。
深度人脸伪造技术这把双刃剑在给人们带来令人称奇的娱乐服务的同时，其滥用产生的虚假视频及新闻也日益浮现
。
面部修改应用的迅速走红，引发了人们对伪造图像和视频传播的担忧
。
越来越多的研究人员投身于面部修改伪造检测领域
。
[0003]然而，目前的通过采用模型集成
、
知识蒸馏来进行伪造视频检测，但该类方法虽提升了检测精度，但一方面使得模型臃肿庞大难以训练，另一方面模型泛化能力十分有限
、
关注语义层次较低，在识别未知方法未知来源的深度伪造视频时往往效果较差
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高深度伪装视频检测精度的基于新型神经网络架构的深度伪造视频检测方法
、
装置
、
计算机设备和存储介质
。
[0005]一种基于新型神经网络架构的深度伪造视频检测方法，所述方法包括：
[0006]获取待检测的伪装视频数据；
[0007]构建新型神经网络结构；新型神经网络架构包括数据增强模块
、MTCNN
算法模块
、
特征提取器
、
线性层
、
融合计算层和线性分类器；
[0008]根据预先获取的训练集对新型神经网络结构进行训练，得到训练好的新型神经网络结构；
[0009]将待检测的伪装视频数据输入到训练好的新型神经网络中，利用数据增强模块对伪装视频数据进行数据增强，得到增强后的伪装视频数据；
[0010]根据
MTCNN
算法模块对增强后的伪装视频数据进行识别，得到图像数据集；
[0011]利用特征提取器对图像数据集进行特征提取，得到特征图集；
[0012]根据线性层对特征图集进行映射，得到特征向量集；
[0013]利用融合计算层对特征向量集进行特征融合，得到融合后的特征；
[0014]根据线性分类器对融合后的特征进行分类检测，得到检测结果
。
[0015]在其中一个实施例中，利用数据增强模块对伪装视频数据进行数据增强，得到增强后的伪装视频数据，包括：
[0016]在数据增强模块中采用比较正交投影将伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点；
[0017]采用凸包边缘演化的思想，使用连续曲线表达边缘，定义映射公式，根据映射公式对投影点进行映射，得到增强后的伪装视频数据
。
[0018]在其中一个实施例中，在数据增强模块中采用比较正交投影将伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点，包括：
[0019]在数据增强模块中采用比较正交投影将伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点为
[0020][0021]其中，
R,t,s
为姿态参数，其中为旋转矩阵，为二维平移向量，
s
为摄像机焦距与虚拟摄像机与物体的平均距离之比，
v
表示二维轮廓点的坐标
。
[0022]在其中一个实施例中，根据映射公式对投影点进行映射，得到增强后的伪装视频数据，包括：
[0023]根据映射公式对投影点进行映射，得到增强后的伪装视频数据为
[0024][0025]其中，
α
表示形状参数，
(x,y)
T
表示二维图像数据中任取一像素点，包含
S
个主成分，为三维点构成三维物体表面的平均形状，
B(
α
,R,t,s)
为三维脸部轮廓
。
[0026]在其中一个实施例中，特征提取器包括
Global
‑
branch
分支提取器和
Local
‑
branch
分支提取器
。
[0027]在其中一个实施例中，根据特征提取器对图像数据集进行特征提取，得到特征图，包括：
[0028]根据
Global
‑
branch
分支提取器对图像数据集进行大尺寸特征提取，得到
64
×
64
大小的特征图；
[0029]根据
Global
‑
branch
分支提取器对图像数据集进行小尺寸特征提取，得到7×7大小的特征图
。
[0030]在其中一个实施例中，新型神经网络架构还包括多头自注意力层
、
归一化层
、
前馈线形层和遮蔽自注意力层
。
[0031]在其中一个实施例中，利用融合计算层对特征向量集进行特征融合，得到融合后的特征，包括：
[0032]利用融合计算层对特征向量集进行特征融合，得到融合后的特征为
[0033][0034]k
＝
x
′
l
W
k
；
v
＝
x
′
l
W
v
[0035][0036]CA(x
′
l
)
＝
Av
[0037][0038][0039]其中，表示融合后的特征，均为可学习的参数，
C
和
h
分别代表隐藏层维度及新型神经网络架构的注意力头数，
f
l
(
·
)
及
g
l
(
·
)
分别代表用以将两分支向量维度转化为相同的映射函数，
x
i
表示经卷积神经网络提取出来的特征向量序列，其中
i
为
l
或是
s
，分别代表大特征图和小特征图对应的序列，表示特征向量集中的任意特征向量，表示小特征图对应图像块向量，表示大特征图类向量，
x
′
l
表示大特征图对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于新型神经网络架构的深度伪造视频检测方法，其特征在于，所述方法包括：获取待检测的伪装视频数据；构建新型神经网络结构；所述新型神经网络架构包括数据增强模块
、MTCNN
算法模块
、
特征提取器
、
线性层
、
融合计算层和线性分类器；根据预先获取的训练集对所述新型神经网络结构进行训练，得到训练好的新型神经网络结构；将所述待检测的伪装视频数据输入到所述训练好的新型神经网络中，利用数据增强模块对所述伪装视频数据进行数据增强，得到增强后的伪装视频数据；根据所述
MTCNN
算法模块对所述增强后的伪装视频数据进行识别，得到图像数据集；利用所述特征提取器对所述图像数据集进行特征提取，得到特征图集；根据所述线性层对所述特征图集进行映射，得到特征向量集；利用所述融合计算层对所述特征向量集进行特征融合，得到融合后的特征；根据线性分类器对所述融合后的特征进行分类检测，得到检测结果
。2.
根据权利要求1所述的方法，其特征在于，利用数据增强模块对所述伪装视频数据进行数据增强，得到增强后的伪装视频数据，包括：在所述数据增强模块中采用比较正交投影将所述伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点；采用凸包边缘演化的思想，使用连续曲线表达边缘，定义映射公式，根据映射公式对所述投影点进行映射，得到增强后的伪装视频数据
。3.
根据权利要求2所述的方法，其特征在于，在所述数据增强模块中采用比较正交投影将所述伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点，包括：在所述数据增强模块中采用比较正交投影将所述伪装视频数据中二维轮廓点与三位模型面进行正交投影，得到二维轮廓点在三维物体平面上的投影点为其中，
R,t,s
为姿态参数，其中为旋转矩阵，为二维平移向量，
s
为摄像机焦距与虚拟摄像机与物体的平均距离之比，
v
表示二维轮廓点的坐标
。4.
根据权利要求3所述的方法，其特征在于，根据映射公式对所述投影点进行映射，得到增强后的伪装视频数据，包括：根据映射公式对所述投影点进行映射，得到增强后的伪装视频数据为其中，
α
表示形状参数，
(x,y)
T
表示二维图像数据中任取一像素点，包含
S
个主成分，为三维点构成三维物体表面的平均形状，
B(
α
,R,t,s)
为三维脸部轮廓
。5.
根据权利要求1所述的方法，其特征在于，所述特征提取器包括
Global
‑
branch
分支提取器和
Local
‑
branch
分支提取器
。
6.
根据权利要求5所述的方法，其特征在于，根据所述特征提取器对所述图像数据集进行特征提取，得到特征图，包括：根据所述
Global
‑
branch
分支提取器对所述图像数据集进行大尺寸特征提取，得到
64
×
64
大小的特征图；根据所述
Global
‑
branch
分支提取器对所述图像数据集进行小尺寸特征提取，得到7×7大小的特征图
。7.
根据权利要求1至6任意一项所述的方法，其特征在于，所述新型神经网络架构还包括多头自注意力层
、
归一化层

【专利技术属性】
技术研发人员：于天元，王泽源，王昊冉，白亮，汤俊，郭延明，阮逸润，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：