一种虚假视频检测方法及系统技术方案

本发明专利技术公开了一种虚假视频检测方法，包括：对待检测视频进行预处理，获取多个视频帧序列，其中，每个视频帧序列包括人脸图像；通过处理单个视频帧序列获得待检测的视频的频域特征；通过处理多个连续视频帧序列获得待检测的视频的时空特征；将频域特征和时空特征进行融合，获得待检测视频的融合特征图；利用视频分类网络处理融合特征图，得到表征待检测视频质量的检测信息。本发明专利技术同时还公开了一种虚假视频检测系统及电子设备。视频检测系统及电子设备。视频检测系统及电子设备。

【技术实现步骤摘要】
一种虚假视频检测方法及系统


[0001]本专利技术涉及深度学习和视频检测领域，具体涉及一种虚假视频检测方法、系统及电子设备。

技术介绍

[0002]深度学习驱动的生成模型的快速发展以及大量数据的可用性，使得任何攻击者能够伪造人类甚至计算机算法无法识别的虚假视频或图像。当前面部操纵技术的前沿
‑“
deepfake”创建的虚假视频和图像已经在Internet和社交媒体上被恶意传播。尤其是随着各种人脸操纵工具的出现，任何业余用户都可以随意的更改或生成虚假图片及视频的内容。而现有技术中针对虚假视频或图像的检测方法存在诸多问题，例如无法解决低质量的视频检测、对时间信息的利用不充足、泛化能力差等。

技术实现思路

[0003]有鉴于此，本专利技术的主要目的是提供一种虚假视频检测方法、系统级电子设备，以期至少部分地解决上述提及的技术问题中的至少之一。
[0004]为实现上述目的，本专利技术所采用的技术方案包括：
[0005]根据本专利技术的第一方面，提供了一种虚假视频检测方法，包括：
[0006]对待检测视频进行预处理，获取多个视频帧序列，其中，每个视频帧序列包括人脸图像；
[0007]通过处理单个视频帧序列获得待检测的视频的频域特征；
[0008]通过处理多个连续视频帧序列获得待检测的视频的时空特征；
[0009]将频域特征和时空特征进行融合，获得待检测视频的融合特征图；
[0010]利用视频分类网络处理融合特征图，得到表征待检测视频质量为真实或虚假的检测信息。
[0011]根据本专利技术的实施例，上述对待检测视频进行预处理包括：
[0012]利用视频处理工具处理待检测视频，获取视频帧序列集合；
[0013]从视频帧序列集合中随机选择多个视频帧序列，利用人脸检测工具获取视频帧序列的人脸图像部分；
[0014]利用人脸图像部分确定最小边界框，并根据预设的扩展值对最小边界框进行扩展，获得边框；
[0015]根据边框，利用图像裁剪工具对视频帧序列进行裁剪，获取包括人脸图像的多个视频帧序列。
[0016]根据本专利技术的实施例，上述通过处理单个视频帧序列获得待检测的视频的频域特征包括：
[0017]利用2D离散傅立叶变换处理单个视频帧序列，获取单个视频帧序列的频谱图；
[0018]构建频率带通滤波器，其中，频率带通滤波器包括低频率带通滤波器、中频率带通
滤波器和高频率带通滤波器；
[0019]利用频率带通滤波器处理频谱图，获得频率分量，其中，频率分量包括低频分量、中频分量和高频分量；
[0020]将频率分量逆变换到空间域，获得图像分量，其中，图像分量包括低频图像分量、中频图像分量和高频图像分量；
[0021]将图像分量沿通道轴堆叠，获得堆叠图像；
[0022]构建基于通道注意力机制的图像分类网络，利用图像分类网络处理堆叠图像，获得频域特征。
[0023]根据本专利技术的实施例，上述2D离散傅立叶变换由公式(1)表示：
[0024][0025]其中，M是单个视频帧的长度，N是单个视频帧的宽度，F(u,v)表示彩色图像的频谱，(u,v)表示频谱中的像素点位置坐标，(x,y)表示原始彩色图像的像素点位置坐标；
[0026]其中，频率带通滤波器由公式(2)表示：
[0027][0028]其中，图像分量由公式(3)表示：
[0029]R
i,n
(u,v)＝F
i
(u,v)
·
B
n
(u,v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，
[0030]其中，R
i,n
(u,v)表示图像分量。
[0031]根据本专利技术的实施例，上述图像分类网络采用ResNet 152模型作为骨干网络，通道注意力机制采用SENet层，在ResNet 152模型的残差分支上加入了SENet层；
[0032]其中，SENet层通过特征重标定操作对堆叠图像的频域特征进行增强或减弱。
[0033]根据本专利技术的实施例，上述通过处理多个连续视频帧序列获得待检测的视频的时空特征包括：
[0034]利用光流估计网络处理连续视频帧序列，获得光流矩阵；
[0035]利用光流矩阵，获得连续视频帧序列的短期时空特征；
[0036]利用长短期记忆人工神经网络处理光流矩阵，获得长期时空特征。
[0037]根据本专利技术的实施例，上述光流矩阵的像素点在t时刻的亮度由公式(4)表示：
[0038]I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)，
[0039]其中，I(x,y,t)表示在t时刻像素点p(x,y)处的亮度，p(Δx,Δy)表示在Δt时间内，像素点p(x,y)移动的距离，公式(4)表示像素点p(x,y)的亮度不会像素点的移动而发生改变；
[0040]对公式(4)进行1阶泰勒展开得到公式(5)：
[0041][0042]将公式(5)代入公式(4)，并且等式两边同时除以dt，可得到公式(6)：
[0043][0044]其中，表示像素点在X轴方向的运动矢量,表示像素点在Y轴方向的运动矢量,表示光流，用于表征相邻视频帧之间的短期时空特征。
[0045]根据本专利技术的实施例，上述视频分类网络包括全连接层、激活层和二值损失函数。
[0046]根据本专利技术的第二方面，提供了一种虚假视频检测系统，包括：
[0047]预处理模块，用于对待检测视频进行预处理，获取多个视频帧序列，其中，视频帧序列包括人脸图像；
[0048]单帧处理模块，用于通过处理单个视频帧序列获得待检测的视频的频域特征；
[0049]多帧处理模块，用于通过处理多个连续视频帧序列获得待检测的视频的时空特征；
[0050]融合模块，用于将频域特征和时空特征进行融合，获得待检测视频的融合特征图；
[0051]分类模块，用于利用视频分类网络处理融合特征图，得到表征待检测视频为真实或虚假的检测信息。
[0052]根据本专利技术的第三方面，提供了一种用于检测虚假视频的电子设备，包括：
[0053]一个或多个处理器；
[0054]存储装置，用于存储一个或多个程序，
[0055]其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述虚假视频检测方法。
[0056]本专利技术提供的虚假视频检测方法，通过挖掘视频帧图像不同频段的频域特征，并且通过通道注意力机制自适应地学习不同频段分量的权重，能够有效挖掘在传统空间域忽略的伪造特征；同时，本专利技术提供的虚假视频检测方法，具有较高的准确率和良好的泛化性。
附图说明
[0057]图1示意性示出了根据本专利技术实施例的虚假视频检测方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚假视频检测方法，包括：对待检测视频进行预处理，获取多个视频帧序列，其中，每个所述视频帧序列包括人脸图像；通过处理单个视频帧序列获得所述待检测的视频的频域特征；通过处理多个连续视频帧序列获得所述待检测的视频的时空特征；将所述频域特征和所述时空特征进行融合，获得所述待检测视频的融合特征图；利用视频分类网络处理所述融合特征图，得到表征待检测视频为真实或虚假的检测信息。2.根据权利要求1所述的方法，其中，所述对待检测视频进行预处理包括：利用视频处理工具处理所述待检测视频，获取视频帧序列集合；从所述视频帧序列集合中随机选择多个视频帧序列，利用人脸检测工具获取所述视频帧序列的人脸图像部分；利用所述人脸图像部分确定最小边界框，并根据预设的扩展值对所述最小边界框进行扩展，获得边框；根据所述边框，利用图像裁剪工具对所述视频帧序列进行裁剪，获取包括人脸图像的多个视频帧序列。3.根据权利要求1所述的方法，其中，通过处理单个视频帧序列获得所述待检测的视频的频域特征包括：利用2D离散傅立叶变换处理所述单个视频帧序列，获取所述单个视频帧序列的频谱图；构建频率带通滤波器，其中，所述频率带通滤波器包括低频率带通滤波器、中频率带通滤波器和高频率带通滤波器；利用频率带通滤波器处理所述频谱图，获得频率分量，其中，所述频率分量包括低频分量、中频分量和高频分量；将所述频率分量逆变换到空间域，获得图像分量，其中，所述图像分量包括低频图像分量、中频图像分量和高频图像分量；将所述图像分量沿通道轴堆叠，获得堆叠图像；构建基于通道注意力机制的图像分类网络，利用所述图像分类网络处理所述堆叠图像，获得所述频域特征。4.根据权利要求3所述的方法，其中，所述2D离散傅立叶变换由公式(1)表示：其中，M是所述单个视频帧的长度，N是所述单个视频帧的宽度，F(u,v)表示彩色图像的频谱，(u,v)表示频谱中的像素点位置坐标，(x,y)表示原始彩色图像的像素点位置坐标；其中，所述频率带通滤波器由公式(2)表示：其中，所述图像分量由公式(3)表示：
R
i,n
(u,v)＝F
i
(u,v)
·
B
n
(u,v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，其中，R
i,n...

【专利技术属性】
技术研发人员：张敏，谢海永，吴曼青，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：