一种基于多特征融合检测Deepfake视频方法技术

本发明专利技术公开了一种基于多特征融合检测Deepfake视频方法。该方法包括：对于待判决视频设定时间段内的多个视频帧，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量；对于该多个视频帧，计算表征帧内特征的帧内特征向量；将所述帧间特征向量和所述帧内特征向量进行串接，获得融合特征向量，并将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。本发明专利技术能够快速、准确地检测输入的视频文件是否经过了DeepFake等算法的改造，有助于对抗因滥用合成视频技术而造成的潜在危害。

A method of detecting deepfake video based on multi feature fusion

【技术实现步骤摘要】
一种基于多特征融合检测Deepfake视频方法
本专利技术涉及多媒体安全
，更具体地，涉及一种基于多特征融合检测Deepfake视频方法。
技术介绍
Deepfake是指利用深度学习技术替换一段视频或图片中的人脸部分的技术，该技术可以自动生成大量的替换过人脸的虚假视频。Deepfake图像检测技术基于其判别原理可以分为四种：1)、采用传统图像取证方法，在像素级别上构建模型来检测Deepfake，但是这类借鉴传统图像取证技术的检测模型可以在伪造图像上加噪声的方式绕过；2)通过修改CNN网络架构和损失函数等方式检测Deepfake，这种方式容易受到对抗样本的攻击；3)通过分析和提取视频中真伪图像自身的差异化特征，进而训练分类器进行检测；4)基于GAN指纹特征的检测方法，然而Deepfake生成模型可通过选用无指纹特征的GAN来绕过这类检测，且GAN指纹特征不具有持久性和通用性。在现有技术中，对于deepfake视频的检测还存在很多挑战。以采用SIFT特征点来匹配相邻视频帧之间差异的方案为例(如[MilijanDordevic,DeepfakeVideoAnalysisusingSIFTFeature,10.1109/TELFOR48224.2019.8971206])，该SIFT匹配方案检测到的兴趣点主要是对比度突然变化的部分，例如图像纹理、颜色、以及边缘的快速变化。该方案采用高斯差分法以及正则化来筛选关键点，基于局部图像梯度方向，确保算法的方向不变性；采用直方图平均，确保光照不变性。该方案主要包括：提取Deepfake和真实视频中连续帧上的SIFT特征，并进行配对；在同一帧显示Deepfake和原始视频的帧匹配组数，并采用滑动平均滤波器对匹配结果进行滤波；计算出帧匹配百分比的平均值，标准差和中值，以及原始视频与Deepfake之间的均方差。该方案存在的缺陷是：在检测时，关键点主要集中在轮廓边缘、角点区域，而平滑区域关键点很少，特征提取不均匀、不充分；关键点提取和匹配耗时，实时性不高。随着Deepfake技术的发展，图像拼接的边缘更平滑，导致该方案将更加难以提取足量特征点对Deepfake视频进行检测。
技术实现思路
本专利技术的目的是克服上述现有技术的缺陷，提供一种基于多特征融合检测Deepfake视频方法，其结合像素级特征和视频级特征，实现实时、准确地判决视频网站中视频的真伪。本专利技术提供一种基于多特征融合检测Deepfake视频方法，包括以下步骤：对于待判决视频设定时间段内的多个视频帧M，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量E；对于该多个视频帧M，计算表征帧内特征的帧内特征向量Ω；将所述帧间特征向量E和所述帧内特征向量Ω进行串接，获得融合特征向量[E，Ω]，将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。在一个实施例中，根据以下步骤形成所述帧间特征向量E：对于M帧中的每一帧，筛选视频中人脸的特征点，将第i个特征点表示为Ai，其坐标为(xi，yi)，1≤i≤n，n为特征点数目；对每一帧，计算特征点两两之间的归一化欧氏距离，特征点Ai和Aj间的归一化欧氏距离定义为：将特征点两两之间的归一化欧氏距离构建为n*n的矩阵，并仅保留矩阵上三角位置的个元素，展开排列成准的向量X，作为一帧的向量；计算相邻两帧向量Xk和Xk+1之间的相关度值，获得k-1个相关度值，其中Xk和Xk+1分别表示第k帧和k+1帧的向量，1≤k≤M-1；将k-1个相关度值排列形成k-1维向量，作为帧间特征向量E。在一个实施例中，所述相邻两帧向量Xk和Xk+1之间的相关度采用方差、均方差、协方差、欧氏距离或皮尔逊相关度来表征。在一个实施例中，所述相邻两帧向量Xk和Xk+1之间的相关度为皮尔逊相关度，表示为：其中表示向量Xk中元素的均值，表示向量Xk中元素的标准差，1≤k≤M-1。在一个实施例中，所述计算表征帧内特征的帧内特征向量Ω包括：对M帧进行均匀下采样，得到F帧；对F帧中的每一帧，提取面部图像并计算残差图像，将提取到的面部图像表示为I，其坐标(u，v)处的像素值为Iu，v，则残差图像D在坐标(u，v)处的值定义为：Du，v＝Iu，v-Iu+1，v；计算每帧残差图像D的局部邻域的中值，表示为median{Du，v，Du+1，v，Du，v+1}，进而形成残差中值矩阵V；对每一帧的矩阵V，进行W*W邻域的线性回归，并将得到的线性回归系数向量ω作为该帧的帧内特征向量；将所有F帧的帧内特征向量进行串接，得到Ω＝[ω1，ω2，...，ωF]，作为视频的帧内特征向量。在一个实施例中，所述计算表征帧内特征的帧内特征向量Ω包括：对M帧中的每一帧，提取面部图像并计算残差图像，将提取到的面部图像表示为I，其坐标(u，v)处的像素值为Iu，v，则残差图像D在坐标(u，v)处的值定义为：Du，v＝Iu，v-Iu+1，v；计算每帧残差图像D的局部邻域的中值，表示为median{Du，v，Du+1，v，Du，v+1}，进而形成残差中值矩阵V；对每一帧的矩阵V，进行W*W邻域的线性回归，并将得到的线性回归系数向量ω作为该帧的帧内特征向量；将所有M帧的帧内特征向量进行串接，得到Ω＝[ω1，ω2，...，ωM]，作为视频的帧内特征向量。在一个实施例中，所述分类器包括线性分类器、支持向量机、朴素贝叶斯、K近邻、决策树、集成模型、循环神经网络或卷积神经网络。与现有技术相比，本专利技术同时融合了帧内特征与帧间特征，并且首次提出对残差图像的局部中值进行线性回归来提取帧内特征，弥补了帧内特征的局限性。本专利技术通过提取视频中相邻帧，判断帧之间的差异，能够实现对视频快速稳定地检测。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是根据本专利技术一个实施例的基于多特征融合检测Deepfake视频方法的流程图；图2是根据本专利技术一个实施例的基于多特征融合检测Deepfake视频方法的过程示意图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不本文档来自技高网...

【技术保护点】
1.一种基于多特征融合检测Deepfake视频方法，包括以下步骤：/n对于待判决视频设定时间段内的多个视频帧M，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量E；/n对于该多个视频帧M，计算表征帧内特征的帧内特征向量Ω；/n将所述帧间特征向量E和所述帧内特征向量Ω进行串接，获得融合特征向量[E，Ω]，将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。/n

【技术特征摘要】
1.一种基于多特征融合检测Deepfake视频方法，包括以下步骤：
对于待判决视频设定时间段内的多个视频帧M，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量E；
对于该多个视频帧M，计算表征帧内特征的帧内特征向量Ω；
将所述帧间特征向量E和所述帧内特征向量Ω进行串接，获得融合特征向量[E，Ω]，将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。


2.根据权利要求1所述的方法，其中，根据以下步骤形成所述帧间特征向量E：
对于M帧中的每一帧，筛选视频中人脸的特征点，将第i个特征点表示为Ai，其坐标为(xi，yi)，1≤i≤n，n为特征点数目；
对每一帧，计算特征点两两之间的归一化欧氏距离，特征点Ai和Aj间的归一化欧氏距离定义为：



将特征点两两之间的归一化欧氏距离构建为n*n的矩阵，并仅保留矩阵上三角位置的个元素，展开排列成维的向量X，作为一帧的向量；
计算相邻两帧向量Xk和Xk+1之间的相关度值，获得k-1个相关度值，其中Xk和Xk+1分别表示第k帧和k+1帧的向量，1≤k≤M-1；
将k-1个相关度值排列形成k-1维向量，作为帧间特征向量E。


3.根据权利要求2所述的方法，其中，所述相邻两帧向量Xk和Xk+1之间的相关度采用方差、均方差、协方差、欧氏距离或皮尔逊相关度来表征。


4.根据权利要求2所述的方法，其中，所述相邻两帧向量Xk和Xk+1之间的相关度为皮尔逊相关度，表示为：



其中表示向量Xk中元素的均值，表示向量Xk中元素的标准差，1≤k≤M-1。


5.根据权利要求1所述的方法，其中，所述计算表征帧内特征的帧内特征向量Ω包括：
对M帧进行均匀下采样，得到F帧；
...

【专利技术属性】
技术研发人员：王杰，杨建权，朱国普，常杰，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44