基于面部光流场与纹理特性融合的深伪视频检测方法技术

本发明专利技术公开一种基于面部光流场与纹理特性融合的深伪视频检测方法，包括：计算输入的人脸图像序列的光流强度图，得到对应的光流图像序列；对人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合；将得到的融合图像序列输入检测模型中进行真伪鉴别，输出真伪结果。本发明专利技术效利用了光流强度图的特性，保留光流方法对伪造视频帧间“伪影”抖动敏感的同时，又具备了融合面部原有纹理特性的能力，能实现对深伪视频的有效检测。能实现对深伪视频的有效检测。能实现对深伪视频的有效检测。

【技术实现步骤摘要】
基于面部光流场与纹理特性融合的深伪视频检测方法


[0001]本专利技术涉及深伪视频检测
，特别是涉及一种基于面部光流场与纹理特性融合的深伪视频检测方法。

技术介绍

[0002]人脸伪造视频检测技术，是由输入设备(本地摄像头、Web摄像头等)将数据(包括视频流媒体、图像序列、图像、视频等)输入到训练好的人脸检测器中，利用训练好的人脸检测器对输入数据进行逐帧人脸检测，提取每帧图像中的人脸面部区域；将提取到的人脸面部区域输入到二分类卷积网络中(Real/Fake)，由面部伪造鉴别模型对输入的人脸面部区域进行真伪判别。
[0003]随着GAN生成网络技术的不断发展，生成的面部伪造图像越来越逼真。目前的伪造鉴别方法大都是基于单张图像的检测，对于伪造视频的鉴别也是将视频序列化后，在视频的单独帧内进行真伪判别，然后将判别结果融合得到最终视频的判别结果，因此并没有很好的利用视频的帧间信息，造成帧间信息的浪费。同时对于深度学习生成的伪造图像或视频，在生成过程中，存在生成人脸与被篡改人脸的背景融合的过程，因此，在生成的图像中存在一定的“伪影”区域，该“伪影”区域存在一定的随机性，故而在相临帧中存在差异。

技术实现思路

[0004]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于面部光流场与纹理特性融合的深伪视频检测方法。
[0005]为实现本专利技术的目的所采用的技术方案是：
[0006]一种基于面部光流场与纹理特性融合的深伪视频检测方法，包括：
[0007]计算输入人脸序列的光流强度图，得到对应的光流图像序列；
[0008]对人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合，得到融合图像序列；
[0009]将得到的融合图像序列输入训练好的检测模型中进行真伪鉴别，输出真伪结果。
[0010]优选的，利用图像拼接或权重融合手段，对所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合。
[0011]优选的，所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图按不同的融合系数ρ进行融合，ρ大于0小于1；
[0012]设I
rgb
代表RGB图像，I
optical_flow
代表光流图像，I
mix
代表融合后的图像，则融合图像可表示为：
[0013]I
mix
＝(1
‑
ρ)
×
I
rgb
+ρ
×
I
optical_flow
。
[0014]更优选的，所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图按1∶1的比例进行融合，融合系数ρ为0.5。
[0015]优选的，所述的检测模型对融合图像经过网络计算后，得到范围为[0，1]的预测结
果，预测结果越趋近于0代表输入图越真实，预测结果越趋近于1代表输入图像为生成图像。
[0016]优选的，所述的计算输入人脸序列的光流强度图时，首先利用两个子模块对t、t+1时刻的两幅输入图像视频帧分布进行光流特征图的卷积提取，得到两个相关的多通道特征图，在两个多通道特征图之间执行特征块的比较，计算两个特征块的相关性时，通过以下步骤实现：
[0017]给定最大位移d，对于每个待匹配块x1，限制搜索匹配块x2的范围，仅在D＝2
×
d+1的邻域中计算相关性c(x1，x2)，使用步幅s1和步幅s2，以全局量化待匹配块x1，并量化以待匹配块x1为中心的邻域内的搜索匹配块x2；
[0018][0019]式中，f1，f2分别为两个多通道特征图。
[0020]优选的，在提取输入人脸序列的光流强度图，得到光流图像序列的步骤之前，还包括步骤：
[0021]对输入序列进行人脸检测、跟踪、关键点检测、识别操作，将识别出的人脸按照识别的ID分别进行存储，形成人脸序列。
[0022]其中，输出真伪结果时，将模型的预测结果在输入视频上进行可视化展示，将人脸检测框用不同的颜色表示或在人脸检测框的一侧进行真伪标注。
[0023]本专利技术中，所述的检测模型可以采用如下步骤训练形成：
[0024]将真实视频集与伪造视频集进行标签化，真实视频的标签为0，伪造视频的标签为1，然后对真实视频集与伪造视频集进行解码操作，得到对应的图像序列；
[0025]对图像序列进行人脸检测，并检测到的人脸进行跟踪；
[0026]当检测到图像序列中存在多个人脸时，应用人脸识别方法，将图像序列中的裁剪后的人脸按ID信息分别存储，对裁剪好的人脸序列进行光流计算；
[0027]得到光流图后，利用不同的图像融合方法，将光流图像与裁剪到的人脸图像进行融合；
[0028]对于得到的融合图像，采用扩增方法进行数据增广；
[0029]将增广后的数据送入分类网络中进行训练，当分类网络的Loss降低到足够低时，得到最优的分类模型，保存此时分类模型的结构与权重参数，用于后续的检测过程，至此训练过程结束。
[0030]其中，所述的进行数据增广的方法包括随机裁剪、色调、亮度、对比度、随机遮挡。
[0031]本专利技术本专利技术通过对输入的人脸图像序列提取其光流强度图，得到对应的光流图像序列，然后与对人脸图像序列的RGB图像逐个进行融合，形成融合后的图像序列，然后输入到预训练好的检测模型中进行真伪鉴别，有效利用了光流强度图的特性，保留光流方法对伪造视频帧间“伪影”抖动敏感的同时，又具备了融合面部原有纹理特性的能力。
附图说明
[0032]图1是本专利技术的基于面部光流场与纹理特性融合的深伪视频检测方法的流程图。
[0033]图2为本专利技术的检测模型的训练过程示意图。
[0034]图3为基于面部光流场与纹理特性融合的深伪视频检测过程的示意图。
[0035]图4为利用不同的光流提取方法提取到的相邻两帧的光流图像对比图。
[0036]图5为人脸的RGB图像与光流图像通过不同的融合方式得到的融合图像。
[0037]图6为前后两帧图像输入网络进行光流特征提取的过程示意图。
[0038]图7为利用相关层进行网络快速匹配的示意图。
具体实施方式
[0039]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0040]对于深度学习生成的伪造图像或视频，在生成过程中，存在生成人脸与被篡改人脸的背景融合的过程，因此在生成的图像中会存在一定的“伪影”区域，该“伪影”区域存在一定的随机性，故而在相临帧中存在差异。
[0041]为更好的利用这种帧间差异，本专利技术出了基于面部光流与纹理特性融合的深伪视频检测方法，将光流应用到深度伪造视频的检测任务中，同时为避免光流对于帧间抖动过于敏感，保留一定的面部纹理特性，该方法将视频序列中相临帧的光流与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，包括步骤：计算输入人脸序列的光流强度图，得到对应的光流图像序列；对人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合，得到融合图像序列；将得到的融合图像序列输入训练好的检测模型中进行真伪鉴别，输出真伪结果。2.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，利用图像拼接或权重融合手段，对所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合。3.根据权利要求2所述基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图按不同的融合系数ρ进行融合，ρ大于0小于1；设I
rgb
代表RGB图像，I
optical_flow
代表光流图像，I
mix
代表融合后的图像，则融合图像可表示为：I
mix
＝(1
‑
ρ)
×
I
rgb
+ρ
×
I
optical_flow
。4.根据权利要求3所述基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图按1:1的比例进行融合，融合系数ρ为0.5。5.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，所述的检测模型对融合图像经过网络计算后，得到范围为[0,1]的预测结果，预测结果越趋近于0代表输入图越真实，预测结果越趋近于1代表输入图像为生成图像。6.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法，其特征在于，所述的计算输入人脸序列的光流强度图时，首先利用两个子模块对t、t+1时刻的两幅输入图像视频帧分布进行光流特征图的卷积提取，得到两个相关的多通道特征图，...

【专利技术属性】
技术研发人员：茹一伟，孙哲南，何召峰，
申请(专利权)人：天津中科智能识别有限公司，
类型：发明
国别省市：