一种基于双流的Deepfakes视频检测方法及系统技术方案

本发明专利技术公开了一种基于双流的Deepfakes视频检测方法及系统，该方法包括：使用自适应视频帧提取方法提取视频中的人脸图像；提取人脸图像的篡改伪影特征，对篡改伪影特征进行全局平均池化，获得第一特征图；获取人脸图像对应的残差图像；提取残差图像的篡改痕迹特征，对篡改痕迹特征进行全局平均池化，获得第二特征图；融合第一特征图和第二特征图，获得融合特征图；将融合特征图进行分类，获得目标检测结果。本申请即能保证Deepfake视频检测性能，又能减少资源浪费，还能够抑制拟合图像内容特征，防止过拟合，提高了Deepfake视频检测性能。提高了Deepfake视频检测性能。提高了Deepfake视频检测性能。

【技术实现步骤摘要】
一种基于双流的Deepfakes视频检测方法及系统


[0001]本专利技术涉及视频检测
，具体涉及一种基于双流的Deepfakes视频检测方法及系统。

技术介绍

[0002]随着互联网技术的快速发展，网上充斥着大量的虚假信息。作为一种视觉伪造内容，给人们带来的影响当属最大。视频往往传达着比图像更丰富的信息，随着人脸篡改技术从图像级上升至视频级，如果视频中的篡改对象是名人或者政客，无疑会引起严重的社会问题。
[0003]现有Deepfake检测工作中，大部分模型的训练流程是：首先从视频中提取面部，对齐并保存；之后将这些面部图像输入至网络进行训练。在提取面部帧这一步中，大多数方法仅提取前N帧，如前80帧或200帧。而在视频中，人物的运动是比较复杂的，虽然有些面部动作可以通过数据增强弥补，如图像旋转，但某些关键运动特征无法通过数据增强实现，如嘴巴的闭合等。有方法指出，尽管数据增强增加了数据的多样性，但如果不加以合适的控制，则可能在训练阶段引入噪声和歧义，从而有损模型在推理时候的性能。并且现有公开数据集帧数过多，通常有上百万帧，存在大量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流的Deepfakes视频检测方法，其特征在于，包括步骤：使用自适应视频帧提取方法提取视频中的人脸图像；提取所述人脸图像的篡改伪影特征，对所述篡改伪影特征进行全局平均池化，获得第一特征图；获取所述人脸图像对应的残差图像；提取所述残差图像的篡改痕迹特征，对所述篡改痕迹特征进行全局平均池化，获得第二特征图；融合所述第一特征图和所述第二特征图，获得融合特征图；将所述融合特征图进行分类，获得目标检测结果。2.根据权利要求1所述的基于双流的Deepfakes视频检测方法，其特征在于，所述自适应视频帧提取方法，包括如下步骤：获取序列长度、样本数量以及所述视频的视频总帧数，所述样本数量指将所述视频总帧数分成多个样本的数量，所述序列长度指从每个所述样本中提取的视频帧的数量；将所述视频中的第一帧人脸坐标设置为最大人脸坐标；基于所述视频总帧数和所述样本的数量，计算跳跃步长；将视频帧索引初始化为零；当所述视频帧索引小于所述视频总帧数时，判断所述视频帧索引与所述跳跃步长的求余结果是否大于所述序列长度；如果所述视频帧索引与所述跳跃步长的求余结果小于所述序列长度，获取所述视频帧索引对应的视频帧中的人脸坐标；如果所述视频帧中有多个所述人脸坐标，计算每个所述人脸坐标与所述最大人脸坐标之间的欧氏距离，并将欧氏距离最小的人脸坐标作为新的最大人脸坐标，保存所述新的最大人脸坐标对应的人脸图像并对齐，使所述视频帧索引自增一，再判断所述视频帧索引是否小于所述视频总帧数；如果所述视频帧中只有一个所述人脸坐标，直接保存所述人脸坐标对应的人脸图像并对齐，使所述视频帧索引自增一，再判断所述视频帧索引是否小于所述视频总帧数；如果视频帧中没有所述人脸坐标，使所述视频帧索引自增一，再判断所述视频帧索引是否小于所述视频总帧数；如果所述视频帧索引与所述跳跃步长的求余结果大于或等于所述序列长度，将所述视频帧索引自增一，再判断所述视频帧索引是否小于所述视频总帧数；当所述视频帧索引大于或等于所述视频总帧数时，结束视频帧读取；如果获得的所述人脸图像数量大于指定的所述样本的数量，删除最后多余的视频帧对应的人脸图像。3.根据权利要求1所述的基于双流的Deepfakes视频检测方法，其特征在于，所述提取所述人脸图像的篡改伪影特征，对所述篡改伪影特征进行全局平均池化，获得第一特征图，包括如下步骤：采用Xception提取所述人脸图像的篡改伪影特征，获得篡改伪影特征图；将所述篡改伪影特征图进行全局平均池化，获得所述第一特征图。4.根据权利...

【专利技术属性】
技术研发人员：章登勇，朱文杰，李峰，孙嘉晨，黎岱杰，韩楚齐，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：