伪造视频检测方法、电子设备及存储介质技术

本公开提供了一种伪造视频检测方法，包括：从视频中提取连续的帧序列，使用数据预处理方法处理帧序列，得到多个图像数据；使用图像特征提取器提取多个图像数据中的每个图像数据的特征，得到多个帧特征向量；将多个帧特征向量输入基于LSTM的帧特征融合模块中，得到融合后的视频级检测结果特征；以及将视频级检测结果特征输入分类器，得到用于确定视频是否为伪造视频的检测结果。此外，本公开还提供了一种用于实现该方法的电子设备和存储介质。

【技术实现步骤摘要】
伪造视频检测方法、电子设备及存储介质
本公开涉及人工智能领域，更具体地，涉及一种伪造视频检测方法、电子设备及存储介质。
技术介绍
伪造视频检测的目的是给出输入视频是否存在伪造的判定。现有的伪造视频检测方法大多基于图像伪造检测方法，使用平均每帧图像预测概率或者投票的方法得到视频是否存在伪造的判定，这种方法对视频信息的利用率低，且样本易受噪声影响。现有技术也有针对视频级的伪造检测方案，这些方案大多在ImageNet预训练模型的基础上端到端训练，由于缺乏有效的数据增广手段，训练出来的模型容易出现过拟合问题。因此，在实现本公开的过程中发现，使用现有技术训练出来的模型易出现欠拟合或过拟合现象，鲁棒性较差。
技术实现思路
有鉴于此，本公开提供了一种伪造视频检测方法、电子设备及存储介质。本公开第一方面提供了一种伪造视频检测方法，包括：从视频中提取连续的帧序列，使用数据预处理方法处理上述帧序列，得到多个图像数据；使用图像特征提取器提取上述多个图像数据中的每个图像数据的特征，得到多个帧特征向量；将上述多个帧特征向量输入基于LS本文档来自技高网...

【技术保护点】
1.一种伪造视频检测方法，包括：/n从视频中提取连续的帧序列，使用数据预处理方法处理所述帧序列，得到多个图像数据；/n使用图像特征提取器提取所述多个图像数据中的每个图像数据的特征，得到多个帧特征向量；/n将所述多个帧特征向量输入基于LSTM的帧特征融合模块中，得到融合后的视频级检测结果特征；以及/n将所述视频级检测结果特征输入分类器，得到用于确定所述视频是否为伪造视频的检测结果。/n

【技术特征摘要】
1.一种伪造视频检测方法，包括：
从视频中提取连续的帧序列，使用数据预处理方法处理所述帧序列，得到多个图像数据；
使用图像特征提取器提取所述多个图像数据中的每个图像数据的特征，得到多个帧特征向量；
将所述多个帧特征向量输入基于LSTM的帧特征融合模块中，得到融合后的视频级检测结果特征；以及
将所述视频级检测结果特征输入分类器，得到用于确定所述视频是否为伪造视频的检测结果。


2.根据权利要求1所述的方法，其中，所述图像特征提取器通过如下训练方法得到，训练方法包括：
从样本视频中提取样本帧序列，使用数据预处理方法和数据增广方法处理所述样本帧序列，得到多个样本图像数据；以及
使用所述多个样本图像数据基于所述多个样本图像数据对应的标签和第一训练参数，训练初始网络模型，得到所述图像特征提取器。


3.根据权利要求1所述的方法，其中，所述基于LSTM的帧特征融合模块通过如下训练方法得到，训练方法包括：
从样本视频中提取样本帧序列，使用数据预处理方法和数据增广方法处理所述样本帧序列，得到多个样本图像数据；
将所述多个样本图像数据输入到所述图像特征提取器中，输出得到多个样本帧特征向量；以及
使用所述多个样本帧特征向量基于所述多个样本帧特征向量对应的标签和第二训练参数，使用focalloss损失函数训练初始LSTM网络模型，得到所述基于LSTM的帧特征融合模块。


4.根据权利要求1至3中任一项所述的方法，其中，所述数据预处理方法包括：
使用图...

【专利技术属性】
技术研发人员：张勇东，李家铭，谢洪涛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34