一种对深度伪造人脸图像和视频的鉴别方法技术

本发明专利技术提供一种对深度伪造人脸图像和视频的鉴别方法，包括如下步骤：S1，采集混合训练样本；S2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；S3，利用所述混合训练样本训练所述鉴别模型；S4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。本发明专利技术提出三个改进：(1)采用混合训练样本提高泛化性能；(2)分别采用大边缘和小边缘的人脸中心剪裁图像训练两个2D深度，提高预测鲁棒性深度卷积神经网络，提高预测鲁棒性；(3)使用3D深度卷积神经网络能利用帧间一致性信息，提高信息利用率；由此，本发明专利技术能够解决现有技术对新型伪造视频的辨别能力较差的问题。

【技术实现步骤摘要】
一种对深度伪造人脸图像和视频的鉴别方法
本专利技术具体涉及一种对深度伪造人脸图像和视频的鉴别方法。
技术介绍
对伪造视频的检测方法可以分为两类：一是基于帧间时间特性的方法(Temporalfeaturesacrossframes)，利用视频内人眨眼频率、嘴型等时间相关的特性进行判断，通常使用递归分类方法；二是基于帧内视觉效果的方法(Visualartifactswithinframe)，利用图像边缘的瑕疵以及五官位置、面部阴影等不自然的细节进行判断，通常提取特定特征后用深层或浅层的分类器完成检测。此外，亦有研究人员提出使用可追溯、不可篡改的区块链技术对深度伪造视频进行追溯。2019年3月，阿拉伯联合酋长国哈利法大学电气与计算机工程系研究人员发表名为《使用区块链和智能合约打击深度伪造视频》(CombatingDeepfakeVideosUsingBlockchainandSmartContracts)的论文，提出使用区块链的解决方案和通用框架，以追踪数字内容的来源和历史，即使数字内容被多次复制也可对其进行溯源。该论文提供的解决方案框架具有本文档来自技高网...

【技术保护点】
1.一种对深度伪造人脸图像和视频的鉴别方法，其特征在于，包括如下步骤：/nS1，采集混合训练样本；/nS2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；/nS3，利用所述混合训练样本训练所述鉴别模型；/nS4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。/n

【技术特征摘要】
1.一种对深度伪造人脸图像和视频的鉴别方法，其特征在于，包括如下步骤：
S1，采集混合训练样本；
S2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；
S3，利用所述混合训练样本训练所述鉴别模型；
S4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。


2.根据权利要求1所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S1中采集混合训练样本的方法为：
S11，收集大量深度伪造视频和其对应的原视频构成训练数据集；
S12，对每个深度伪造视频使用人脸检测方法检测每帧中的第一人脸位置，在有伪造人脸的连续帧中，随机截取长度为L的片段，并用第一人脸位置信息剪裁出人脸方框，构成深度伪造人脸片段；
S13，对每个深度伪造视频对应的原视频使用人脸检测方法检测每帧中的第二人脸位置，在有人脸的连续帧中，随机截取长度为L的片段，并用第二人脸位置信息剪裁出人脸方框，构成原视频人脸片段；
S14，取深度伪造人脸片段中的一帧F和原视频人脸片段中的对应帧R，将帧F和对应帧R取加权和形成混合人脸图像；
S15，将所有深度伪造人脸片段和对应的原视频人脸片段通过步骤S14的方法形成混合人脸图像，即得到混合训练样本。


3.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S14中帧F和对应帧R取加权和的权重符合为符合某种分布的[0,1]随机采样。


4.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S2中每个所述2D深度卷积神经网络的卷积核为2D，主干网络为常用深度卷积神经网络，全连接层为2分类结构。


5.根据权利要求4所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于...

【专利技术属性】
技术研发人员：李斌，周世杰，张家亮，贾宇，邹严，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51