一种伪造人脸视频鉴别方法、系统和可读存储介质技术方案

本发明专利技术公开了一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法、系统和可读存储介质，所述方法包括：对输入的视频序列进行采样，得到N个视频帧；对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；将所述待测样本集输入至训练好的注意力机制的深度卷积神经网络模型，得到输出的结果，所述结果为对视频真伪情况判断的结果。本发明专利技术通过对正样本的特殊处理的方法来获得负样本，减少了获取负样本的时间成本，同时较好地模拟了伪造人脸假视频的人脸图像，以此训练的网络具有较好的鉴别能力；此外本发明专利技术还可以突出被操纵的图像区域，从而引导神经网络检测这些区域，这有利于用于面部伪造检测，并提高原CNN模型的准确率。

【技术实现步骤摘要】
一种伪造人脸视频鉴别方法、系统和可读存储介质
本专利技术涉及计算机视觉和人工智能领域，具体涉及到一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法、系统和可读存储介质。
技术介绍
随着深度学习技术的应用的成熟，以deepfake为主的的深度假视频也越来越火热。这种深度学习技术可以创建换脸视频，从而实现以假乱真。这些虚假视频看起来非常的逼真。到目前为止，这些视频不仅在色情以及言论攻击的情况下被伪造，让人们觉得一些名人在做一些对自身名誉有损的事情，更为惊人的是，深度假视频也被用于冒充政治人物的讲话。美国民主党众议员AdamSchiff更是发出警告称，由Deepfake生成的视频可能会对2020年美国大选产生灾难性影响。因为难以检测和证伪，这种虚假视频很大程度上将对整个社会，私营及公共行业造成重大伤害。基于人工智能的视频合成算法：新一代基于人工智能的视频合成算法基于新的深度学习模式的最新发展，特别是生成性对抗网络(GANs)。GAN模型由两个串联训练的深层神经网络组成，分别是鉴别器和生成器。训练完成后，利用生成器合成具有真实感的图像。GA本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，包括以下步骤：/n对输入的视频序列进行采样，得到N个视频帧；/n对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；/n将所述待测样本集输入至训练好的注意力机制的深度卷积神经网络模型，得到输出的结果，所述结果为对视频真伪情况判断的结果。/n

【技术特征摘要】
1.一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，包括以下步骤：
对输入的视频序列进行采样，得到N个视频帧；
对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；
将所述待测样本集输入至训练好的注意力机制的深度卷积神经网络模型，得到输出的结果，所述结果为对视频真伪情况判断的结果。


2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于：
利用python使用dlib包对视频帧进行人脸的检测裁剪对齐，再经过筛选，获得优质人脸图像，得到待测样本集。


3.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，所述注意力机制的深度卷积神经网络模型的训练方法为：
收集真实人脸图像，利用标签标注为正样本图像；
利用dlib工具对收集到的所述正样本图像进行人脸检测和面部区域的提取，得到面部区域图像；
将得到面部区域图像，进行筛选，去除质量差的图像；
将筛选后的面部区域图像对齐成多个比例的图像，以便得到更多的分辨率实例；然后随机选取一个比例，接着使用核大小为5×5的高斯模糊将选取的该比例的面部区域图像进行光滑处理；
经光滑处理后的面部区域图像经过仿射变形回到原始图像的大小，从而模仿了伪造人脸假视频的伪影；
通过改变仿射翘曲面区域的形状，得到负样本图像；
在所述正样本图像和负样本图像中，多次裁剪预设的Rol区域，得到注意力机制的深度卷积神经网络模型的输入，进行注意力机制的深度卷积神经网络模型的训练。


4.根据权利要求3所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，在所述正样本图像和负样本图像中，多次裁剪预设的区域，所述得到注意力机制的深度卷积神经网络模型的输入，具体为：
获得所述正样本图像和负样本图像后，对所述正样本图像和负样本图像进行裁剪；
使用facelandmarks技术来确定RoI区域，y坐标为：其中y0,x0,y1,x1确定了包围整张脸的最小矩形，变量的取值在[0，h/5]和[0，w/8]中；
最后RoI的大小调整为224×224，以供CNN模型训练使用；将每个训练的RoI区域裁剪10次，平均所有RoI的预测值作为检测假视频概率的最终结果。


5.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，建立所述注意力机制的深度卷积神经网络模型，具体为：
利用直接回归法来实现attention-basedlayer层，使用辅助卷积层计算空间注意图，由卷积层和信道乘法、激活运算组成；
在CNN中插入attention-basedlayer，选择Resnet50作为了骨干网络，将attention-basedlayer插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-basedlayer的输入，attention-basedlayer的输出作为Stage3的输入。


6.根据权利要求5所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，所述利用直接回归法来实现attention-basedlayer层，使用辅助卷积层计算空间注意图，由...

【专利技术属性】
技术研发人员：方俊涛，孙宇平，凌捷，罗玉，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44