伪造人脸图片的识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种伪造人脸图片的识别方法、装置、计算机设备及存储介质。其中，该方法包括：获取深度伪造数据集，其中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频；根据真实人脸和替换人脸，形成多个负样本图像，并根据真实视频，形成多个正样本图像；根据各负样本图像和各正样本图像构建训练样本集，对机器学习模型进行训练，形成伪造人脸图片识别模型；将待识别的目标人脸图片输入至识别模型中，获取目标人脸图片是否为伪造人脸图片的识别结果。本发明专利技术实施例，解决了公开数据集伪造人脸种类单一和存在网络过拟合可能性的问题，实现了数据增强和满足深度伪造检测识别的需求。检测识别的需求。检测识别的需求。

【技术实现步骤摘要】
伪造人脸图片的识别方法、装置、计算机设备及存储介质


[0001]本专利技术实施例涉及计算机
，具体涉及深度学习、计算机视觉、深度伪造生成和深度伪造检测领域，尤其涉及一种伪造人脸图片的识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]深度伪造检测领域的目的是深度伪造生成技术的反侦察。目前的主要方法按照对象类型可以分为图片级和视频级两大类。
[0003]图片级检测识别方法的模型大多数依赖相同的数据分布，面对未知篡改类型乏力效果差。视频级检测识别方法效果较好，能够检测到视频中的少量篡改，但是对视频的预处理很敏感，譬如视频压缩、光线变化等，并且此类方法无法判断单帧图像的真伪。图片级检测识别方法存在模型泛化性差准确率低的普遍问题，而视频级检测识别方法无法对单张图像完成识别，都无法满足项目中深度伪造检测识别的需求。

技术实现思路

[0004]本专利技术实施例提供了一种伪造人脸图片的识别方法、装置、计算机设备及存储介质，解决了公开数据集伪造人脸种类单一和存在网络过拟合可能性的问题，实现了数据增强和满足深度伪造检测识别的需求。
[0005]第一方面，本专利技术实施例提供了一种伪造人脸图片的识别方法，其中，包括：
[0006]获取深度伪造数据集，深度伪造数据集中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频；
[0007]根据各视频对中包括的真实人脸和替换人脸，进行图像增强处理，形成多个负样本图像，并根据各视频对中包括的真实视频，形成多个正样本图像；
[0008]根据各负样本图像和各正样本图像构建训练样本集，并使用训练样本集，对预设的机器学习模型进行训练，形成伪造人脸图片识别模型；
[0009]将待识别的目标人脸图片输入至伪造人脸图片识别模型中，获取目标人脸图片是否为伪造人脸图片的识别结果。
[0010]第二方面，本专利技术实施例还提供了一种伪造人脸图片的识别装置，该伪造人脸图片的识别装置包括：
[0011]深度伪造数据集获取模块，用于获取深度伪造数据集，深度伪造数据集中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频；
[0012]图像增强处理模块，用于根据各视频对中包括的真实人脸和替换人脸，进行图像增强处理，形成多个负样本图像，并根据各视频对中包括的真实视频，形成多个正样本图像；
[0013]伪造人脸图片识别模型形成模块，用于根据各负样本图像和各正样本图像构建训
练样本集，并使用训练样本集，对预设的机器学习模型进行训练，形成伪造人脸图片识别模型；
[0014]结果识别模块，用于将待识别的目标人脸图片输入至伪造人脸图片识别模型中，获取目标人脸图片是否为伪造人脸图片的识别结果。
[0015]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如本专利技术任意实施例所述的伪造人脸图片的识别方法。
[0016]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本专利技术任意实施例所述的伪造人脸图片的识别方法。
[0017]本专利技术实施例所提供的技术方案，通过获取深度伪造数据集，深度伪造数据集中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频；根据各视频对中包括的真实人脸和替换人脸，进行图像增强处理，形成多个负样本图像，并根据各视频对中包括的真实视频，形成多个正样本图像；根据各负样本图像和各正样本图像构建训练样本集，并使用训练样本集，对预设的机器学习模型进行训练，形成伪造人脸图片识别模型；将待识别的目标人脸图片输入至伪造人脸图片识别模型中，获取目标人脸图片是否为伪造人脸图片的识别结果。解决了公开数据集伪造人脸种类单一和存在网络过拟合可能性的问题，实现了数据增强和满足深度伪造检测识别的需求。
附图说明
[0018]图1a为本专利技术实施例一提供的一种伪造人脸图片的识别方法的流程图；
[0019]图1b为本专利技术实施例一提供的一种伪造人脸图片的识别方法中真伪人脸合成效果示意图；
[0020]图1c为本专利技术实施例一提供的一种伪造人脸图片的识别方法所适用的一种融合EfficientNet
‑
b0网络的结构示意图；
[0021]图1d为本专利技术实施例一提供的一种伪造人脸图片的识别方法所适用的一种融合EfficientNet
‑
b0网络的具体结构示意图；
[0022]图1e为本专利技术实施例一提供的一种伪造人脸图片的识别方法所适用的融合EfficientNet
‑
b0网络的特征图尺寸变化的流程示意图；
[0023]图1f为本专利技术实施例一提供的一种伪造人脸图片的识别方法中融合EfficientNet
‑
b0网络训练初始超参数设置的示意图；
[0024]图1g为本专利技术实施例一提供的一种伪造人脸图片的识别方法所适用的融合EfficientNet
‑
b0网络和标准EfficientNet
‑
b0网络训练损失和准确率对比的示意图；
[0025]图1h为本专利技术实施例一提供的一种伪造人脸图片的识别方法中的整体逻辑流程图；
[0026]图2是本专利技术实施例二提供的一种伪造人脸图片的识别装置的结构图；
[0027]图3是本专利技术实施例三提供的一种计算机设备的结构图。
具体实施方式
[0028]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0029]实施例一
[0030]图1a为本专利技术实施例一提供的一种伪造人脸图片的识别方法的流程图。本实施例可适用于通过使用真伪人脸合成的数据增强方式合成多样性的伪造人脸，以训练得到识别效果更好的伪造人脸图片识别模型的问题。本实施例的方法可以由伪造人脸图片的识别装置执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成中具有数据处理功能的终端或者服务器中。
[0031]相应的，该方法具体包括如下步骤：
[0032]S110、获取深度伪造数据集，深度伪造数据集中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频。
[0033]其中，深度伪造数据集是网络中公开的，基于深度学习等智能化方法创建或合成视听觉内容(如图像、音视频、文本等)组成的数据集。也即，深度伪造数据集中包括有用于进行伪造人脸图片识别模型训练的多个视频对。每个视频对中包括了一个真实视频作为正样本以及一个伪造视频作为负样本。其中真实视频中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种伪造人脸图片的识别方法，其特征在于，包括：获取深度伪造数据集，深度伪造数据集中包括多个视频对，每个视频对中包括真实视频，以及将真实视频中的真实人脸进行人脸替换后得到的伪造视频；根据各视频对中包括的真实人脸和替换人脸，进行图像增强处理，形成多个负样本图像，并根据各视频对中包括的真实视频，形成多个正样本图像；根据各负样本图像和各正样本图像构建训练样本集，并使用训练样本集，对预设的机器学习模型进行训练，形成伪造人脸图片识别模型；将待识别的目标人脸图片输入至伪造人脸图片识别模型中，获取目标人脸图片是否为伪造人脸图片的识别结果。2.根据权利要求1所述的方法，其特征在于，根据各视频对中包括的真实人脸和替换人脸，进行图像增强处理，形成多个负样本图像，包括：按照预设的截取时间点，在当前处理的目标视频对中的目标真实视频和目标伪造视频中，分别截取真实视频图像帧和伪造视频图像帧；分别在所述真实视频图像帧和伪造视频图像帧中提取真实人脸特征张量和替换人脸特征张量；根据所述真实人脸特征张量和替换人脸特征张量，形成至少一个伪造人脸特征张量；使用各伪造人脸特征张量替换真实视频图像帧中的真实人脸特征张量，或者替换伪造视频图像帧中的替换人脸特征张量，形成至少一个负样本图像。3.根据权利要求2所述的方法，其特征在于，根据所述真实人脸特征张量和替换人脸特征张量，形成至少一个伪造人脸特征张量，包括：随机生成至少一个人脸合成比例权重p，其中p∈(0,1)；根据公式：output＝(1
‑
p)*real_input_tensor+p*fake_input_tensor，计算得到与每个人脸合成比例权重分别对应的伪造人脸特征张量output；其中，real_input_tensor为真实人脸特征张量，fake_input_tensor为替换人脸特征张量。4.根据权利要求1所述的方法发，其特征在于，根据各视频对中包括的真实视频，形成多个正样本图像，包括：在当前处理的真实视频中，截取与至少一个截取时间点分别对应的备选真实视频帧，并获取包括有真实人脸的备选真实视频帧，作为正样本图像。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述机器学习模型为融合EfficientNet
‑
b0网络，所述融合EfficientNet
‑
b0网络为标准EfficientNet
‑
b0网络的改进型；其中，融合EfficientNet
‑
b0网络包括：卷积网络、与卷积网络中的至少两个卷积层相连的特征融合网络，以及与特征融合网络相连的分类网络；卷积网络，包括多个首尾相连的卷积层，每个卷积层用于对输入特征张量进行特征提取，得到设定尺度的输出特征张量，首个卷积层的输入特征张量为输入至融合EfficientNet
‑
b0网络的输入图片的特征张量；特征融合网络，用于获取相连的至少两个卷积层的输出特征张量，并将各输出特征张量进行逐层的尺度变换和特征加权，得到目标融合特征张量；
分类网络，用于根据目标融...

【专利技术属性】
技术研发人员：王佳琪，李玉惠，傅强，蔡琳，阿曼太，梁彧，马寒军，田野，王杰，杨满智，金红，陈晓光，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：