人脸伪造检测方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种人脸伪造检测方法、系统、设备及存储介质，它们是一一对应的方案，方案中：Transformer网络的全局感受野可以有效捕获全局的融合痕迹，结合本发明专利技术提出的基于图像块的自监督预训练和区域级的对比学习可以有效地引导Transformer网络去关注细微的融合痕迹，显著的改善了现有检测算法的泛化性能；实验表明本发明专利技术提供的方案可以极大的提高检测准确度。测准确度。测准确度。

【技术实现步骤摘要】
人脸伪造检测方法、系统、设备及存储介质


[0001]本专利技术涉及人脸伪造检测
，尤其涉及一种人脸伪造检测方法、系统、设备及存储介质。

技术介绍

[0002]人脸伪造检测是一个逐渐兴起的研究课题，它的目的是给出输入人脸图像是否伪造的判定。
[0003]最近一些先进的检测方法利用卷积神经网络（CNN）对细节纹理的感知能力设法捕获伪造人脸中局部的融合痕迹，但是由于CNN局部性的归纳偏置导致无法捕获全局的伪造痕迹，限制了现有检测方法的泛化能力。
[0004]带有全局感受野的视觉Transformer（变换器）网络是一个很有潜力的解决方案，但是原始的Transformer网络并不擅长捕获细微的融合痕迹，导致现有基于Transformer网络的人脸伪造检测方案准确度不佳。
[0005]有鉴于此，特提出本专利技术。

技术实现思路

[0006]本专利技术的目的是提供一种人脸伪造检测方法、系统、设备及存储介质，通过捕获伪造人脸全局并且细微的融合痕迹，有效改善人脸伪造检测的泛化性能与检测准确度。
[0007]本专利技术的目的是通过以下技术方案实现的：一种人脸伪造检测方法，包括：构建图像块数量预测任务，采用自监督的方式对Transformer网络进行预训练；其中，Transformer网络表示变换器网络；将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级对比损失；结合所述分类损失与区域级对比损失对所述预训练后的Transformer网络进行训练；其中，所述融合掩码是指利用目标人脸图像与源人脸图像生成融合人脸图像时使用的掩码；将待检测人脸图像输入至训练后的Transformer网络，获得人脸伪造检测结果。
[0008]一种人脸伪造检测系统，包括：自监督预训练模块，用于构建图像块数量预测任务，采用自监督的方式对Transformer网络进行预训练；其中，Transformer网络表示变换器网络；训练模块，用于将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标
人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级对比损失；结合所述分类损失与区域级对比损失对所述预训练后的Transformer网络进行训练；其中，所述融合掩码是指利用目标人脸图像与源人脸图像生成融合人脸图像时使用的掩码；检测模块，用于将待检测人脸图像输入至训练后的Transformer网络，获得人脸伪造检测结果。
[0009]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0010]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0011]由上述本专利技术提供的技术方案可以看出，Transformer网络的全局感受野可以有效捕获全局的融合痕迹，结合本专利技术提出的基于图像块的自监督预训练和区域级的对比学习可以有效地引导Transformer网络去关注细微的融合痕迹，显著的改善了现有检测算法的泛化性能；实验表明本专利技术提供的方案可以极大的提高检测准确度。
附图说明
[0012]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0013]图1为本专利技术实施例提供的一种人脸伪造检测方法的流程图；图2为本专利技术实施例提供的一种人脸伪造检测方法的训练框架图；图3为本专利技术实施例提供的融合人脸图像合成过程示意图；图4为本专利技术实施例提供的融合人脸图像组成示意图；图5为本专利技术实施例提供的一种人脸伪造检测系统的示意图；图6为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0014]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0015]首先对本文中可能使用的术语进行如下说明：术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0016]下面对本专利技术所提供的一种人脸伪造检测方法、系统、设备及存储介质进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
[0017]实施例一本专利技术实施例提供一种人脸伪造检测方法，如图1所示，其主要包括如下步骤：步骤1、自监督预训练。
[0018]本专利技术实施例中，构建图像块数量预测任务，采用自监督的方式对Transformer网络进行预训练。具体来说：将每一真实人脸图像样本，随机划分为k个不重叠的图像块，并对每一图像块分别随机应用不同数据增广操作，再将所有经数据增广操作后的图像块按照在人脸图像样本中的位置拼接，获得拼接图像，并设置标签为k；所述Transformer网络的输入为拼接图像，输出为拼接图像中图像块的数量，并以相应标签作为监督信息进行预训练；其中，k为正整数，不同的k值大小对应不同的图像块大小，通常可设置为偶数（例如，k=2或者k=4等），当然具体数值可以由用户根据实际情况或者经验进行设定。
[0019]步骤2、对预训练后的Transformer网络进行训练。
[0020]本专利技术实施例中，将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸伪造检测方法，其特征在于，包括：构建图像块数量预测任务，采用自监督的方式对Transformer网络进行预训练；其中，Transformer网络表示变换器网络；将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级对比损失；结合所述分类损失与区域级对比损失对所述预训练后的Transformer网络进行训练；其中，所述融合掩码是指利用目标人脸图像与源人脸图像生成融合人脸图像时使用的掩码；将待检测人脸图像输入至训练后的Transformer网络，获得人脸伪造检测结果。2.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述构建图像块数量预测任务，采用自监督的方式对Transformer网络进行预训练包括：将每一真实人脸图像样本，随机划分为k个不重叠的图像块，并对每一图像块分别随机应用不同数据增广操作，再将所有经数据增广操作后的图像块按照在人脸图像样本中的位置拼接，获得拼接图像，并设置标签为k；所述Transformer网络的输入为拼接图像，输出为拼接图像中图像块的数量，并以相应标签作为监督信息进行预训练。3.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征包括：对于融合人脸图像，将其变换为一组互不重叠的大小固定的图像块，将所有图像块映射为图像块特征，将所有图像块特征与随机初始化且能够表征融合人脸图像类别的类特征一并输入至预训练后的Transformer网络，获得融合人脸图像图像块表征与类特征表征；目标人脸图像采用与融合人脸图像相同的方式，获得目标人脸图像图像块表征与类特征表征。4.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征包括：根据设定的阈值将融合掩码划分为代表源人脸区域和目标人脸区域的区域级掩码；利用代表源人脸区域和目标人脸区域的区域级掩码对融合人脸图像图像块表征进行聚合，获得融合人脸图像中源人脸区域表征与目标人脸区域表征；以及利...

【专利技术属性】
技术研发人员：谢洪涛，李家铭，张勇东，于灵云，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：