一种基于元学习的泛化性伪造脸检测方法技术

一种基于元学习的泛化性伪造脸检测方法，涉及伪造脸检测。针对传统二分类模型的伪造脸检测的方法无法很好的检测未知攻击算法的假脸的缺点，考虑了伪造脸样本之间对模型泛化性贡献不同和伪造脸生成算法的不稳定性，提供基于元学习的泛化性伪造假脸检测的方法。包括以下步骤：1)首先对多个攻击算法的训练集进行域划分，每个训练阶段随机划分出普通训练集和元训练集；2)使用卷积神经网络对普通训练集进行特征提取和计算损失函数，并且使用一个小型权重感知网络给每个样本加权；3)计算元训练集的损失函数，利用该损失的梯度对权重感知网络的参数进行更新，并且修正普通训练集的梯度，增加模型的泛化性。

【技术实现步骤摘要】
一种基于元学习的泛化性伪造脸检测方法
本专利技术涉及伪造人脸检测，尤其是涉及一种基于元学习的泛化性伪造人脸检测方法。
技术介绍
随着计算机技术的快速发展，人脸识别技术取得了长足的进步，特别是基于深度学习的人脸识别模型准确远远超越人类。目前人脸识别系统已经应用在我们生活中的各个角落。深度学习的发展也催生了其他技术的进步，比如生成模型，目前生成模型能够合成图像、音乐、视频甚至人脸。这些模型已经被广泛应用到生活中。但是这些技术也同样带来了新的挑战，例如，使用GAN或者Deepfake技术可以生成伪造人脸，降低人脸识别的准确率，危害民众的隐私安全。不仅如此，自从2014年以来，许多开源的伪造脸生成技术流于市面，这大大降低了伪造的成本，导致虚假人脸视频数量不断增加。所以开发一种能够区分真假面孔的系统用于辅助人脸识别就显的至关重要。当前伪造人脸技术主要包括全脸合成、身份交换、属性操作和表情交换四种，其中身份交换(deepfake)是目前最受关注的伪造人脸技术。目前FaceBook，Google等公司发布了很多身份交换的数据集，比如FaceForensics++，Celeb-DF，DFDC等，用于帮助开发人脸伪造检测算法。对于伪造人脸检测技术，早期研究使用JPEG压缩后的面部图像变化来确定其真实性，McCloskeyS等(McCloskeyS,AlbrightM.Detectinggan-generatedimageryusingcolorcues[J].arXivpreprintarXiv:1812.08247,2018)提取RGB颜色特征并使用了SVM分类器确定人脸的真伪。为了进一步提高性能，MaternF等(MaternF,RiessC,StammingerM.Exploitingvisualartifactstoexposedeepfakesandfacemanipulations[C]//2019IEEEWinterApplicationsofComputerVisionWorkshops(WACVW).IEEE,2019:83-92)研究了伪造人脸的特性，并使用手工特征提取这种特性，取得了良好的结果。但是这些基于手工提取的低层级的特征对鲁棒性并不是很高。为了克服这些问题，最近的研究都集中在有监督的深度学习方法上。最简单的方法是使用卷积神经网络对数据进行二分类，这种方法非常有效并且在DFDC伪造人脸检测竞赛上被广泛使用。此外，HanX等(HanX,MorariuV,LarryDavisPIS.Two-streamneuralnetworksfortamperedfacedetection[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops.2017:19-27)使用双流神经网络进行伪造脸检测，其中一个分支使用卷积神经网络提取人脸的伪造特征，另一个分支提取隐写特征，最后将两者综合起来得到更加精确的结果。文献(NguyenHH,FangF,YamagishiJ,etal.Multi-tasklearningfordetectingandsegmentingmanipulatedfacialimagesandvideos[J].arXivpreprintarXiv:1906.06876,2019)使用生成模型来重建人脸图像，用于提取出伪造人脸独有的特征从而进一步提高分类性能。但是以上这些方法大多都是针对同一类型的伪造人脸的进行测试，实验表明，当训练集(源域)所用的伪造方法和测试集(目标域)有很大差距时，模型性能将会急剧下降。但在实际部署中，由于伪造攻击方式的多样性，无法收集到全部的伪造人脸方法的数据集进行训练，所以不可见域的测试其实非常常见。虽然域自适应方法可以拟补不同域的差异，但是由于缺少实际的目标域数据，自适应方法仍然无法完美解决这个问题。目前许多也有许多泛化性伪造脸检测方法被提出，CozzolinoD等(CozzolinoD,ThiesJ,A,etal.Forensictransfer:Weakly-superviseddomainadaptationforforgerydetection[J].arXivpreprintarXiv:1812.02510,2018.)第一次提出解决该问题的方法，使用了变分自动编码器去对数据进行重建，并且将隐藏层的特征解耦并用于判断真伪。在前人的基础上使用多任务学习的方法进一步提升模型的准确度。除此之外，针对伪造脸需要和真脸混合会留下人眼难以察觉的混合边界，LiL等(LiL,BaoJ,ZhangT,etal.Facex-rayformoregeneralfaceforgerydetection[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2020:5001-5010)提出一种基于检查混合边界的泛化性伪造脸检测方法。但这些方法大多都需要额外数据的支持而且不能使用预训练模型，这大大限制了训练的难度和模型的精确度。
技术实现思路
本专利技术的目的是针对一般的伪造人脸检测方法无法在未知伪造方法的人脸上取得良好的效果的缺点，考虑不同样本对于模型泛化性不同以及不同域之间的变化，以及真脸的相对稳定性和假脸的多样性，提供一种基于元学习的泛化性伪造脸检测方法。本专利技术包括以下步骤：1)对多个攻击算法的训练集进行域划分，每个训练阶段随机划分出普通训练集和元训练集，元训练集用于辅助增强模型的泛化性；2)使用卷积神经网络对普通训练集进行特征提取和计算损失函数，并且使用一个小型权重感知网络给每个样本加权，用于区分样本的泛化能力；3)计算元训练集的损失函数，利用该损失的梯度对权重感知网络的参数进行更新，并且修正普通训练集的梯度，增加模型的泛化性。本专利技术具有以下突出优点：1)本专利技术在克服训练样本中有部分样本不利于检测模型泛化性的提升的问题，使用权重感知网络给每一个样本一个权重，该权重反应了每个样本的泛化性。同时通过类内紧凑损失函数让正样本聚集，可以让网络挖掘质量更高的样本，从而提升检测网络的泛化性。本专利技术所需要的设备可以根据实际情况自己调整，一般使用最新的EfficientNet-b0作为特征提取器仅仅需要一块NVIDIA1080TI显卡用于检测网络的训练和测试。2)本专利技术能够在不增加网络推理速度和任何参数的情况下，平均提升原有模型的准确率约3％左右，并且在多个数据集上测试了本方法，实验结果表明本专利技术的结果在各项指标上都高于被对比的方法。3)实验证明，本专利技术在任意类型的卷积神经网络上都能提升模型的精度和泛化性，这有利于部署时根据实际的算力和情况来选择合适的大小和复杂度的卷积神经网络，大大增加了灵活性。附图说明图1为本专利技术的主要步骤图。图2为数据划分方式和任务介绍。图3为本专利技术原理示意图。图4为本文档来自技高网...

【技术保护点】
1.一种基于元学习的泛化性伪造脸检测方法，其特征在于包括以下步骤：/n1)对多个攻击算法的训练集进行域划分，每个训练阶段随机划分出普通训练集和元训练集，元训练集用于辅助增强模型的泛化性；/n2)使用卷积神经网络对普通训练集进行特征提取和计算损失函数，并且使用一个小型权重感知网络给每个样本加权，用于区分样本的泛化能力；/n3)计算元训练集的损失函数，利用该损失的梯度对权重感知网络的参数进行更新，并且修正普通训练集的梯度，增加模型的泛化性。/n

【技术特征摘要】
1.一种基于元学习的泛化性伪造脸检测方法，其特征在于包括以下步骤：
1)对多个攻击算法的训练集进行域划分，每个训练阶段随机划分出普通训练集和元训练集，元训练集用于辅助增强模型的泛化性；
2)使用卷积神经网络对普通训练集进行特征提取和计算损失函数，并且使用一个小型权重感知网络给每个样本加权，用于区分样本的泛化能力；
3)计算元训练集的损失函数，利用该损失的梯度对权重感知网络的参数进行更新，并且修正普通训练集的梯度，增...

【专利技术属性】
技术研发人员：纪荣嵘，孙可，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35