一种基于骨架特征学习的人脸欺诈检测方法及系统技术方案

本发明专利技术提出一种基于骨架特征学习的人脸欺诈检测方法及系统，涉及计算机视觉与深度学习、网络安全的技术领域；从原始视频和人脸欺诈视频中提取到人脸样本，并划分为训练集、验证集和测试集；构建人脸重构模型，基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，提取骨架特征，进行分类学习，利用训练集和验证集训练人脸重构模型，包括人脸重构和分类学习，将待测试的人脸输入进训练好的模型进行分类，判断待测试视频是否经过人脸欺诈。非对称卷积结构易于迁移，能提升标准卷积核的表达能力及模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，提升了高压缩率低质量视频的人脸欺诈检测准确率。准确率。准确率。

【技术实现步骤摘要】
一种基于骨架特征学习的人脸欺诈检测方法及系统


[0001]本专利技术涉及计算机视觉与深度学习、网络安全的
，更具体地，涉及一种基于骨架特征学习的人脸欺诈检测方法及系统。

技术介绍

[0002]随着人工智能、机器学习和深度学习的快速发展，多媒体篡改也拥有了新技术和各种工具。虽然多媒体篡改主要用于娱乐和教育等合法领域，但也有恶意用户处于非法目的来使用这项技术。例如，人脸欺诈视频会传播错误信息，煽动仇恨，甚至骚扰和勒索大众百姓。这些经过篡改、高质量的视频被称为“深度伪造视频”。若这些视频中篡改的是人脸，则被称为“人脸欺诈”。
[0003]人脸欺诈检测方法从特征提取手段的角度，可分为基于传统手工特征的方法和基于深度学习的方法。在计算机视觉中，深度学习模型由于其特征提取和选择机制，可以直接从数据中提取或学习特征，从而得到了广泛的应用。在深度学习人脸欺诈研究中，目前常见以下基于深度学习的模型：卷积神经网络(CNN)模型(如：Xception、VGG、ResNet)、循环神经网络(RNN)模型(如：LSTM、FaceNet)、双向循环神经网络模型等。
[0004]如现有技术中公开了一种基于Xception网络的假脸检测方法及装置，该方案基于深度神经网络，优化改进了Xception网络结构，构建了人脸检测模型，实现了视频中较为准确的人脸欺诈检测，但这种技术通常仅在视频质量较高的情况下实现，并未对视频质量较差的情况进行考虑，然而，视频质量较差给卷积神经网络提取人脸特征带来了一定的困难，导致检测准确率降低，因此，视频质量影响是能否正确检测人脸欺诈的关键因素之一。
[0005]非对称卷积结构(AsymmetricConvolution Structure)是一种创新性的可以直接替换标准方框卷积(如3*3对称卷积)的结构。具体而言，对于d
×
d卷积，非对称卷积结构构建了一个三个并行的卷积：d
×
d、1
×
d、d
×
1，三个分支的输出通过相加的方式丰富特征空间。这种结构易于在主流CNN框架上实现、提升标准卷积核的表达能力、提升通用模型性能。
[0006]注意力机制的本质是定位到感兴趣的信息，抑制无用信息。它可以帮助我们更多地关注局部信息，局部通常是指有意义的和相互关联的区域。然而，注意力机制有极大的概率错误地去掉有价值的信息或保留毫无价值的信息。设置全局权重阈值(Global weight threshold)作为获得注意力权重矩阵后的附加处理，不考虑其内容信息的意义，可以增加有价值信息的影响，并降低保留无价值信息的概率。
[0007]因此，研究如何基于非对称卷积结构和设置全局权重阈值进行人脸欺诈检测是有效并有意义的。

技术实现思路

[0008]为解决现有人脸欺诈检测方法在面向低质量视频的人脸欺诈检测时，检测效果差的问题，本专利技术提出了一种基于骨架特征学习的人脸欺诈检测方法及系统，提高人脸欺诈检测准确率。
[0009]为了达到上述技术效果，本专利技术的技术方案如下：
[0010]一种基于骨架特征学习的人脸欺诈检测方法，所述方法包括：
[0011]S1.从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；
[0012]S2.对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；
[0013]S3.以多尺度的方式使用编码器和解码器以构建人脸重构模型；
[0014]S4.基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；
[0015]S5.将训练集输入至S4中得到的人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；
[0016]S6.从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。
[0017]优选地，步骤S1所述的篡改方式包括：Deepfakes、FaceSwap、Face2Face和Neural
‑
Textures。
[0018]优选地，对原始视频和人脸欺诈视频进行处理的过程包括：
[0019]S21.对原始视频和人脸欺诈视频进行分帧，采用MTCNN算法对分帧后的视频进行人脸检测，然后将人脸剪裁为统一大小，并按不同视频归类至不同的文件夹中；
[0020]S22.分别从原始视频和人脸欺诈视频中按一定间隔抽取出剪裁的人脸样本，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同。
[0021]优选地，步骤S3所述构建的人脸重构模型以Xception卷积神经网络为基础，其中，Xception卷积神经网络的前7个模块用作编码器，后7个模块用作解码器，并在解码器后引入多尺度图推理模块，以有效利用解码器中捕获的人脸欺诈线索进行最终分类。
[0022]在此，构建的人脸重构模型在对人脸的特征进行解码时，解码器中嵌入了分离原始视频人脸图像和伪造视频人脸图像的有用信息。
[0023]优选地，在人脸样本图像输入人脸重构模型之前，对人脸样本图像随机进行白噪声添加操作，以学习原始视频中人脸的鲁棒特征表示。
[0024]优选地，在步骤S4中，可分离的非对称卷积结构为并行的三个卷积结构，分别为：3
×
3卷积结构、1
×
3卷积结构、3
×
1卷积结构，在对人脸重构模型进行改进时，将Xception中的第8个模块中所有的3
×
3卷积层替换为非对称卷积结构，以提取骨架特征，且引用重构引导注意模块以关注可能的伪造区域，并在重构引导注意模块中采用全局权重阈值处理重构引导注意模块中的注意权重矩阵。
[0025]在此，非对称卷积结构易于迁移，能提升标准卷积核的表达能力、提升通用模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，整体提升了高压缩率低质量视频的人脸欺诈检测准确率；然后，考虑人脸重构模型的约束，重构的伪造视频人脸在视觉外观上与输入的人脸欺诈视频中的人脸有较大的不同，引用重构引导注意模块以关注可能的伪造区域，便于之后的检测分类；在重构引导注意模块中采用全局阈值处理注意权重矩阵可以增加有价值信息，减少无价值信息的影响。
[0026]优选地，步骤S5所述训练人脸重构模型的方法为梯度下降法，在训练人脸重构模
型的过程中，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型。
[0027]优选地，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型的过程为：
[0028]S51.将二值分类的交叉熵损失记为L
cls
；
[0029]S52.计算训练集中输入的人脸样本图像与输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架特征学习的人脸欺诈检测方法，其特征在于，所述方法包括：S1.从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；S2.对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；S3.以多尺度的方式使用编码器和解码器以构建人脸重构模型；S4.基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；S5.将训练集输入至S4中得到的人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；S6.从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。2.根据权利要求1所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S1所述的篡改方式包括：Deepfakes、FaceSwap、Face2Face和Neural
‑
Textures。3.根据权利要求2所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，对原始视频和人脸欺诈视频进行处理的过程包括：S21.对原始视频和人脸欺诈视频进行分帧，采用MTCNN算法对分帧后的视频进行人脸检测，然后将人脸剪裁为统一大小，并按不同视频归类至不同的文件夹中；S22.分别从原始视频和人脸欺诈视频中按一定间隔抽取出剪裁的人脸样本，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同。4.根据权利要求3所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S3所述构建的人脸重构模型以Xception卷积神经网络为基础，其中，Xception卷积神经网络的前7个模块用作编码器，后7个模块用作解码器，并在解码器后引入多尺度图推理模块，以有效利用解码器中捕获的人脸欺诈线索进行最终分类。5.根据权利要求4所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，在人脸样本图像输入人脸重构模型之前，对人脸样本图像随机进行白噪声添加操作。6.根据权利要求4所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，在步骤S4中，可分离的非对称卷积结构为并行的三个卷积结构，分别为：3
×
3卷积结构、1
×
3卷积结构、3
×
1卷积结构，在对人脸重构模型进行改进时，将Xception中的第8个模块中所有的3
×
3卷积层替换为非对称卷积结构，以提取骨架特征，且引用重构引导注意模块以关注可能的伪造区域，并在重构引导注意模块中采用全局权重阈值处理重构引导注意模块中的注意权重矩阵。7.根据权利要求6所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S5所述训练人脸重构模型的方法为梯度下降法，在训练人脸重构模型的过程中，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型...

【专利技术属性】
技术研发人员：康显桂，童天瑶，
申请(专利权)人：中山大学，
类型：发明
国别省市：