一种基于骨架特征学习的人脸欺诈检测方法及系统技术方案

本发明专利技术提出一种基于骨架特征学习的人脸欺诈检测方法及系统，涉及计算机视觉与深度学习、网络安全的技术领域；从原始视频和人脸欺诈视频中提取到人脸样本，并划分为训练集、验证集和测试集；构建人脸重构模型，基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，提取骨架特征，进行分类学习，利用训练集和验证集训练人脸重构模型，包括人脸重构和分类学习，将待测试的人脸输入进训练好的模型进行分类，判断待测试视频是否经过人脸欺诈。非对称卷积结构易于迁移，能提升标准卷积核的表达能力及模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，提升了高压缩率低质量视频的人脸欺诈检测准确率。准确率。准确率。

【技术实现步骤摘要】
一种基于骨架特征学习的人脸欺诈检测方法及系统


[0001]本专利技术涉及计算机视觉与深度学习、网络安全的
，更具体地，涉及一种基于骨架特征学习的人脸欺诈检测方法及系统。

技术介绍

[0002]随着人工智能、机器学习和深度学习的快速发展，多媒体篡改也拥有了新技术和各种工具。虽然多媒体篡改主要用于娱乐和教育等合法领域，但也有恶意用户处于非法目的来使用这项技术。例如，人脸欺诈视频会传播错误信息，煽动仇恨，甚至骚扰和勒索大众百姓。这些经过篡改、高质量的视频被称为“深度伪造视频”。若这些视频中篡改的是人脸，则被称为“人脸欺诈”。
[0003]人脸欺诈检测方法从特征提取手段的角度，可分为基于传统手工特征的方法和基于深度学习的方法。在计算机视觉中，深度学习模型由于其特征提取和选择机制，可以直接从数据中提取或学习特征，从而得到了广泛的应用。在深度学习人脸欺诈研究中，目前常见以下基于深度学习的模型：卷积神经网络(CNN)模型(如：Xception、VGG、ResNet)、循环神经网络(RNN)模型(如：LSTM、FaceNet)、双向循环神经网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架特征学习的人脸欺诈检测方法，其特征在于，所述方法包括：S1.从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；S2.对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；S3.以多尺度的方式使用编码器和解码器以构建人脸重构模型；S4.基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；S5.将训练集输入至S4中得到的人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；S6.从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。2.根据权利要求1所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S1所述的篡改方式包括：Deepfakes、FaceSwap、Face2Face和Neural
‑
Textures。3.根据权利要求2所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，对原始视频和人脸欺诈视频进行处理的过程包括：S21.对原始视频和人脸欺诈视频进行分帧，采用MTCNN算法对分帧后的视频进行人脸检测，然后将人脸剪裁为统一大小，并按不同视频归类至不同的文件夹中；S22.分别从原始视频和人脸欺诈视频中按一定间隔抽取出剪裁的人脸样本，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同。4.根据权利要求3所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S3所述构建的人脸重构模型以Xception卷积神经网络为基础，其中，Xception卷积神经网络的前7个模块用作编码器，后7个模块用作解码器，并在解码器后引入多尺度图推理模块，以有效利用解码器中捕获的人脸欺诈线索进行最终分类。5.根据权利要求4所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，在人脸样本图像输入人脸重构模型之前，对人脸样本图像随机进行白噪声添加操作。6.根据权利要求4所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，在步骤S4中，可分离的非对称卷积结构为并行的三个卷积结构，分别为：3
×
3卷积结构、1
×
3卷积结构、3
×
1卷积结构，在对人脸重构模型进行改进时，将Xception中的第8个模块中所有的3
×
3卷积层替换为非对称卷积结构，以提取骨架特征，且引用重构引导注意模块以关注可能的伪造区域，并在重构引导注意模块中采用全局权重阈值处理重构引导注意模块中的注意权重矩阵。7.根据权利要求6所述的基于骨架特征学习的人脸欺诈检测方法，其特征在于，步骤S5所述训练人脸重构模型的方法为梯度下降法，在训练人脸重构模型的过程中，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型...

【专利技术属性】
技术研发人员：康显桂，童天瑶，
申请(专利权)人：中山大学，
类型：发明
国别省市：