基于人脸关键点的伪造图像检测方法、终端及存储介质技术

本发明专利技术提供了一种基于人脸关键点的伪造图像检测方法、终端及存储介质，其中方法包括构建人脸伪造检测分类模型；其中，所述人脸伪造检测分类模型包括人脸关键点模板生成模块Gm、RGB特征提取模块Fr、mask特征提取模块Fm以及mask局部注意力模块Bm；获取训练样本图像X；利用所述训练样本图像X对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型；获取待检测的人脸图像；将所述待检测的人脸图像输入所述训练完成的人脸伪造检测分类模型，得到识别的结果。本发明专利技术设计合理，通过人脸关键点检测获得人脸各个器官区域的mask，舍弃了冗余的背景信息。舍弃了冗余的背景信息。舍弃了冗余的背景信息。

【技术实现步骤摘要】
基于人脸关键点的伪造图像检测方法、终端及存储介质


[0001]本专利技术属于图像识别领域，尤其是涉及一种基于人脸关键点的伪造图像检测方法、终端及存储介质。

技术介绍

[0002]在过去的几十年中，智能手机的普及和社交网络的发展使得数字图像和视频成为非常常见的数字对象。根据几份报告，每天有近20亿张图片上传到互联网上。随着数字图像的大量使用，改变图像内容的技术也随之兴起，例如使用Photoshop等编辑软件。如今，虚假新闻的危险性已得到广泛承认，在社交网络上每天观看超过1亿小时视频内容的情况下，虚假视频的传播引起了越来越多的关注，随之而来出现了大量的人脸伪造检测算法。人脸伪造图像检测算法有很多种，其中较为常见的有改进神经网络模型和利用多模态特征融合两种。改进神经网络模型通常采用注意力机制对神经网络模型进行修改达到更好的检测精度，其存在的问题是改进后的模型可能只在训练的数据分布上表现良好，在未知的伪造操作数据集上表现不佳。基于多模态的伪造检测算法融合了多个模态的信息，当其中一个模态失效，还有其他模态进行补充，实现更好的泛化性。多个模态相互作用，往往也能使检测精度更高，多模态人脸伪造图像检测的研究重点是模态的选择和多个模态的有效融合。
[0003]该领域通常使用其他特征作为另一种信息的补充，其他特征也称另外一个模态。目前，其他特征涉及频率域、图像深度或者心跳、血液流动等。人脸的关键点信息也属于一种补充信息，可以通过捕获人脸的关键部位获得更丰富的信息。Deepfake等技术通常是将一个人的脸部移植到另外一个人的脸部上，以达到更换人物身份的效果。因为Deepfake只改变人物的前景区域(脸部区域)，而不改变人物的背景区域。所以在这种转移人脸的过程中可能会产生一些伪影，特别是在人脸的前景和背景交界处。Deepfake技术也在后处理过程中对这种混合边界的伪影做了模糊处理，以至于检测这种混合边界的伪影变得更加困难，特别是当模型没有一种先验知识的指导时，对于人脸伪造图像的检测效果不佳。

技术实现思路

[0004]有鉴于此，本专利技术旨在提出一种基于人脸关键点的伪造图像检测方法、终端及存储介质，以解决现有检测方法对人脸伪造图像的检测效果不佳的问题。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：
[0006]第一方面，本专利技术提供了一种基于人脸关键点的伪造图像检测方法，包括：
[0007]构建人脸伪造检测分类模型；其中，所述人脸伪造检测分类模型包括人脸关键点模板生成模块Gm、RGB特征提取模块Fr、mask特征提取模块Fm以及mask局部注意力模块Bm；
[0008]获取训练样本图像X；
[0009]利用所述训练样本图像X对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型；
[0010]获取待检测的人脸图像；
[0011]将所述待检测的人脸图像输入所述训练完成的人脸伪造检测分类模型，得到识别的结果。
[0012]进一步的，所述利用所述训练样本图像X对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型，包括：
[0013]利用所述人脸关键点模板生成模块Gm，生成所述训练样本图像X的人脸关键点模板M；
[0014]利用所述RGB特征提取模块Fr对所述训练样本图像X进行特征提取，得到特征fr；
[0015]利用所述mask特征提取模块Fm对所述人脸关键点模板M进行特征提取，得到特征fm；
[0016]利用所述人脸关键点模板M和所述mask局部注意力模块Bm，对所述特征fr和所述特征fm进行融合；其中，所述mask局部注意力模块包括自适应学习权重子模块和通道融合子模块；
[0017]获取所述mask特征提取模块Fm的分类块、以及所述RGB特征提取模块Fr的分类块的输出，并将所述mask特征提取模块Fm的分类块的输出与所述RGB特征提取模块Fr的分类块的输出相加，得到输出结果；
[0018]将所述输出结果进行二分类，以判断输入图像的真实性；
[0019]根据损失函数和优化器对所述人脸伪造检测分类模型进行网络模型权重的梯度更新，得到训练完成的人脸伪造检测分类模型。
[0020]进一步的，所述利用所述人脸关键点模板生成模块Gm，生成所述训练样本图像X的人脸关键点模板M，包括：
[0021]利用dlib库函数获取所述训练样本图像X的68个关键点，并将所述训练样本图像X的68个关键点保存在标注文档中，以供读取；
[0022]将所述训练样本图像X的68个关键点坐标(x,y)进行归一化处理，得到关键点p1至p68；
[0023]将所述关键点p1至p68的(x,y)坐标均还原成像素坐标；
[0024]根据多边形填充法和所述关键点p1至p68的(x,y)坐标生成左眼、右眼、鼻子、嘴巴以及脸部轮廓共五个模板，并分别对每个模板使用一个卷积核为5*5、核值为1的卷积C1进行卷积运算后，再利用Relu1激活函数得到mask1至mask5；
[0025]将所述mask1至mask5按通道进行拼接，得到人脸关键点模板M。
[0026]进一步的，所述利用所述RGB特征提取模块Fr对所述训练样本图像X进行特征提取，得到特征fr，包括：
[0027]将所述训练样本图像X输入所述RGB特征提取模块Fr；其中，所述RGB特征提取模块Fr包括ResNet50和Fr分类块，所述ResNet50包括五个Stage，分别为S1、S2、S3、S4、S5；所述Fr分类块包含一个全局平均池化和一个全连接层；
[0028]利用所述RGB特征提取模块Fr中的五个Stage分别进行特征提取，得到特征fri，其中i＝{1，2,3,4,5}。
[0029]进一步的，所述利用所述mask特征提取模块Fm对所述人脸关键点模板M进行特征提取，得到特征fm，包括：
[0030]将所述人脸关键点模板M输入所述mask特征提取模块Fm；其中，所述mask特征提取
模块Fm包括阶段网络和Fm分类块，所述阶段网络包括五个Stage，分别为Sm1、Sm2、Sm3、Sm4、Sm5，所述Fm分类块包含一个全局平均池化和一个全连接层；
[0031]利用所述mask特征提取模块Fm中的五个Stage分别进行特征提取，得到特征fmi，其中i＝{1，2,3,4,5}。
[0032]进一步的，所述阶段网络包括：
[0033]Sm1，包括依次连接的“卷积核为7*7、filter为5、stride为2的DepthwiseConvolution
‑
BatchNorm
‑
ReLU层”；
[0034]Sm2，包括2个依次连接的“卷积核为3*3、filter为5、stride为1的DepthwiseConvolution
‑
BatchNorm
‑
ReLU层”，以及一个依次连接的“卷积核为3*3、filte本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸关键点的伪造图像检测方法，其特征在于，包括：构建人脸伪造检测分类模型；其中，所述人脸伪造检测分类模型包括人脸关键点模板生成模块Gm、RGB特征提取模块Fr、mask特征提取模块Fm以及mask局部注意力模块Bm；获取训练样本图像X；利用所述训练样本图像X对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型；获取待检测的人脸图像；将所述待检测的人脸图像输入所述训练完成的人脸伪造检测分类模型，得到识别的结果。2.根据权利要求1所述的方法，其特征在于，所述利用所述训练样本图像X对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型，包括：利用所述人脸关键点模板生成模块Gm，生成所述训练样本图像X的人脸关键点模板M；利用所述RGB特征提取模块Fr对所述训练样本图像X进行特征提取，得到特征fr；利用所述mask特征提取模块Fm对所述人脸关键点模板M进行特征提取，得到特征fm；利用所述人脸关键点模板M和所述mask局部注意力模块Bm，对所述特征fr和所述特征fm进行融合；其中，所述mask局部注意力模块包括自适应学习权重子模块和通道融合子模块；获取所述mask特征提取模块Fm的分类块、以及所述RGB特征提取模块Fr的分类块的输出，并将所述mask特征提取模块Fm的分类块的输出与所述RGB特征提取模块Fr的分类块的输出相加，得到输出结果；将所述输出结果进行二分类，以判断输入图像的真实性；根据损失函数和优化器对所述人脸伪造检测分类模型进行网络模型权重的梯度更新，得到训练完成的人脸伪造检测分类模型。3.根据权利要求2所述的方法，其特征在于，所述利用所述人脸关键点模板生成模块Gm，生成所述训练样本图像X的人脸关键点模板M，包括：利用dlib库函数获取所述训练样本图像X的68个关键点，并将所述训练样本图像X的68个关键点保存在标注文档中，以供读取；将所述训练样本图像X的68个关键点坐标(x,y)进行归一化处理，得到关键点p1至p68；将所述关键点p1至p68的(x,y)坐标均还原成像素坐标；根据多边形填充法和所述关键点p1至p68的(x,y)坐标生成左眼、右眼、鼻子、嘴巴以及脸部轮廓共五个模板，并分别对每个模板使用一个卷积核为5*5、核值为1的卷积C1进行卷积运算后，再利用Relu1激活函数得到mask1至mask5；将所述mask1至mask5按通道进行拼接，得到人脸关键点模板M。4.根据权利要求3所述的方法，其特征在于，所述利用所述RGB特征提取模块Fr对所述训练样本图像X进行特征提取，得到特征fr，包括：将所述训练样本图像X输入所述RGB特征提取模块Fr；其中，所述RGB特征提取模块Fr包括ResNet50和Fr分类块，所述ResNet50包括五个Stage，分别为S1、S2、S3、S4、S5；所述Fr分类块包含一个全局平均池化和一个全连接层；利用所述RGB特征提取模块Fr中的五个Stage分别进行特征提取，得到特征fri，其中i
＝{1，2,3,4,5}。5.根据权利要求3所述的方法，其特征在于，所述利用所述mask特征提取模块Fm对所述人脸关键点模板M进行特征提取，得到特征fm，包括：将所述人脸关键点模板M输入所述mask特征提取模块Fm；其中，所述mask特征提取模块Fm包括阶段网络和Fm分类块，所述阶段网络包括五个Stage，分别为Sm1、Sm2、Sm3、Sm4、Sm5，所述Fm分类块包含一个全局平均池化和一个全连接层；利用所述mask特征提取模块Fm中的五个Stage分别进行特征提取，得到特征fmi，其中i＝{1，2,3,4,5}。6.根据权利要求5所述的方法，其特征在于，所述阶段网络包括：Sm1，包括依次连接的“卷积核为7*7、filter为5、stride为2的DepthwiseConvolution
‑
BatchNorm
‑
ReLU层”；Sm2，包括2个依次连接的“卷积核为3*3...

【专利技术属性】
技术研发人员：杨巨成，张伟，孙笑，魏峰，王嫄，王伟，王波，赵青，吴超，国英龙，贾智洋，徐振宇，庞志刚，
申请(专利权)人：思腾合力天津科技有限公司，
类型：发明
国别省市：