一种人脸伪造图像检测方法、装置、终端及存储介质制造方法及图纸

本发明专利技术提供了一种人脸伪造图像检测方法、装置、终端及存储介质，其中方法包括获取人脸的RGB彩色图像；将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X；计算所述频率域X的掩码矩阵M；将所述掩码矩阵M与所述频率域X相乘得到高频分量X

【技术实现步骤摘要】
一种人脸伪造图像检测方法、装置、终端及存储介质


[0001]本专利技术属于图像识别领域，尤其是涉及一种人脸伪造图像检测方法、装置、终端及存储介质。

技术介绍

[0002]人脸伪造图像检测算法有很多种，其中较为常见的有改进神经网络模型和利用多模态特征融合两种。改进神经网络模型通常采用注意力机制对神经网络模型进行修改达到更好的检测精度，其存在的问题是改进后的模型可能只在训练的数据分布上表现良好，当用于未知的伪造操作数据集上时，效果不佳。基于多模态的伪造检测算法融合了多个模态的信息，当其中一个模态失效，还有其他模态进行补充，实现更好的泛化性。多个模态相互作用，往往也能使检测精度更高。现有多模态人脸伪造图像检测的研究重点是模态的选择和多个模态的有效融合，该领域通常把RGB特征之外的其他特征也当做一种模态。目前，基于多模态的人脸伪造图像检测算法有很多种，该多模态涉及频率域、图像深度或者心跳、血液流动等，其中使用最多的模态是频率域信息。
[0003]其中上采样是人脸伪造图像中常见操作，多应用于deepfake(深度伪造)和全脸合成中，在2020年，相关技术人员发现上采样操作会在频率域中留下棋盘阵列的高频伪影，而真实相机拍摄的图像的高频信息只存在于图像的角落。受奇异的棋盘阵列频率的启发，相关技术人员提出了双分支网络F3
‑
Net，该模型的一个分支通过频率感知图像分解来学习细微的伪造模式，另一个分支是从局部频率统计中提取高层语义来描述真实人脸和伪造人脸之间的频率感知统计差异。这两个分支通过一个名为MixBlock（混合块）的交叉注意模块进一步融合在一起。该算法很好的将频率域信息用于人脸伪造图像检测，达到了不错的结果，但该算法的缺点是没有将原始的RGB特征与频率域特征进行结合，而原始的RGB特征包含最丰富的判别信息，因此影响了该算法的识别准确率。

技术实现思路

[0004]有鉴于此，本专利技术旨在提出一种人脸伪造图像检测方法、装置、终端及存储介质，以解决现有人脸伪造图像检测算法识别准确率不佳的问题。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术提供了一种人脸伪造图像检测方法，包括：获取人脸的RGB彩色图像；将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X；计算所述频率域X的掩码矩阵M；将所述掩码矩阵M与所述频率域X相乘得到高频分量X
’
；将高频分量X
’
使用二维逆离散余弦变换转换到颜色空间域，得到高频边缘特征Y；将所述高频边缘特征Y和RGB特征x分别使用空间注意力机制得到注意力图，并利
用注意力图将高频边缘特征与RGB特征进行融合，得到融合特征I；将所述融合特征I输入训练完成的图像分类网络；获取所述图像分类网络输出的识别结果。
[0006]进一步的，所述将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X，包括：获取所述RGB彩色图像颜色空间域的RGB特征x；其中，RGB彩色图像为正方形；对RGB特征x进行二维离散余弦变换，得到频率域X，公式如下所示：，其中，X(k,l)为二维离散余弦变换后的对应k行j列频谱系数，x(m,n)表示m行n列的像素值，C(k)和C(l)是补偿系数，公式如下所示：，其中，N为RGB彩色图像的宽度或高度，k为频谱图像的行坐标，l为频谱图像的列坐标，m为原RGB彩色图像的行坐标，n为原RGB彩色图像的列坐标。
[0007]进一步的，所述计算所述频率域X的掩码矩阵M，公式如下所示：，其中，N为图像的宽度或高度，m为原RGB彩色图像的行坐标，n为原RGB彩色图像的列坐标，M（m，n）表示掩码矩阵，m，n的范围均为0至N
‑
1。
[0008]进一步的，所述将所述掩码矩阵M与所述频率域X相乘得到高频分量X
’
，公式如下所示：，其中，M表示掩码矩阵，X表示频率域，X
’
表示高频分量。
[0009]进一步的，所述图像分类网络采用ResNet、EfficientNet、ViT、Xception中的任意一种。
[0010]第二方面，本专利技术还提供了一种人脸伪造图像检测装置，包括：获取模块，用于获取人脸的RGB彩色图像；转换模块，用于将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X；提取模块，用于计算所述频率域X的掩码矩阵M；
计算模块，用于将所述掩码矩阵M与所述频率域X相乘得到高频分量X
’
；变换模块，用于将高频分量X
’
使用二维逆离散余弦变换转换到颜色空间域，得到高频边缘特征Y；融合模块，用于将所述高频边缘特征Y和RGB特征x分别使用空间注意力机制得到注意力图，并利用注意力图将高频边缘特征与RGB特征进行融合，得到融合特征I；处理模块，用于将所述融合特征I输入训练完成的图像分类网络；得到模块，用于获取所述图像分类网络输出的检测结果。
[0011]第三方面，本专利技术还提供了一种终端，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；摄像头，用于采集图像；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述人脸伪造图像检测方法。
[0012]第四方面，本专利技术还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述人脸伪造图像检测方法。
[0013]相对于现有技术，本专利技术所述的一种人脸伪造图像检测方法、装置、终端及存储介质具有以下优势：（1）本专利技术设计合理，其通过操作频率域信息获得全局的高频频率，让高频频率代表的边缘信息与原始的RGB图像进行融合，舍弃了冗余的低频信息，增强了图像的边缘信息，能够让图像分类网络模型更加关注人脸的边缘区域和伪造区域。此外，通过利用高频信息使模糊的人脸边缘更加突出，也有助于检测高压缩视频中的伪造人脸，同时又保留了信息丰富的原始RGB特征，可以有效的进行人脸伪造图像检测，有利于提高检测识别的准确率。
[0014]（2）本专利技术仅改变了图像分类网络模型的输入，可以很好的应用于各种图像分类网络模型，适用性更好，实际应用中可根据实际的时间和精确度需求权衡使用轻量级的模型或者复杂的图像分类网络模型。此外，由于本专利技术在图像分类网络模型输入的时候，就完成了高频边缘特征和RGB特征的融合，无需采用多分支网络模型进行融合，相比较于多分支网络模型，本专利技术使用的模型是单分支网络模型，在检测时间方面和模型的训练难易程度上也具有优势。
[0015]（3）本专利技术融合了空间域和频率域信息，从多个角度检测伪造人脸，检测精度高，并且泛化能力较好，可广泛用于人脸伪造图像检测领域。
附图说明
[0016]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例一所述的一种人脸伪造图像检测方法流程图；图2为本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸伪造图像检测方法，其特征在于，包括：获取人脸的RGB彩色图像；将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X；计算所述频率域X的掩码矩阵M；将所述掩码矩阵M与所述频率域X相乘得到高频分量X
’
；将高频分量X
’
使用二维逆离散余弦变换转换到颜色空间域，得到高频边缘特征Y；将所述高频边缘特征Y和RGB特征x分别使用空间注意力机制得到注意力图，并利用注意力图将高频边缘特征与RGB特征进行融合，得到融合特征I；将所述融合特征I输入训练完成的图像分类网络；获取所述图像分类网络输出的识别结果。2.根据权利要求1所述的方法，其特征在于，所述将所述RGB彩色图像颜色空间域的RGB特征x使用二维离散余弦变换转换到频率域X，包括：获取所述RGB彩色图像颜色空间域的RGB特征x；其中，RGB彩色图像为正方形；对RGB特征x进行二维离散余弦变换，得到频率域X，公式如下所示：，其中，X(k,l)为二维离散余弦变换后的对应k行j列频谱系数，x(m,n)表示m行n列的像素值；C(k)和C (l)为补偿系数，公式如下所示：，其中，N为RGB彩色图像的宽度或高度，k为频谱图像的行坐标，l为频谱图像的列坐标，m为原RGB彩色图像的行坐标，n为原RGB彩色图像的列坐标。3.根据权利要求1所述的方法，其特征在于，所述计算所述频率域X的掩码矩阵M，公式如下所示：，其中，N为图像的宽度或高度，m为原RGB彩色图像的行坐标，n为原RGB彩色图像的列坐标，M（m，n）表示掩码矩阵，m，n的范围均为0至N
‑
1。4.根据权利要求1所述的方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：王波，王伟，国英龙，徐振宇，程丽丽，杨巨成，刘建征，赵青，
申请(专利权)人：思腾合力天津科技有限公司，
类型：发明
国别省市：