一种基于多重格拉姆纹理的人脸深度伪造检测装置及方法制造方法及图纸

一种基于多重格拉姆纹理的人脸深度伪造检测装置及方法，包括：全局语义特征提取模块，其提取待测的人脸图像，并从所述人脸图像提取浅层图像特征以及全局语义特征；多重格拉姆纹理特征提取模块，将所述全局语义特征提取模块提取的浅层图像特征构建为浅层图像特征，并强化输入的人脸图像的纹理特性，该多重格拉姆纹理特征提取模块包括空间维度局部格拉姆纹理特征模块、通道维度全局格拉姆纹理构建模块和特征对比强化模块；特征融合模块，获得所述的全局语义特征提取模块提取的全局语义特征和所述多重格拉姆纹理特征提取模块构建的最终格拉姆纹理特征，将该全局语义特征和最终格拉姆纹理特征进行拼接融合得到融合特征，实现对伪造图像的判别。伪造图像的判别。伪造图像的判别。

【技术实现步骤摘要】
一种基于多重格拉姆纹理的人脸深度伪造检测装置及方法


[0001]本专利技术属于图像处理
，尤其涉及一种基于深度神经网络和格拉姆矩阵的人脸深度伪造检测装置及方法。

技术介绍

[0002]人脸深度伪造技术包括人脸替换、表情修改以及属性编辑，这类伪造在深度学习技术的支持下，以及在合成技术逐渐提升的同时，获得难度大幅降低，在互联网上出现了越来越多的虚假图像，这些虚假信息的泛滥给社会的政治、安全都造成了极大的不良影响。
[0003]目前，存在一些伪造图像检测方法，用于对人脸深度伪造图像进行检测识别。一般来说，这些方法大多关注于整个图像中更高层次的语义信息，在高层次语义特征空间对伪造和真实图像进行判别。然而，很多时候深度伪造的人脸的伪造痕迹与线索存在于局部以及表现为细微的纹理，当前的现有技术中缺乏对这些特点进行深度处理的伪造图像检测方法。

技术实现思路

[0004]为了解决上述现有技术存在的问题和不足，本专利技术提出一种基于深度神经网络和格拉姆矩阵的人脸伪造检测装置及方法，首先对利用浅层神经网络对图像的低层次进行建模，输出其对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重格拉姆纹理的人脸深度伪造检测装置，其特征在于，该装置包括：全局语义特征提取模块，其提取待测的人脸图像，并从所述人脸图像提取浅层图像特征以及全局语义特征；多重格拉姆纹理特征提取模块，将所述全局语义特征提取模块提取的浅层图像特征构建为浅层图像特征，并强化输入的人脸图像的纹理特性，所述多重格拉姆纹理特征提取模块包括空间维度局部格拉姆纹理特征模块、通道维度全局格拉姆纹理构建模块和特征对比强化模块，所述空间维度局部格拉姆纹理特征模块，通过计算所述浅层图像特征的像素之间的格拉姆矩阵来描述所述人脸图像的空间维度的特征相关关系，对空间局部纹理进行建模，所述通道维度全局格拉姆纹理特征模块，通过计算输入的人脸图像的不同通道之间的格拉姆矩阵，对图像整体的风格纹理进行建模，特征对比强化模块，对所述浅层图像特征的图像篡改区域和背景区域的空间格拉姆纹理特征进行特征的残差计算，得到空间格拉姆纹理对比强化特征，对图像篡改区域和背景区域的通道格拉姆风格纹理特征进行特征的残差计算，得到全局通道格拉姆纹理对比强化特征，并对空间维度和通道维度的格拉姆纹理对比强化特征进行拼接，得到融合后的多重格拉姆纹理特征；特征融合模块，获得所述的全局语义特征提取模块提取的全局语义特征和所述多重格拉姆纹理特征提取模块构建的最终格拉姆纹理特征，将该全局语义特征和最终格拉姆纹理特征进行拼接融合得到融合特征，实现对伪造图像的判别。2.如权利要求1所述的基于多重格拉姆纹理的人脸深度伪造检测装置，其特征在于：所述全局语义特征提取模块和所述多重格拉姆纹理特征提取模块均采用卷积神经网络。3.如权利要求1所述的基于多重格拉姆纹理的人脸深度伪造检测装置，其特征在于：所述空间维度局部拉姆纹理特征构建模块将输入的浅层图像特征划分为选自4、5、7、9中的数的平方个特征块，所述通道维度全局格拉姆纹理特征模块将输入的浅层图像特征压缩为选自32
‑
96中任一数量的通道。4.如权利要求1所述的基于多重格拉姆纹理的人脸深度伪造检测装置，其特征在于：所述全局语义特征特征提取模块所提取的人脸图像尺寸为256
×
256到512
×
512之间的任一正方形尺寸。5.一种基于多重格拉姆纹理的人脸深度伪造检测的方法，其特征在于，该方法包括以下步骤：S1：构建包括利用深度伪造技术合成的人脸图像的人脸图像数据集，该人脸图像数据集具有图像级的标注，该标注中以1表示伪造图像，0表示真实图像；S2：全局语义特征提取模块从步骤S1获得人脸图像并进行缩放，以及获取该人脸图像的全局语义特征F
global
以及浅层图像特征F
i
，其中i＝1，2，其中全局语义特征F
global
的输出维度为D，用于描述输入的人脸图像的全局语义特征，浅层图像特征F
i
的维度为D
Fi
×
H
Fi
×
W
Fi
，其中，H
Fi
、W
Fi
分别为浅层图像特征的长与宽，该二者构成了浅层图像特征的空间维度，D
Fi
为浅层图像特征的通道维度；
S3：将由步骤S2获得的浅层图像特征F
i
，依次送入通道维度全局格拉姆纹理特征模块并进行处理，具体包括以下步骤S3
‑
1：所述通道维度全局格拉姆纹理特征构件模块利用空间注意力计算掩码Mask处理接收到的浅层图像特征F
i
，其中Mask维度为1
×
H
Fi
×
W
Fi
，H
Fi
、W
Fi
分别为浅层图像特征F
i
的长与宽，Mask中所有元素值域为[0，1]，进而得到F
i_outer
＝F
i
*Mask和F
i_inner
＝F
i
*(1
‑
Mask)，其中F
i_outer
表示浅层图像特征F
i
中背景区域对应的浅层图像特征，特征F
i_inner
表示浅层图像特征F
i
中篡改区域对应的浅层图像特征，其中i＝1，2，且其中*表示矩阵按位乘法，S3
‑
2：获得从步骤S3
‑
1输入的特征F
i_inner
，对F
i_inner
的通道维度进行压缩并将不同通道的特征展开，得到篡改区域的图像嵌入特征G
i_1
，其尺寸为C*K
Fi_inner
，其中C表示特征F
i_inner
压缩后的通道维度，K
Fi_inner
表示特征F
i_inner
展开后的空间维度，K
Fi_inner
＝H
Fi
*W
Fi
，S3
‑
3：获得步骤S3
‑
2输入的特征G
i_1
，计算通道维度格拉姆矩阵将通道维度格拉姆矩阵Gram
i_ch_1
经过卷积层以及池化层得到图像篡改区域的全局格拉姆纹理特征F
i_gram_inner_ch
，S3
‑
4：获得从步骤S3
‑
1输入的特征F
i_outer
，对特征F
i_outer
的通道维度进行压缩并将不同通道的特征展开，得到背景区域的图像嵌入特征G
i_2
，其尺寸为C*K
Fi_outer
，其中C表示特征F
i_outer
压缩后的通道维度，K
Fi_outer
表示特征F
i_outer
特征展开后的空间维度，K
Fi_outer
＝H
Fi
*W
Fi
，S3
‑
5：获得步骤S3
‑
4输入的特征G
i_2
，计算通道维度的格拉姆矩阵将通道维...

【专利技术属性】
技术研发人员：郭园方，谈凌峰，王蕴红，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：