基于像素级注意力机制的深度伪造图像检测方法和系统技术方案

公开了基于像素级注意力机制的深度伪造图像检测方法和系统，包括在图像检测的主干网络中的提取特征之后插入像素级注意力机制模块，利用一个1*1卷积对特征信息F

【技术实现步骤摘要】
基于像素级注意力机制的深度伪造图像检测方法和系统


[0001]本专利技术涉及图像检测的
，尤其是基于像素级注意力机制的深度伪造图像检测方法和系统。

技术介绍

[0002]深度伪造检测技术已经利用卷积神经网络取得许多卓越显著的性能，其主要依靠的是卷积神经网络对高层语义信息的获取，并在分类损失的约束下不断优化和拟合。目前的深度伪造检测算法主要是通过增加数据量，提升模型的准确率和泛化性。对于所有卷积神经网络而言，大规模的数据量可以提升模型的准确率。然而，通过数据层面提升模型泛化性，会使得模型完全依靠大规模数据，无法从卷积神经网络本身来优化模型的特征学习能力。因此，如何使模型本身能具有挖掘显著特征信息的能力是一个具有挑战性的问题。
[0003]目前的深度伪造检测算法主要是依靠先进的主干网络和大规模的数据量，使得模型在伪造数据进行拟合。然而，目前的算法主要是依靠更换更强表征力的卷积神经网络和不断增加数据量，从而来提升模型的准确率和泛化性。现有的算法缺乏从特征层面来考虑深度伪造检测算法。现有的主干网络由于多层卷积层的设计，特征信息在前向传播过程中不断被平滑化。即，前一个卷积层的特征信息送入后一个卷积层，更多的是当前平均化的特征信息，而不是显著的特征信息。深度伪造检测算法不同于其他计算视觉任务，在深度伪造检测算法中应该保证前向传播的是显著的特征信息。
[0004]深度伪造检测网络被看作是一个二分类问题，利用卷积神经网络提取高层语义信息，在分类损失的约束下进行判别真实和伪造图像。卷积神经网络在深度伪造检测上取得较好的性能，目前各种算法主要是通过增加数据量来增加算法的泛化性和鲁棒性。然而，现有的算法却忽略了一个问题，卷积神经网络对图像的特征提取从底层轮廓信息逐渐到高层语义信息，特征信息趋于平滑化，网络对所有信息的关注度是一样的。对于深度伪造检测算法，应该去关注前一个卷积层获取的特征信息是否有将显著的信息传给下一个卷积层，应该去增强显著信息的特征表达，而不是使得所有特征信息平滑化。

技术实现思路

[0005]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于像素级注意力机制的深度伪造图像检测方法和系统，以解决上述技术问题。
[0006]根据本专利技术的一个方面，提出了基于像素级注意力机制的深度伪造图像检测方法，包括：
[0007]S1：在图像检测的主干网络中的提取特征之后插入像素级注意力机制模块，利用一个1*1卷积对特征信息F
i
进行通道压缩，压缩通道并将降维后的特征和原始图像相加得到特征F
ii
；，
[0008]S2：将特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到增强后的特征信息；
[0009]S3：将增强后的特征信息作为下一特征提取阶段的输入，重复进行前述步骤进行
特征信息增强，并利用标签平滑正则化的交叉嫡损失函数进行约束。
[0010]在一些具体的实施例中，主干网络为ResNet50网络，ResNet50网络包括四个提取特征的阶段。
[0011]在一些具体的实施例中，每个特征提取的方式为F
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代表主干网络ResNet50第i个特征提取过程，x
i
代表输入的人脸图像，θ
i
代表第i个特征提取过程涉及的参数。
[0012]在一些具体的实施例中，S1中对特征信息F
i
进行通道压缩具体为从C个通道压缩至3个通道。
[0013]在一些具体的实施例中，S2中特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到维度为H
×
W
×
C的特征，经过Sigmoid逐个对像素进行激活，形成了像素级的注意力掩膜。
[0014]在一些具体的实施例中，标签平滑正则化的交叉嫡损失函数具体为：其中，ε∈[0，1]，K表示类别数，p(k)表示预测属于类别k的概率。
[0015]根据本专利技术的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
[0016]根据本专利技术的第三方面，提出了基于像素级注意力机制的深度伪造图像检测系统，系统包括：
[0017]像素级注意力机制模块插入单元，配置用于在图像检测的主干网络中的提取特征之后插入像素级注意力机制模块，利用一个1*1卷积对特征信息F
i
进行通道压缩，压缩通道并将降维后的特征和原始图像相加得到特征F
ii
；
[0018]特征增强单元，配置用于将特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到增强后的特征信息；
[0019]约束单元：配置用于将增强后的特征信息作为下一特征提取阶段的输入，重复进行前述步骤进行特征信息增强，并利用标签平滑正则化的交叉嫡损失函数进行约束。
[0020]在一些具体的实施例中，主干网络为ResNet50网络，ResNet50网络包括四个提取特征的阶段，每个特征提取的方式为F
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代表主干网络ResNet50第i个特征提取过程，x
i
代表输入的人脸图像，θ
i
代表第i个特征提取过程涉及的参数。
[0021]在一些具体的实施例中，像素级注意力机制模块插入单元中对特征信息F
i
进行通道压缩具体为从C个通道压缩至3个通道。
[0022]在一些具体的实施例中，特征增强单元中特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到维度为H
×
W
×
C的特征，经过Sigmoid逐个对像素进行激活，形成了像素级的注意力掩膜。
[0023]在一些具体的实施例中，标签平滑正则化的交叉嫡损失函数具体为：其中，ε∈[0，1]，K表示类别数，p(k)表示预测属于类别k的概率。
[0024]本专利技术提出了一种基于像素级注意力机制的深度伪造图像检测方法和系统，通过引入一个像素级的注意力机制模块，来增强每个阶段特征信息的表达，使得在神经网络前向传播的是显著的特征信息。本专利技术提出的像素级的注意力机制模块较为灵活，可以随意
插入不同卷积层之后，而且在推理过程中不会增加太多参数量和运算量。
附图说明
[0025]包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本专利技术的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于像素级注意力机制的深度伪造图像检测方法，其特征在于，包括：S1：在图像检测的主干网络中的提取特征之后插入像素级注意力机制模块，利用一个1*1卷积对特征信息F
i
进行通道压缩，压缩通道并将降维后的特征和原始图像相加得到特征F
ii
；S2：将所述特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到增强后的特征信息；S3：将所述增强后的特征信息作为下一特征提取阶段的输入，重复进行前述步骤进行特征信息增强，并利用标签平滑正则化的交叉嫡损失函数进行约束。2.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法，其特征在于，所述主干网络为ResNet50网络，所述ResNet50网络包括四个提取特征的阶段。3.根据权利要求2所述的基于像素级注意力机制的深度伪造图像检测方法，其特征在于，每个所述特征提取的方式为F
i
＝(B
i
{x
i
|θ
i
})，其中，B
i
代表主干网络ResNet50第i个特征提取过程，x
i
代表输入的人脸图像，θ
i
代表第i个特征提取过程涉及的参数。4.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法，其特征在于，所述S1中对所述特征信息F
i
进行通道压缩具体为从C个通道压缩至3个通道。5.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法，其特征在于，所述S2中所述特征F
ii
再经过一个1*1卷积和Sigmoid激活函数得到维度为H
×
W
×
C的特征，经过Sigmoid逐个对像素进行激活，形成了像素级的注意力掩膜。6.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法，其特征在于，所述标签平滑正则化的交叉嫡损失函数具体为：于，所述标签平滑正则化的交叉嫡损失函数具体为：其中，ε∈[0,1]，K表示类别数，p(k)表示预测属于类别k的概率。7.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机...

【专利技术属性】
技术研发人员：涂梅林，张光斌，姚灿荣，吴俊毅，高志鹏，赵建强，杜新胜，金辉，韩名羲，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：