一种基于属性引导的深度伪造人脸图像检测方法和系统技术方案

公开了一种基于属性引导的深度伪造人脸图像检测方法和系统，包括接收人脸图像作为输入，经过主干网络进行特征提取；其中，输入图像包括属性标签和真伪标签；采用二值交叉熵作为人脸属性识别的多标签分类任务的损失函数

【技术实现步骤摘要】
一种基于属性引导的深度伪造人脸图像检测方法和系统


[0001]本专利技术涉及图像检测的
，尤其是一种基于属性引导的深度伪造人脸图像检测方法和系统
。

技术介绍

[0002]深度伪造图像可以是一张照片，也可以是一段视频
。
目前在这一领域的研究表明深度伪造人脸图像检测仍然具有挑战性，其挑战主要在于，人脸的伪造区域从之前的大范围缩小至局部区域，局部区域的伪造导致检测模型提取出的特征不够鲁棒
。
[0003]为了提升深度伪造图像检测模型性能，研究者从不同方向来进行努力，并取得显著的性能提升
。
部分方法依赖不同主干网路来获取更具区分力的特征，然而，这些方法主要是从主干网路的深度
、
宽度两个方向来优化，这样虽然可以获得显著性特征从而提升性能，但是主干网路的参数量以及浮点运算量会导致需要更大容量的硬件设施，因此不适合工业的算法部署
。
另外一种类型的方法，主要是引入注意力机制模型推动模型对局部伪造区域的特征学习，但是引入额外的参数量会带来这部分参数在局部区域上的过拟合现象
。
即当训练样本的人脸伪造区域和测试样本的人脸伪造区域存在较大的不同，训练好的注意力机制模块会存在误判，从而影响最终的人脸真伪判断
。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于属性引导的深度伪造人脸图像检测方法和系统，以解决上述技术问题
。
[0005]根据本专利技术的第一方面，提出了一种基于属性引导的深度伪造人脸图像检测方法，包括：
[0006]S1
：接收人脸图像作为输入，经过主干网络进行特征提取；其中，输入图像包括属性标签和真伪标签；
[0007]S2
：采用二值交叉熵作为人脸属性识别的多标签分类任务的损失函数
L
bce
；
[0008]S3
：将属性识别和真伪图像检测的共享特征送入真伪分类层，在真伪标签的引导下进行真伪分类，真伪分类的损失函数采用交叉熵损失函数整体任务的损失函数
α
是平衡两个损失的超参数
。
[0009]在一些具体的实施例中，
S1
中的属性标签
y
i
∈{0,1}
M
，
M
代表人脸属性的类别数，其中用0和1来标记
y
i
中该人脸属性不存在和存在；真伪标签表示为
t
i
。
[0010]在一些具体的实施例中，经过主干网络进行特征提取
F
＝
(B{I
i
|
θ1,
θ2,
…
,
θ
n
})
，其中，
B
代表算法采用的主干网络，
I
i
代表输入人脸图像，
θ1,
θ2,
…
,
θ
n
代表主干网络残差卷积块的参数
。
[0011]在一些具体的实施例中，损失函数在一些具体的实施例中，损失函数其中，
N
代表整个训练集中人脸样本数量，
log i ts
ij
代表
属性识别任务分类层对每个属性预测概率的输出，
y
ij
为
S1
提及的属性标签
y
i
，属性平衡因子
r
j
是第
j
个属性在训练集中正样本比例
。
[0012]在一些具体的实施例中，交叉熵损失函数在一些具体的实施例中，交叉熵损失函数其中
ε
∈[0,1]，
K
是类别数，
p(k)
代表预测属于类别
k
的概率
。
[0013]在一些具体的实施例中，属性识别和真伪图像检测共用最后一个嵌入层特征
。
[0014]根据本专利技术的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述的方法
。
[0015]根据本专利技术的第三方面，提出了一种基于属性引导的深度伪造人脸图像检测系统，包括：
[0016]特征提取模块，接收人脸图像作为输入，经过主干网络进行特征提取；其中，输入图像包括属性标签和真伪标签；
[0017]属性分类任务模块，采用二值交叉熵作为人脸属性识别的多标签分类任务的损失函数
L
bce
；
[0018]真伪分类任务模块，将属性识别和真伪图像检测的共享特征送入真伪分类层，在真伪标签的引导下进行真伪分类，真伪分类的损失函数采用交叉熵损失函数整体任务的损失函数
α
是平衡两个损失的超参数
。
[0019]在一些具体的实施例中，特征提取模块中属性标签
y
i
∈{0,1}
M
，
M
代表人脸属性的类别数，其中用0和1来标记
y
i
中该人脸属性不存在和存在；真伪标签表示为
t
i
。
[0020]在一些具体的实施例中，经过主干网络进行特征提取
F
＝
(B{I
i
|
θ1,
θ2,
…
,
θ
n
})
，其中，
B
代表算法采用的主干网络，
I
i
代表输入人脸图像，
θ1,
θ2,
…
,
θ
n
代表主干网络残差卷积块的参数
。
[0021]在一些具体的实施例中，损失函数在一些具体的实施例中，损失函数其中，
N
代表整个训练集中人脸样本数量，
log i ts
ij
代表属性识别任务分类层对每个属性预测概率的输出，
y
ij
为
S1
提及的属性标签
y
i
，属性平衡因子
r
j
是第
j
个属性在训练集中正样本比例
。
[0022]在一些具体的实施例中，交叉熵损失函数在一些具体的实施例中，交叉熵损失函数其中
ε
∈[0,1]，
K
是类别数，
p(k)
代表预测属于类别
k
的概率
。
[0023]在一些具体的实施例中，属性识别和真伪图像检测共用最后一个嵌入层特征
。
[0024]本专利技术提出了一种基于属性引导的深度伪造人脸图像检测方法和系统，主要包括两个任务，一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于属性引导的深度伪造人脸图像检测方法，其特征在于，包括：
S1
：接收人脸图像作为输入，经过主干网络进行特征提取；其中，输入图像包括属性标签和真伪标签；
S2
：采用二值交叉熵作为人脸属性识别的多标签分类任务的损失函数
L
bce
；
S3
：将属性识别和真伪图像检测的共享特征送入真伪分类层，在所述真伪标签的引导下进行真伪分类，所述真伪分类的损失函数采用交叉熵损失函数
L
cross_entrppyLsR
，整体任务的损失函数
L
＝
α
L
bce
+L
cross_entropyLsR
，
α
是平衡两个损失的超参数
。2.
根据权利要求1所述的基于属性引导的深度伪造人脸图像检测方法，其特征在于，所述
S1
中的属性标签
y
i
∈{0,1}
M
，
M
代表人脸属性的类别数，其中用0和1来标记
y
i
中该人脸属性不存在和存在；所述真伪标签表示为
t
i
。3.
根据权利要求2所述的基于属性引导的深度伪造人脸图像检测方法，其特征在于，经过主干网络进行特征提取
F
＝
(B{I
i
|
θ1,
θ2,
…
,
θ
n
})
，其中，
B
代表算法采用的主干网络，
I
i
代表输入人脸图像，
θ1,
θ2,
…
,
θ
n
代表主干网络残差卷积块的参数
。4.
根据权利要求1所述的基于属性引导的深度伪造人脸图像检测方法，其特征在于，所述损失函数述损失函数其中，
N
代表整个训练集中人脸样本数量，
logits
ij
代表属性识别任务分类层对每个属性预测概率的输出，
y
ij
为所述
S1
提及的属性标签
y
i
，属性平衡因子
5.
根据权利要求1所述的基于属性引导的深度伪造人脸图像检测方法，其特征在于，交叉熵损失函数其中
ε
∈[0,1]
，
K
是类别数，
p(k)
代表预测属于类别
k
的概率
。6.
根据权利要求1所述的基于属性引导的深度伪造人脸图像检测方法，其特征在于，所述属性识别和所述真伪图像检测共用最后一个嵌入层特征
。7.
一种计算机可读存储介质，其上存储有一或多个计算机程序...

【专利技术属性】
技术研发人员：洪雅婷，吴俊毅，刘庆灶，方玲，陈志明，赵建强，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：