一种基于身份识别概率分布的伪造换脸图像检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于身份识别概率分布的伪造换脸图像检测方法和装置，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像；采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；直到训练结束，将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。该方法在防御攻击的同时，提升伪造换脸图像的检测准确性和泛化性。确性和泛化性。确性和泛化性。

【技术实现步骤摘要】
一种基于身份识别概率分布的伪造换脸图像检测方法和装置


[0001]本专利技术属于深度伪造检测
，具体涉及一种基于身份识别概率分布的伪造换脸图像检测方法和装置。

技术介绍

[0002]近年来，随着生成对抗网络(GAN)等深度生成技术的发展，换脸图像的生成效果变得更加真实、生成过程变得更加简便，因此对舆论安全的威胁变得更加严重，亟需研究可靠的伪造换脸图像检测方法。
[0003]现有的伪造换脸图像检测方法大多将伪造换脸图像检测建模为一个真伪二分类问题，收集大量伪造换脸图像和真实人脸图像训练分类深度神经网络，用于检测待测图像的真伪，例如专利文献CN115100128A公开的一种联合多尺度特征的深度伪造图像检测方法，再例如专利文献CN115240243A公开的一种人脸伪造检测方法。这类方法容易在训练集中的换脸伪造图像上过度拟合，对训练集中不包含的换脸方法生成的图像检测准确率降低，因此难以应对迅速更新迭代的换脸生成技术。
[0004]另一类方法通过研究和提取换脸伪造过程造成的通用伪造痕迹来提升检测方法在不同换脸技术上的泛化性，例如检测脸部混合边界痕迹等，但这类痕迹容易被图像压缩、模糊等操作破坏，因此这类方法难以用于经过网络传播而质量降低的换脸图像检测。
[0005]此外，现有的伪造换脸图像检测研究很少针对换脸生成者已知检测方法并试图绕过的灰盒攻击场景对检测方法进行防御，因此存在被换脸生成者绕过的风险。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于身份识别概率分布的伪造换脸图像检测方法和装置，在防御攻击的同时，提升伪造换脸图像的检测准确性。
[0007]为实现上述专利技术目的，实施例提供的一种基于身份识别概率分布的伪造换脸图像检测方法，包括以下步骤：
[0008]步骤1，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；
[0009]步骤2，采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；
[0010]步骤3，将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像；
[0011]步骤4，采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；
[0012]步骤5，重复步骤3和步骤4，直到训练结束，提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。
[0013]优选地，所述平滑操作是指将身份标签的独热码标签和均匀分布结合，平滑的身份标签向量表示为：
[0014][0015]其中，y
s,c
表示类别c对应的平滑的身份标签向量值，α表示标签平滑的超参数，C表示身份标签类别总数，c＝target表示类别c为真实图像对应的身份标签。
[0016]优选地，所述标签平滑的超参数α取值为0.5。
[0017]优选地，所述身份识别模型用于基于输入图像预测输出身份识别概率分布，当采用真实图像对当前身份识别模型进行多轮基于身份标签的监督学习时，以预测输出的身份识别概率分布与身份标签的独热码编码的交叉熵作为损失函数l
i
，表示为：
[0018][0019]其中，z
i
表示第i个图像在身份识别模型中输出的身份识别概率分布向量，表示z
i
中真实图像对应身份标签y
i
的概率值，z
i,c
表示z
i
中身份标签c的概率值，C表示身份标签类别总量，exp()表示e指数函数，log()表示对数函数。
[0020]优选地，所述基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像，包括：
[0021]计算真实图像在拷贝模型中的身份识别概率分布，并从身份识别概率分布中提取身份标签对应的概率值进行反向传播以计算梯度后，选取梯度值最大的N个目标像素点，并提取以每个目标像素点为中心的矩形区域，将N个矩形区域的像素值置为零以实现遮挡，得到遮挡图像。
[0022]优选地，当采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习时，以预测输出的身份识别概率分布与平滑的身份标签向量的交叉熵作为损失函数l
i
’
，表示为：
[0023][0024]其中，z
i
表示第i个图像在身份识别模型中输出的身份识别概率分布向量，z
i,c
表示z
i
中身份标签c的概率值，z
i,j
表示z
i
中身份标签j的概率值，C表示身份标签类别总量，exp ()表示e指数函数，log ()表示对数函数，y
s,c
表示类别c对应的平滑的身份标签向量值。
[0025]优选地，所述身份识别模型包括用于图像特征提取的特征提取单元和用于预测身份识别概率分布的识别单元；
[0026]其中，特征提取单元采用ArcFace模型，识别单元采用全连接网络。
[0027]为实现上述专利技术目的，实施例提供一种基于身份识别概率分布的伪造换脸图像检测装置，包括标签处理模块、预优化模块、遮挡图像构建模块、再优化模块、检测模块；
[0028]所述标签处理模块用于构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；
[0029]所述预优化模块用于采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；
[0030]所述遮挡图像构建模块用于将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的分类结果中贡献最大的像素区域进行遮挡以构建遮挡图像；
[0031]所述再优化模块用于采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；
[0032]所述检测模块用于提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。
[0033]为实现上述专利技术目的，实施例还提供了一种基于身份识别概率分布的伪造换脸图像检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于身份识别概率分布的伪造换脸图像检测方法。
[0034]与现有技术相比，本专利技术具有的有益效果至少包括：
[0035]利用了换脸伪造图像的身份特征融合了参与换脸的两个不同身份这一共性本质特征，只需要使用真实图像训练身份识别模型，不需要现有伪造换脸图像训练真伪分类模型，因此对不同换脸方法的泛化性好；同时身份特征不容易被压缩等图像操作破坏，因此本专利技术对不同质量图像的泛化性好；同时设计训练策略扩大了身本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于身份识别概率分布的伪造换脸图像检测方法，其特征在于，包括以下步骤：步骤1，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；步骤2，采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；步骤3，将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像；步骤4，采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；步骤5，重复步骤3和步骤4，直到训练结束，提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。2.根据权利要求1所述的基于身份识别概率分布的伪造换脸图像检测方法，其特征在于，所述平滑操作是指将身份标签的独热码标签和均匀分布结合，平滑的身份标签向量表示为：其中，y
s,c
表示类别c对应的平滑的身份标签向量值，α表示标签平滑的超参数，C表示身份标签类别总数，c＝target表示类别c为真实图像对应的身份标签。3.根据权利要求2所述的基于身份识别概率分布的伪造换脸图像检测方法，其特征在于，所述标签平滑的超参数α取值为0.5。4.根据权利要求1所述的基于身份识别概率分布的伪造换脸图像检测方法，其特征在于，所述身份识别模型用于基于输入图像预测输出身份识别概率分布，当采用真实图像对当前身份识别模型进行多轮基于身份标签的监督学习时，以预测输出的身份识别概率分布与身份标签的独热码编码的交叉熵作为损失函数l
i
，表示为：其中，z
i
表示第i个图像在身份识别模型中输出的身份识别概率分布向量，z
i,yi
表示z
i
中真实图像对应身份标签y
i
的概率值，z
i,c
表示z
i
中身份标签c的概率值，C表示身份标签类别总量，exp ()表示e指数函数，log()表示对数函数。5.根据权利要求1所述的基于身份识别概率分布的伪造换脸图像检测方法，其特征在于，所述基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像，包括：计算真实图像在拷贝模型中的身份识别概率分布，并从身份识别概率分布中提取身份标签对应的...

【专利技术属性】
技术研发人员：张旭鸿，段宇萱，徐时健，
申请(专利权)人：巧智绘科技浙江有限公司，
类型：发明
国别省市：