一种人脸识别中的攻击检测方法、装置以及设备制造方法及图纸

本说明书实施例公开了一种人脸识别中的攻击检测方法、装置以及设备。通过获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测，从而实现基于层次图像重建和构模型蒸馏的轻量级的第二模型的训练。建和构模型蒸馏的轻量级的第二模型的训练。建和构模型蒸馏的轻量级的第二模型的训练。

【技术实现步骤摘要】
一种人脸识别中的攻击检测方法、装置以及设备


[0001]本说明书涉及互联网
，尤其涉及一种人脸识别中的攻击检测方法、装置以及设备。

技术介绍

[0002]随着移动互联网的发展，人脸识别的应用也越来越广泛。但随之而来的就是更多的攻击技术。例如，deepfakes攻击采用算法篡改/生成人脸视频，将视频中A的人脸换成B的人脸，以进行风险攻击，这类技术由于其攻击的多样性和视觉的不可见性，成为了人脸识别系统中的重大挑战。目前常见的deepfakes检测方法通常由于计算复杂度太高，而难以部署在客户端侧进行应用。
[0003]基于此，需要一种可以在客户端准确的对人脸识别中的攻击进行检测的方案。

技术实现思路

[0004]本说明书实施例提供一种人脸识别中的攻击检测、装置、设备以及存储介质，用以解决如下技术问题：需要一种可以在客户端准确的对人脸识别中的攻击进行检测的方案。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
[0006]在第一方面，本说明书实施例提供一种人脸识别中的攻击检测方法，包括：获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测。
[0007]在第二方面，本说明书实施例提供一种人脸识别中的攻击检测装置，包括：样本获取模块，获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；第一模型训练模块，根据所述重建后的图像和所述训练样本的差异训练生成第一模型；第二模型训练模块，根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；攻击检测模块，获取包含人脸的待识别图片，使用所述第二模型进行攻击检测。
[0008]在第三方面，本说明书一个或多个实施例提供一种电子设备，包括：
[0009]至少一个处理器；以及，
[0010]与所述至少一个处理器通信连接的存储器；其中，
[0011]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
[0012]在第四方面，本说明书实施例提供一种非易失性计算机存储介质存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理器执行如第一方面所述的方法。
[0013]本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效
果：通过获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测，从而实现基于层次图像重建和构模型蒸馏的轻量级的第二模型的训练，在客户端侧进行准确的人脸识别中的攻击检测。
附图说明
[0014]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本说明书一个或多个实施例提供的一种人脸识别中的攻击检测方法的流程示意图；
[0016]图2为本说明书实施例所提供的一种第一模型的训练架构示意图；
[0017]图3为本说明书实施例所提供的一种第二模型的训练的架构示意图；
[0018]图4为本说明书实施例提供的一种人脸识别中的攻击检测装置的结构示意图；
[0019]图5为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
[0020]本说明书实施例提供一种人脸识别中的攻击检测方法、装置、设备以及存储介质。
[0021]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0022]目前对deepfakes检测方法可以被分为两种类型。第一种类型是基于单帧图像的deepfakes检测方法。这类方法以单帧图像作为输入，训练深度学习模型进行分类，判断输入样本是否为deepfakes攻击。这类模型由于输入信息有限，其对于deepfakes检测性能有限；第二种类型的方法则是基于视频数据的deepfakes检测方法。这类方法接收多帧视频数据作为输入，结合光流、关键点稳定性等时序信息进行deepfakes检测。这类方法虽然准确率有所提升，但是整体的计算复杂度太高，难以在端侧进行应用。基于此，本说明书实施例提供一种可以在客户端侧准确进行人脸识别中的攻击检测方案。
[0023]在第一方面，如图1所示，图1为本说明书一个或多个实施例提供的一种人脸识别中的攻击检测方法的流程示意图，包括：
[0024]S101，获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像。
[0025]训练样本中应当包含对部分图像进行遮挡。这种遮挡可以是使用其他的类似图像进行遮挡，也可以是使用空白的图像进行遮挡。
[0026]例如，对于原始图像中的眼部区域，使用类似的眼部图像(该图像可以基于算法产
生)进行遮挡；或者，对于原始图像中的眼部区域，使用空白图像进行遮挡。
[0027]在训练样本中，对于已经遮挡的区域可以进行遮挡标记，用于指示发生了遮挡的像素点。
[0028]在待训练的模型中可以包含用于图像重建的部分模块，例如内容重建模块，内容重建模块可以基于提取得到的特征向量进行图像重建，从而获取得到重建后的图像。
[0029]在重建过程中，可以采用多次重建迭代的方式进行。例如，对于遮挡标记所指示的像素，先对人脸部分中靠近已经遮挡的区域的像素所对应的图像进行部分重建(即遮挡区域的边缘的像素)，在部分重建完成之后，将该部分重建的图像作为模型的输入，重新提取得到对应的内容重建模块特征向量再次进行图像重建，经过多次迭代完成整个重建流程。
[0030]S103，根据所述重建后的图像和所述训练样本的差异训练生成第一模型。
[0031]具体而言，如果是正常的训练样本，在经历过多次重建后再进行特征提取时，其所对应的面部特征(即重建特征)应当和原始图像所对应的面部特征尽量一致；而如果是对抗的训练样本，则正好相反，其所对应重建之后的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸识别中的攻击检测方法，包括：获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测。2.如权利要求1所述的方法，其中，根据所述重建后的图像和所述训练样本的差异训练生成第一模型，包括：获取包含人脸的训练样本，提取所述训练样本的面部特征；根据所述面部特征进行分类，确定分类损失；根据所述重建后的图像和所述训练样本的差异，确定重建损失；提取所述重建后的图像所对应的重建特征，确定所述重建特征和所述面部特征的重建特征一致性损失；融合所述分类损失、重建损失和所述重建特征一致性损失训练生成第一模型。3.如权利要求1所述的方法，其中，所述第二模型为与所述第一模型部分异构的轻量模型，包括：所述第一模型中的面部特征的编码器为Transformer神经网络；相应的，所述第二模型中的面部特征的编码器为卷积神经网络CNN，且，所述第二模型为与所述第一模型的其它结构功能相同的轻量模型。4.如权利要求3所述的方法，其中，根据所述第一模型，训练生成第二模型，包括：确定所述第一模型对于所述训练样本的第一自注意力矩阵；采用所述卷积神经网络CNN获取训练样本的面部特征，根据所述面部特征生成对应的第二自注意力矩阵；根据所述第一自注意力矩阵和所述第二自注意力矩阵的差异确定异构蒸馏损失，根据所述异构蒸馏损失训练生成第二模型。5.如权利要求4所述的方法，其中，根据所述异构蒸馏损失训练生成第二模型，包括：确定所述第二模型对于所述训练样本的分类损失、重建损失和重建特征一致性损失；融合所述第二模型对于所述训练样本的分类损失、重建损失、重建特征一致性损...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：