对抗攻击的检测方法和系统技术方案

本说明书提供的对抗攻击的检测方法和系统，在获取目标用户的生物特征的多个模态的原始图像，并对多个模态的原始图像进行扰动，得到扰动图像后，将原始图像和扰动图像输入至多模态检测模型，以得到特征比对信息，该特征对比信息包括原始图像相对于扰动图像的图像特征变化的信息，以及基于特征比对信息，确定目标用户的对抗攻击检测结果，并输出所述对抗攻击结果；该方案可以提升对抗攻击的检测准确率。率。率。

【技术实现步骤摘要】
对抗攻击的检测方法和系统


[0001]本说明书涉及图像识别领域，尤其涉及一种对抗攻击的检测方法和系统。

技术介绍

[0002]近年来，随着互联网技术的飞速发展，生物特征(比如，人脸)识别的应用范围也越来越广泛了。在生物特征识别过程中，对抗攻击由于其隐蔽性，是安全风险最高的对攻手段之一。以人脸识别为例，所谓对抗攻击指在人脸区域粘贴对抗贴纸或者戴对抗眼镜等攻击手段，使得人脸识别系统发生误判(比如，A用户粘贴对抗贴纸后，被错误识别为B用户)的攻击手段。现有的对抗攻击的检测方法往往采用用户的生物特征的单模态图像进行检测。
[0003]在对现有技术的研究和实践过程中，本申请的专利技术人发现单模态图像中的图像信息较为有限，另外，通过单模态图像训练出的多模态检测模型在进行对抗攻击检测时，无法在对抗样本的鲁棒性和正常样本的识别性能上达到较好的折衷，使得检测精度较低，因此，导致对抗攻击的检测准确率较低。

技术实现思路

[0004]本说明书提供一种准确率更高的对抗攻击的检测方法和系统。
[0005]第一方面，本说明书提供一种对抗攻击的检测方法，包括：获取目标用户的生物特征的多个模态的原始图像，并对所述多个模态的原始图像进行扰动，得到扰动图像；将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，所述特征对比信息包括所述原始图像相对于所述扰动图像的图像特征变化的信息；以及基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，并输出所述对抗攻击结果。
[0006]在一些实施例中，所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。
[0007]在一些实施例中，所述多个模态包括色彩图像、红外图像、热成像图像或深度图像中的至少两种。
[0008]在一些实施例中，所述多模态检测模型包括多模态一致性网络和所述多个模态中每一模态分别对应的单模态检测网络；以及所述将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，包括：采用所述每一模态分别对应的单模态检测网络对对应模态的所述原始图像和所述扰动图像进行特征提取，得到所述多模态中每一模态对应的特征图谱，以及采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息。
[0009]在一些实施例中，所述多模态一致性网络包括特征提取子网络、特征关系一致性子网络和波动一致性子网络；以及所述采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息，包括：采用所述特征提取子网络在所述特征图谱中提取出对应模态的图像特征，采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，所述特征关系值包括所述原始图像相对于所述扰动图像的多个模态之间的图像特征相似度的变化值，采用所述波动一致性
子网络确定同一模态下所述图像特征之间的特征波动值，所述特征波动值包括所述同一模态下所述原始图像相对于所述扰动图像的图像特征之间波动的值，以及将所述特征关系值和所述特征波动值作为所述特征比对信息。
[0010]在一些实施例中，所述采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，包括：采用所述特征关系一致性子网络分别确定不同模态的所述图像特征之间的相似度，得到特征相似度集合；在所述相似度集合中选取出所述原始图像对应的原始特征相似度和所述扰动图像对应的扰动特征相似度；以及将所述原始特征相似度与所述扰动特征相似度进行对比，以得到所述特征关系值。
[0011]在一些实施例中，所述采用所述波动一致性子网络确定同一模态下所述图像特征之间的特征波动值，包括：采用所述波动一致性子网络在所述图像特征中选取出同一模态下所述原始图像对应的原始图像特征和所述扰动图像对应的扰动图像特征；获取所述原始图像特征和所述扰动图像特征之间的第一特征差值，并获取所述扰动图像特征之间的第二特征差值；以及基于所述第一特征差值和第二特征差值，确定同一模态下所述图像特征之间的特征波动值。
[0012]在一些实施例中，所述基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，包括：在所述特征关系值大于预设关系阈值或所述特征波动值大于预设波动阈值时，确定所述目标用户为对抗攻击用户，并将所述对抗攻击用户作为对抗攻击检测结果。
[0013]在一些实施例中，所述多模态检测模型的训练过程包括以下步骤：获取用户样本的生物特征的所述多个模态对应的原始图像样本，并基于所述原始图像样本分别对所述多个模态的预设单模态检测网络进行训练，得到多个单模态检测网络；对所述原始图像样本进行数据增广，并采用所述多个单模态检测网络分别对所述原始图像样本和增广后的至少一个增广图像样本进行特征提取；以及基于提取出的样本特征图谱，对预设多模态一致性网络进行一致性训练，并将训练后的多模态一致性网络和所述多个单模态检测网络作为所述多模态检测模型。
[0014]在一些实施例中，所述基于所述原始图像样本分别对所述多个模态的预设单模态检测网络进行训练，得到多个单模态检测网络，包括：在所述原始图像样本中选取出所述多个模态中每一模态的预设单模态检测网络对应的候选图像样本；以及对所述多个模态中每一模态的预设单模态检测网络：在所述候选图像样本中选取出噪声区域，在所述噪声区域中添加预设噪声，得到噪声图像样本，以及基于所述噪声图像样本对所述预设单模态检测网络进行训练，得到训练后的单模态检测网络。
[0015]在一些实施例中，所述基于所述噪声图像样本对所述预设单模态检测网络进行训练，得到训练后的单模态检测网络，包括：采用所述预设单模态检测网络对所述噪声图像样本进行特征提取，得到当前样本特征图谱；基于所述当前样本特征图谱对所述噪声图像样本进行分类，得到预测图像类别；以及基于所述预测图像类别和所述当前样本特征图谱，对所述预设单模态检测网络进行收敛，得到所述单模态检测网络。
[0016]在一些实施例中，所述基于所述预测图像类别和所述当前样本特征图谱，对所述预设单模态检测模型进行收敛，得到所述单模态检测网络，包括：获取所述噪声图像样本对应的原始标注图像类别，并将所述原始标注图像类别和所述预测图像类别进行对比，以得到分类损失信息；在所述当前样本特征图谱中提取出所述噪声区域的区域图像特征，并基
于所述当前样本特征图谱和所述区域图像特征，确定局部特征波动损失信息；以及将所述分类损失信息和所述局部特征波动损失信息进行融合，得到单模态损失信息，并基于所述单模态损失信息对所述预设单模态检测网络进行收敛，得到所述单模态检测网络。
[0017]在一些实施例中，所述基于所述当前样本特征图谱和所述区域图像特征，确定局部特征波动损失信息，包括：基于所述原始标注图像类别和所述当前样本特征图谱，获取每一图像类别的平均特征；基于所述原始标注图像类别，确定所述区域图像特征与对应的图像类别的所述平均特征之间的特征差值，得到局部特征差值；以及基于所述局部特征差值，确定所述局部特征波动损失信息，所述局部波动特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗攻击的检测方法，包括：获取目标用户的生物特征的多个模态的原始图像，并对所述多个模态的原始图像进行扰动，得到扰动图像；将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，所述特征对比信息包括所述原始图像相对于所述扰动图像的图像特征变化的信息；以及基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，并输出所述对抗攻击结果。2.根据权利要求1所述的对抗攻击的检测方法，其中，所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。3.根据权利要求1所述的对抗攻击的检测方法，其中，所述多个模态包括色彩图像、红外图像、热成像图像或深度图像中的至少两种。4.根据权利要求1所述的对抗攻击的检测方法，其中，所述多模态检测模型包括多模态一致性网络和所述多个模态中每一模态分别对应的单模态检测网络；以及所述将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，包括：采用所述每一模态分别对应的单模态检测网络对对应模态的所述原始图像和所述扰动图像进行特征提取，得到所述多模态中每一模态对应的特征图谱，以及采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息。5.根据权利要求4所述的对抗攻击的检测方法，其中，所述多模态一致性网络包括特征提取子网络、特征关系一致性子网络和波动一致性子网络；以及所述采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息，包括：采用所述特征提取子网络在所述特征图谱中提取出对应模态的图像特征，采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，所述特征关系值包括所述原始图像相对于所述扰动图像的多个模态之间的图像特征相似度的变化值，采用所述波动一致性子网络确定同一模态下所述图像特征之间的特征波动值，所述特征波动值包括所述同一模态下所述原始图像相对于所述扰动图像的图像特征之间波动的值，以及将所述特征关系值和所述特征波动值作为所述特征比对信息。6.根据权利要求5所述的对抗攻击的检测方法，其中，所述采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，包括：采用所述特征关系一致性子网络分别确定不同模态的所述图像特征之间的相似度，得到特征相似度集合；在所述相似度集合中选取出所述原始图像对应的原始特征相似度和所述扰动图像对应的扰动特征相似度；以及将所述原始特征相似度与所述扰动特征相似度进行对比，以得到所述特征关系值。7.根据权利要求5所述的对抗攻击的检测方法，其中，所述采用所述波动一致性子网络
确定同一模态下所述图像特征之间的特征波动值，包括：采用所述波动一致性子网络在所述图像特征中选取出同一模态下所述原始图像对应的原始图像特征和所述扰动图像对应的扰动图像特征；获取所述原始图像特征和所述扰动图像特征之间的第一特征差值，并获取所述扰动图像特征之间的第二特征差值；以及基于所述第一特征差值和第二特征差值，确定同一模态下所述图像特征之间的特征波动值。8.根据权利要求5所述的对抗攻击的检测方法，其中，所述基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，包括：在所述特征关系值大于预设关系阈值或所述特征波动值大于预设波动阈值时，确定所述目标用户为对抗攻击用户，并将所述对抗攻击用户作为对抗攻击检测结果。9.根据权利要求1所述的对抗攻击的检测方法，其中，所述多模态检测模型的训练过程包括以下步骤：获取用户样本的生物特征的所述多个模态对应的原始图像样本，并基于所述原始图像样本分别对所述多个模态的预设单模态检测网络进行训练，得到多个单模态检测网络；对所述原始图像样本进行数据增广，并采用所述多个单模态检测网络分别对所述原始图像样本和增广后的至少一个增广图像样本进行特征提取；以及基于提取出的样本特征图谱，对预设多模态一致性网络进行一致性训练，并将训练后的多模态一致性网络和所述多个单模态检测网络作为所述多模态检测模型。10.根据权利要求9所述的对抗攻击的检测方法，其中，所述基于所述原始图像样本分别对所述多个模态的预设单模态检测网络进行训练，得到多个单模态检测网络，包括：在所述原始图像样本中选取出所述多个模态中每一模态的预设单模态检测网络对应的候选图像样本；以及对所述多个模态中每一模态的预设单模态检测网络：在所述候选图像样本中选取出噪声区域，在所述噪声区域中添加预设噪声，得到噪声图像样本，以及基于所述噪声图像样本对所述预设单模态检测网络进行训练，得到训练后的单模态检测网络。11.根据权利要求10所述的对抗攻击的检测方法，其中，所述基于所述噪声图像样本对所述预设单模态检测网络进行训练，得到训练后的单模态检测网络，包括：采用所述预设单模态检测网络对所述噪声图像样本进行特征提取，得到当前样本特征图谱；基于所述当前样本特征图谱对所述噪声图像样本进行分类，得到预测图像类别；以及基于所述预测图像类别和所述当前样本特征图谱，对所述预设单模态检测网络进行收敛，得到所述单模态检测网络。12.根据权利要求11所述的对抗攻击的检测方法，其中，所述基于所述预测图像类别和所述当前样本特征图谱，对所述预设单模态检测模型进行收敛，得到所述单模态检测网络，包括：获取所述噪声图像样本对应的原始标注图像类别，并将所述原始标注图像类别和所述
预测图像类别进行对比，以得到分类损失信息；在所述当前样本特征图谱中提取出所述噪声区域的区域图像特征，并基于所述当前样本特征图谱和所述区域图像特征，确定局部特征波动损失信息；以及将所述分类损失信息和所述局部特征波动损失信息进行融合，得到单模态损失信息，并基于所述单模态损失信息对所述预设单模态检测网络进行收敛，得到所述单模态检测网络。13.根据权利要求12所述的对抗攻击的检测方法，其中，所述基于所述当前样本特征图谱和所述区域图像特征，确定局部特征波动损失信息，包括：基于所述原始标注图像类别和所述当前样本特征图谱，获取每一图像类别的平均特征；基于所述原始标注图像类别，确定所述区域图像特征与对应的图像类别的所述平均特征之间的特征差值，得到局部特征差值；以及基于所述局部特征差值，确定所述局部特征波动损失信息，所述局部波动特征损失信息的约束条件为所述区域图像特征与对应图像类别的所述平均图像特征保持一致。14.根据权利要求9所述的对抗攻击的检...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：