对抗攻击的检测方法及系统技术方案

本说明书提供一种对抗攻击的检测方法及系统，获取目标用户100的生物特征的多个原模态图像后，将多个原模态图像输入至多模态异常区域感知模型，得到多个原模态图像对应的多模态异常区域检测结果，并基于多模态异常区域检测结果，确定目标用户100是否为对抗攻击对象。所述方法和系统利用多模态信息进行对抗攻击的检测，能够提高对抗攻击的检测精度。能够提高对抗攻击的检测精度。能够提高对抗攻击的检测精度。

【技术实现步骤摘要】
对抗攻击的检测方法及系统


[0001]本说明书涉及人工智能
，尤其涉及一种对抗攻击的检测方法及系统。

技术介绍

[0002]对抗攻击是人脸识别系统主要的安全威胁之一，通过在输入样本中故意添加一些人类肉眼无法察觉的细微的干扰，就能够使得模型输出一个错误的分类结果。由于对抗攻击的攻击pattern(图案)面积小、难以被检测，因此防御对抗攻击的难度较高。
[0003]目前，常见的防御对抗攻击的方式主要包括：在人脸识别前置检测/预处理环节，通过训练分类器或者引入高强度的预处理，检测出对抗攻击或者使其无效化。该方法所涉及到的模型较为简单，因此，对抗攻击检测性能较差。另外，还可以通过位于识别阶段的鲁棒性训练进行对抗攻击检测。该方法通过在训练阶段引入对抗样本进行训练，并要求模型对于对抗样本给出正确的预测结果，从而使得模型具有对对抗样本的鲁棒性。然而，该方法对于训练阶段没有出现过的对抗样本类型无法进行有效的防御，因此，对抗攻击检测性能同样较差。
[0004]综上，需要提供一种能够提高对抗攻击检测性能的方式。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗攻击的检测方法，包括：获取目标用户100的生物特征的多个原模态图像，所述多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像；将所述多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果；以及基于所述多模态异常区域检测结果，确定所述目标用户100是否为对抗攻击对象。2.根据权利要求1所述的方法，其中，所述多模态异常区域检测结果包括多模态对抗攻击分类结果、多模态异常区域分割结果以及跨模态映射结果中的至少一种。3.根据权利要求2所述的方法，其中，所述多模态异常区域感知模型包括多模态特征编码器，还包括多模态对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块中至少一种；以及所述将所述多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果，包括：将所述多个原模态图像输入至所述多模态特征编码器进行特征提取，得到所述多个原模态图像对应的多个原模态特征和多模态融合特征；以及以下至少一种：将所述多模态融合特征输入至所述多模态对抗攻击分类器，得到所述多模态对抗攻击分类结果；将所述多模态融合特征输入至所述多模态异常区域分割模块，得到所述多模态异常区域分割结果；将所述多个原模态特征输入至所述跨模态映射关系学习模块，得到所述跨模态映射结果。4.根据权利要求1所述的方法，其中，所述多模态异常区域感知模型采用如下方法步骤训练得到：将训练用户的生物特征的多个原模态图像样本输入至预设多模态特征编码器，得到所述多个原模态图像样本对应的多个原模态特征样本和多模态融合特征样本；以及，如下至少一种：将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态异常区域分割模块，得到所述多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息；将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息；将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息；以及基于所述异常区域分割损失信息、所述对抗攻击分类损失信息和所述跨模态特征预测损失信息中至少一项进行迭代训练，直至训练结束，得到所述多模态异常区域感知模型。5.根据权利要求4所述的方法，其中，所述训练异常区域分割结果包括多个模态对应的多个单模态分割结果和多模态分割结果，所述异常区域分割损失信息包括多个模态对应的多个单模态分割损失信息、多模态分割损失信息和多个单模态分割结果一致性损失信息中
至少一项；所述多个单模态分割损失信息基于所述多个模态对应的多个单模态分割结果与标注异常区域之间的差异确定；所述多模态分割损失信息基于所述多模态分割结果与标注异常区域之间的差异确定；所述多个单模态分割结果一致性损失信息基于所述多个单模态分割结果之间的差异确定。6.根据权利要求4所述的方法，其中，所述训练跨模态映射结果包括所述多个原模态图像样本对应的多个训练转模态特征，每个训练转模态特征包括基于其对应的原模态图像样本的原模态特征进行跨模态特征转换得到的其他模态的特征；所述跨模态特征预测损失信息基于所述多个原模态图像样本中每个原模态图像样本对应的原模态特征样本与转模态特征样本之间的差异确定。7.根据权利要求2所述的方法，其中，所述多模态对抗攻击分类结果包括所述多个原模态图像对应的多模态对抗攻击概率，所述多模态异常区域分割结果包括所述多个原模态图像对应的多模态异常图像区域，所述跨模态映射结果包括所述多个原模态图像对应的多个跨模态特征集，每个跨模态特征集包括基于其...

【专利技术属性】
技术研发人员：曹佳炯，丁菁汀，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：