基于深度学习的对抗样本攻击检测方法、装置及电子设备制造方法及图纸

本申请提供一种基于深度学习的对抗样本攻击检测方法、装置及电子设备，该方法包括：利用优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本；依据所述干净样本对应的对抗样本确定深度神经网络模型的防攻击性能评估结果。该方法可以更有效地对深度神经网络模型的防攻击性能进行评估。的防攻击性能进行评估。的防攻击性能进行评估。

【技术实现步骤摘要】
基于深度学习的对抗样本攻击检测方法、装置及电子设备


[0001]本申请涉及人工智能安全
，尤其涉及一种基于深度学习的对抗样本攻击检测方法、装置及电子设备。

技术介绍

[0002]目前，深度学习的发展为人工智能的应用提供了一种可靠的工具，深度神经网络（Deep Neural Networks，DNNs）已在计算机视觉（如人脸识别、目标检测、自动驾驶）等领域被广泛应用。在自然图像上（如CIFAR
‑
10和ImageNet数据集），最先进的卷积神经网络在图像分类任务中的识别率已经超过人眼。由于DNNs的优秀表现和传统工具的高成本，用深度学习算法取而代之是合适的选择，因此DNN也已成为图像处理任务的流行工具。
[0003]尽管DNNs性能优越，但研究发现，DNNs很容易受到精心设计的对抗样本的影响，这些对抗样本可以通过在原图添加很小的肉眼无法识别的扰动生成，即轻微扰动的输入样本可以使DNNs做出错误的预测。对抗样本的存在使DNNs在图像领域的应用令人感到担忧。
[0004]如何准确地检测深度神经网络模型对干扰样本的防攻击性能成为亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本申请提供一种基于深度学习的对抗样本攻击检测方法、装置及电子设备。
[0006]具体地，本申请是通过如下技术方案实现的：根据本申请实施例的第一方面，提供一种基于深度学习的对抗样本攻击检测方法，包括：利用优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本；依据所述干净样本对应的对抗样本确定深度神经网络模型的防攻击性能评估结果；其中，对于任一干净样本，在生成该干净样本对应的对抗样本的任一次迭代过程中：依据当前的动量以及交叉熵损失，确定第一梯度，并依据当前的对抗样本以及所述第一梯度，确定第一阶段对抗样本；依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，依据所述特征空间损失，确定第二梯度，并依据所述第一阶段对抗样本以及所述第二梯度，确定第二阶段对抗样本；所述特征空间损失用于表征所述第一阶段对抗样本与该干净样本之间的特征空间距离，且与所述第一阶段对抗样本与该干净样本之间的特征空间距离正相关；在迭代次数达到预设最大迭代次数的情况下，将所述第二阶段对抗样本确定为该干净样本对应的对抗样本。
[0007]根据本申请实施例的第二方面，提供一种基于深度学习的对抗样本攻击检测装置，包括：生成单元，用于利用优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本；检测单元，用于依据所述干净样本对应的对抗样本确定深度神经网络模型的防攻击性能评估结果；所述生成单元，具体用于对于任一干净样本，在生成该干净样本对应的对抗样本的任一次迭代过程中：依据当前的动量以及交叉熵损失，确定第一梯度，并依据当前的对抗样本以及所述第一梯度，确定第一阶段对抗样本；依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，依据所述特征空间损失，确定第二梯度，并依据所述第一阶段对抗样本以及所述第二梯度，确定第二阶段对抗样本；所述特征空间损失用于表征所述第一阶段对抗样本与该干净样本之间的特征空间距离，且与所述第一阶段对抗样本与该干净样本之间的特征空间距离正相关；在迭代次数达到预设最大迭代次数的情况下，将所述第二阶段对抗样本确定为该干净样本对应的对抗样本。
[0008]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法。
[0009]本申请实施例的基于深度学习的对抗样本攻击检测方法，通过提出一种优化的基于动量迭代梯度方式，并利用该优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本，在对抗样本生成过程中，不仅考虑对抗样本与干净样本在图像空间的距离，还考虑对抗样本与干净样本在特征空间的距离，得到更具有迁移性的对抗样本，进而，依据干净样本对应的对抗样本确定深度神经网络模型的防攻击性能评估结果，更有效地对深度神经网络模型的防攻击性能进行评估。
附图说明
[0010]图1为本申请一示例性实施例示出的一种基于深度学习的对抗样本攻击检测方法的流程示意图；图2为本申请一示例性实施例示出的一种基于深度学习的对抗样本攻击检测装置的结构示意图；图3为本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0011]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0012]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0013]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例涉及的部分技术术语进行简单说明。
[0014]1、目标模型：参数、模型结构可直接获得的分类器，可以记为 ，也可以称为白盒模型。
[0015]2、代理模型：参数、模型结构不可直接获得的分类器 ，可以记为 ，也可以称为黑盒模型或源模型。
[0016]3、黑盒测试：利用模型结构、参数不可知的分类器 （即代理模型）生成的对抗样本对模型 （即目标模型）进行测试的过程称为黑盒测试。
[0017]4、白盒测试：利用模型结构、参数均可知的分类器 （即目标模型）生成的对抗样本对模型 （即目标模型）进行测试的过程称为白盒测试。
[0018]5、干净样本：指从训练样本集中取出，且不进行任何预处理的样本，也可以称为自然样本。
[0019]6、对抗样本：对于干净样本 ，它的正确类标签为 。如果存在扰动 ， ，使得 满足 ，且 ，那么称 为干净样本x对应的对抗样本。
[0020]7、白盒对抗样本：利用模型结构、参数可知的分类器 生成的对抗样本为白盒对抗样本，记为 。
[0021]8、代理对抗样本：利用模型结构、参数未知的分类器 生成的对抗样本为黑盒对抗样本，记为 。
[0022]9、迁移率：假设 表示包含所有被代理模型错误分类的对抗样本的集合。使用 中的对抗样本来测试目标模型，并用 表示被目标模型错误分类的对抗样本的集合，其中， 。可以将迁移率定义为 衡量黑盒对抗样本的可转移性。
[0023]为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0024]请参见图1，为本申请实施例提供的一种基于深度学习的对抗样本攻击检测方法
的流程示意图，如图1所示，该基于深度学习的对抗样本攻击检测方法可以包括以下步骤：步骤S100本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的对抗样本攻击检测方法，其特征在于，包括：利用优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本；依据所述干净样本对应的对抗样本确定深度神经网络模型的防攻击性能评估结果；其中，对于任一干净样本，在生成该干净样本对应的对抗样本的任一次迭代过程中：依据当前的动量以及交叉熵损失，确定第一梯度，并依据当前的对抗样本以及所述第一梯度，确定第一阶段对抗样本；依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，依据所述特征空间损失，确定第二梯度，并依据所述第一阶段对抗样本以及所述第二梯度，确定第二阶段对抗样本；所述特征空间损失用于表征所述第一阶段对抗样本与该干净样本之间的特征空间距离，且与所述第一阶段对抗样本与该干净样本之间的特征空间距离正相关；在迭代次数达到预设最大迭代次数的情况下，将所述第二阶段对抗样本确定为该干净样本对应的对抗样本。2.根据权利要求1所述的方法，其特征在于，所述依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，包括：依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，利用投影公式，确定特征空间损失。3.根据权利要求1所述的方法，其特征在于，所述依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，包括：依据所述第一阶段对抗样本与该干净样本的特征表示输出差异的范数，确定特征空间损失。4.根据权利要求1所述的方法，其特征在于，所述依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，确定特征空间损失，包括：依据所述第一阶段对抗样本与该干净样本的特征表示输出差异，利用投影公式，确定第一特征空间损失；以及，依据所述第一阶段对抗样本与该干净样本的特征表示输出差异的范数，确定第二特征空间损失；依据所述第一特征空间损失、第二特征空间损失，以及，预设特征空间损失均衡参数，确定最终特征空间损失。5.根据权利要求1所述的方法，其特征在于，所述依据当前的对抗样本以及所述第一梯度，确定第一阶段对抗样本，包括：依据当前的对抗样本、所述第一梯度、预设步长，以及，预设步长调节参数，确定所述第一阶段对抗样本；所述依据所述第一阶段对抗样本以及所述第二梯度，确定第二阶段对抗样本，包括：依据所述第一阶段对抗样本、所述第二梯度、所述预设步长，以及，所述预设步长调节参数，确定所述第二阶段对抗样本。6.根据权利要求5所述的方法，其特征在于，所述依据当前的对抗样本、所述第一梯度、预设步长，以及，预设步长调节参数，确定所述第一阶段对抗样本，包括：依据所述预设步长以及所述预设步长调节参数，确定第一步长；
依据当前的对抗样本、所述第一梯度，以及，所述第一步长，确定所述第一阶段对抗样本；所述依据所述第一阶段对抗样本、所述第二梯度、所述预设步长，以及，所述预设步长调节参数，确定所述第二阶段对抗样本，包括：依据所述预设步长以及所述预设步长调节参数，确定第二步长；依据所述第一阶段对抗样本、所述第二梯度，以及，所述第二步长，确定所述第二阶段对抗样本。7.一种基于深度学习的对抗样本攻击检测装置，其特征在于，包括：生成单元，用于利用优化的基于动量迭代梯度方式，生成干净样本对应的对抗样本；检测单元，用于依据所述干净样...

【专利技术属性】
技术研发人员：王滨，钱亚冠，陈思，王星，李超豪，谢瀛辉，王伟，赵海涛，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：