基于三阶级联检测器的图像类对抗样本识别方法及检测器技术

本发明专利技术涉及基于三阶级联检测器的图像类对抗样本识别方法及检测器，读取并解析预训练完成后的深度神经网络模型中的参数，提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。本发明专利技术基于逐层相关传播算法实现深度神经网络分类器关键路径的快速计算和定位，有助于提取和分析样本的结构特征；构建的方法拥有较好的泛化性与鲁棒性以及较高的对抗样本检测精度，不仅有助于准确识别由现有攻击方式所形成的对抗样本并可有效抵御由未知攻击方式所形成的对抗样本，还有助于增加同时攻击分类器与检测器的难度。检测器的难度。检测器的难度。

【技术实现步骤摘要】
基于三阶级联检测器的图像类对抗样本识别方法及检测器


[0001]本专利技术涉及计算；推算或计数的
，特别涉及一种基于三阶级联检测器的图像类对抗样本识别方法及检测器。

技术介绍

[0002]近些年，深度神经网络在人脸/物体识别、图像分类、自动驾驶等许多具有挑战性的任务中得到了广泛且深度的应用，其表现优于传统的机器学习方法，甚至优于人类。
[0003]然而，由于深度神经网络缺乏可解释性，并且通常没有明确的决策边界，因此其容易遭受到广泛的网络攻击，包括中毒、规避、后门和模型反转。作为最有害攻击之一的规避攻击(也称为对抗攻击)，是攻击者通过向输入样本的像素添加了难以察觉的小扰动从而形成了对抗样本以实现攻击目的。相较于原自然样本，对抗样本的改变通常肉眼不可见，但此类样本可以欺骗受骗分类器做出高度自信但错误的预测。可以发现，对抗样本的存在，使得深度学习在金融、自动驾驶等领域存在巨大的安全隐患。因此，如何识别与检测此类对抗样本是当前业界重点关注的关键课题之一。
[0004]为实现上述目标，研究人员进行了诸多尝试，其中惯常采用的策略是基于样本固有的特征属性来构建检测器，通过分析正常样本和对抗样本固有统计属性，包括但不限于样本的距离、核密度和局部固有维数等的差异来实现检测目的。虽然该策略可以通过定义一个高质量的统计指标以有效区分正常样本和对抗样本之间的差异，但是随着对抗攻击方式的增多，检测的不确定性也随之增大，使得检测器出现对某些攻击表现良好，而对另一些攻击则表现不佳的状况，且该策略对攻击部署的置信度参数很敏感，易受未知对抗性样本的影响。另一种基于模型参数的检测方法则通过大量正常样本和对抗样本的训练以提取样本在模型中的重要参数，如神经元的激活值或重要性信息等，从而构建检测器来实现对样本的检测。然而，现有方法在检测器的泛化性和鲁棒性上均有所不足，且在检测过程中存在精度与复杂性难以同时兼顾的缺陷。

技术实现思路

[0005]为了克服现有方法在检测器的泛化性和鲁棒性方面的不足，本专利技术提出了一种基于三阶级联检测器的图像类对抗样本识别方法及检测器，通过对对应输入样本关键路径的提取以及相关三阶级联检测器的构造实现不同图像类对抗样本的识别；利用图神经网络在图特征提取方面聚合能力强的特性以及级联检测器具备低误识别率和高鲁棒性的特点，将深度神经网络中的关键路径构建成图的形式以作为输入进行识别，并将多个检测器级联起来，不仅增强了针对未知攻击方式的检测效果，还解决了攻击者同时掌握神经网络分类器和检测器的内部参数，从而连同检测器和神经网络分类器一起攻击而识别失效的难题。
[0006]本专利技术解决其技术问题所采用的技术方案是，一种基于三阶级联检测器的图像类对抗样本识别方法，所述方法读取并解析预训练完成后的深度神经网络模型，如卷积神经网络中的参数，提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级
联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。
[0007]优选地，提取深度神经网络模型的关键路径包括以下步骤：
[0008]步骤1.1：针对k种攻击方式，在正常样本集中随机抽取指定比例的正常样本，构造k组对抗样本，分别合并为k个正常样本集与相应的k个对抗样本集，将每个正常样本集和对抗样本集按预设比例，如8：2，划分为训练集和待检测样本集，分别标记为D
i
和D
′
i
，其中，i为组别，i＝1，2，3，...，k，k为正整数，以D
ij
和D
′
ij
分别指第i组训练集与待检测样本集中所抽取的第j个样本，j＝1，2，3，...，n，n为该组样本的数量；
[0009]步骤1.2：针对D
ij
和D
′
ij
，使用逐层相关传播算法量化M中每层神经元的重要性，提取相应的关键路径。
[0010]优选地，所述步骤1.2包括以下步骤：
[0011]步骤1.2.1：将D
ij
与D
′
ij
输入到深度神经网络模型M中，并直接提取每层神经元的激活度a、网络权值w及M所预测类别的置信度cf；其中，网络权值w与M的训练结果直接关联；
[0012]步骤1.2.2：基于a和w，从M的softmax层前最后一个完全连接层的输出开始，通过式(1)所示的层重要性守恒定律进行重要性反向传播，获得到每个神经元的重要性信息，
[0013][0014]其中，a
u
代表第u个神经元的激活度，w
uv
代表连接第u个与第v个神经元的权值，sR
u
代表相邻层中前一层第u个神经元的重要性值，pR
v
代表相邻层中后一层第v个神经元的重要性值，∈用于增强显著性，∈∈[0，1]，如0.5，U为相邻层中前一层神经元的个数，V为相邻层中后一层神经元的个数；
[0015]步骤1.2.3：针对每个D
ij
和D
′
ij
，选取M中每层靠前一定比例，如30％的重要性节点作为该层的关键节点，其中最后一个完全连接层只选取最重要的一个神经元作为该层的关键节点，再将相邻层之间有连接关系的关键节点连接起来，作为针对当前样本在M中的关键路径。
[0016]优选地，所述三阶级联检测器包括：
[0017]第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；
[0018]第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；
[0019]第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。
[0020]优选地，所述第一检测器的构建及对对抗样本识别包括以下步骤：
[0021]步骤2.1：针对对抗样本的训练集D
i
，利用主成分分析方法对其中的样本进行平铺并降维，标记为P
i
，训练集D
i
中的第j个样本对应降维后的点P
ij
；具体来说，将从训练集中所抽取的第j个样本D
ij
由一个多维矩阵数据平铺成1
×
H的矩阵(H代表该样本所有像素点的个数)后，再降维成2维特征数据，并将其视作为直角坐标系内的一个点P
ij
；
[0022]步骤2.2：初始化距离阈值DS，此阈值通过训练样本迭代计算得到，计算P
i
内各元素两两之间的欧氏距离，从P
i
中选择出与P
ij
距离小于阈值DS的其余坐标点，作为P
ij
邻域范围内的点，统计P
ij
邻域范围内的点中分别属于正常样本集和对抗样本集的点的数量，记为a
和b；
[0023]步骤2.3：初始化比例阈值PS、式(2)、式(3)
[0024]a＞(a+b)
×<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三阶级联检测器的图像类对抗样本识别方法，其特征在于：所述方法读取并解析预训练完成后的深度神经网络模型中的参数，提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。2.根据权利要求1所述的一种基于三阶级联检测器的图像类对抗样本识别方法，其特征在于：提取深度神经网络模型的关键路径包括以下步骤：步骤1.1：针对k种攻击方式，在正常样本集中随机抽取指定比例的正常样本，构造k组对抗样本，分别合并为k个正常样本集与相应的k个对抗样本集，按预设比例划分为训练集和待检测样本集，分别标记为D
i
和D
i
′
，其中，i为组别，i＝1,2,3,
…
,k，k为正整数，以D
ij
和D
i
′
j
分别指第i组训练集与待检测样本集中所抽取的第j个样本，j＝1,2,3,
…
,n，n为该组样本的数量；步骤1.2：针对D
ij
和D
i
′
j
，使用逐层相关传播算法量化M中每层神经元的重要性，提取相应的关键路径。3.根据权利要求2所述的一种基于三阶级联检测器的图像类对抗样本识别方法，其特征在于：所述步骤1.2包括以下步骤：步骤1.2.1：将D
ij
与D
i
′
j
输入到深度神经网络模型M中，并直接提取每层神经元的激活度a、网络权值w及M所预测类别的置信度cf；步骤1.2.2：基于a和w，从M的softmax层前最后一个完全连接层的输出开始，通过式(1)所示的层重要性守恒定律进行重要性反向传播，获得到每个神经元的重要性信息，其中，a
u
代表第u个神经元的激活度，w
uv
代表连接第u个与第v个神经元的权值，sR
u
代表相邻层中前一层第u个神经元的重要性值，pR
v
代表相邻层中后一层第v个神经元的重要性值，∈用于增强显著性，∈∈[0,1]，U为相邻层中前一层神经元的个数，V为相邻层中后一层神经元的个数；步骤1.2.3：针对每个D
ij
和D
i
′
j
，选取M中每层靠前一定比例的重要性节点作为该层的关键节点，其中最后一个完全连接层只选取最重要的一个神经元作为该层的关键节点，再将相邻层之间有连接关系的关键节点连接起来，作为针对当前样本在M中的关键路径。4.根据权利要求1所述的一种基于三阶级联检测器的图像类对抗样本识别方法，其特征在于：所述三阶级联检测器包括：第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。5.根据权利要求4所述的一种基于三阶级联检测器的图像类对抗样本识别方法，其特征在于：所述第一检测器的构建及对对抗样本识别包括以下步骤：步骤2.1：针对对抗样本的训练集D
i
，利用主成分分析方法对其中的样本进行平铺并降维，标记为P
i
，训练集D
i
中的第j个样本对应降维后的点P
ij
；
步骤2.2：初始化距离阈值DS，计算P
i
内各元素两两之间的欧氏距离，从P
i
中选择出与P
ij
距离小于阈值DS的其余坐标点，作为P
ij
邻域范围内的点，统计P
ij
邻域范围内的点中分别属于正常样本集和对抗样本集的点的数量，记为a和b；步骤2.3：初始化比例阈值PS、式(2)、式(3)，a&gt;(a+b)
×
PS(2)b&gt;(a+b)
×
PS(3)若a与b满足式(2)，则判定D
ij
为正常样本，若满足式(3)，则判定D
ij
为对抗样本；步骤2.4：通过步骤2.2和步骤2.3训练并计算最优的DS和PS；步骤2.5：以步骤2.1至步骤2.3的方法及训练得到的DS、PS对待检测样本集D
i
′
中样本D
i
′
j
的类别进行检测，若D
i
′
j
不满足式(2)和式(3)，则记作RM
i
′
j
，由三阶级联...

【专利技术属性】
技术研发人员：肖杰，谢圣杰，韩东一，许营坤，杨宇剑，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：