一种提升深度神经网络模型鲁棒性的方法及装置制造方法及图纸

本发明专利技术公开了一种提升深度神经网络模型鲁棒性的方法，同时公开了一种提升深度神经网络模型鲁棒性的装置。本发明专利技术首先提出了神经单元敏感度的指标，用于度量深度神经网络模型中各神经单元在面对原始样本和对抗样本的表现差异；进一步找出深度神经网络模型中的敏感单元；然后根据各敏感单元组成敏感单元集合，作为训练集，针对待检测模型中预定的至少一层进行训练。因此，本发明专利技术可以有效地找到深度神经网络模型的弱点，并进行针对性的修复，提高模型对于对抗样本的鲁棒性。

A method and device to improve the robustness of depth neural network model

【技术实现步骤摘要】
一种提升深度神经网络模型鲁棒性的方法及装置
本专利技术涉及一种提升深度神经网络模型鲁棒性的方法，同时涉及一种提升深度神经网络模型鲁棒性的装置，属于机器学习

技术介绍
深度神经网络为多层神经网络结构，而且每一层都包含多个神经单元。近年来，深度神经网络已经在计算机视觉、语音识别和自然语言处理等诸多领域展示了卓越的表现。尽管深度神经网络已经取得了惊人的成就，但是包含人类不可感知的细小噪声而可以误导模型分类错误的对抗样本的出现，使得深度神经网络的可解释性受到了广泛的关注。同时，这也使得深度神经网络已经被广泛应用的领域，诸如自动驾驶和人脸识别，受到了对抗样本的潜在的安全威胁，可能会造成财产损失甚至人员伤亡。为了避免对抗样本对现实世界应用造成潜在威胁，许多用于提升深度神经网络对抗鲁棒性的方法被相继提出。这些方法可以被分类为对抗训练(adversarialtraining)、输入转换、特殊模型架构设计和对抗样本检测。从另一个角度看，深度神经网络由于结构复杂以及包含大量非线性操作被当做“黑盒”模型，而对抗样本对于理解深度神经网络的内部行为有着重要的价值。理解对抗样本可以找到模型的缺陷和弱点，从而有助于我们理解和训练出鲁棒的深度神经网络。有一些基于对抗扰动的模型鲁棒性分析方法被业界专家学者提出，它们中有人使用对抗样本理解深度神经网络内部表征；有人通过分析模型在面对对抗样本时，输入图像各区域的影响程度，来分析模型的弱点。从更高层次的角度看，模型面对噪声的鲁棒性可以被视为一种全局的不敏感特质。深度神经网络可以通过学习对于对抗样本的不敏感表征，减少其在面对对抗样本时的表现退化情况。
技术实现思路
本专利技术所要解决的首要技术问题在于提供一种提升深度神经网络模型鲁棒性的方法。本专利技术所要解决的另一技术问题在于提供一种提升深度神经网络模型鲁棒性的装置。为实现上述目的，本专利技术采用下述的技术方案：根据本专利技术实施例的第一方面，提供一种提升深度神经网络模型鲁棒性的方法，包括如下步骤：构建偶对集合；所述偶对集合由原始样本和对应对抗样本构成；在待检测模型的各层中，选出至少一层预设层；针对各预设层，逐层计算每个神经单元在偶对集合上的神经单元敏感度；根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合；将偶对集合作为训练集，根据各预设层的敏感单元集合，针对各预设层进行训练。其中较优地，所述构建偶对集合，具体包括：获取原始样本；使用基于梯度的PGD白盒攻击方法在原始样本上，针对待检测模型进行攻击，生成对应的对抗样本；每个原始样本和唯一对应的对抗样本构成一组偶对数据；各偶对数据构成偶对集合。其中较优地，所述PGD白盒攻击方法为：式中：sign(·)表示符号函数，x表示原始样本，y表示原始样本的类别标签，θ表示当前模型参数，α表示单次迭代步长值，Πx+S(·)表示投影函数，表示损失函数对于x的梯度。其中较优地，所述神经单元敏感度的计算公式为：式中，表示神经单元在偶对集合上的神经单元敏感度，和分别代表神经单元对于原始样本xi和对应的对抗样本x′i的输出。其中较优地，所述根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合，具体包括：针对待检测模型的每层预设层：将当前层中每个神经单元按神经单元敏感度，由高到低进行排序；选出神经单元敏感度排在前k(k≥1)位的神经单元组建当前层的敏感单元集合：Ωl＝top-k(Fl,σ)式中，Ωl表示当前层l的敏感单元集合，top-k(·)表示基于神经单元敏感度度量下前k大的神经单元，Fl表示当前层l的神经单元，σ表示神经单元敏感度。其中较优地，所述将偶对集合作为训练集，根据各预设层的敏感单元集合，针对各预设层进行训练，具体包括：构建对抗训练损失函数和稳定化损失函数；根据对抗训练损失函数和稳定化损失函数，得到整体优化损失函数；将偶对集合作为训练集，利用整体优化损失函数，对各预设层进行训练。其中较优地，所述对抗训练损失函数为：式中，表示交叉熵损失函数，x表示原始样本，x′表示对抗样本，y表示原始样本的类别标签，θ表示当前模型参数。其中较优地，所述稳定化损失函数为：式中，S表示预定的深度神经网络层编号的集合，Ωl表示待检测模型的第L层的敏感单元集合，和分别代表神经单元对于原始样本x和对应的对抗样本x′的输出。其中较优地，所述整体优化损失函数为：式中，λ为损失函数系数。根据本专利技术实施例的第二方面，提供一种提升深度神经网络模型鲁棒性的装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：构建偶对集合；所述偶对集合由原始样本和对应对抗样本构成；在待检测模型的各层中，选出至少一层预设层；针对各预设层，逐层计算每个神经单元在偶对集合上的神经单元敏感度；根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合；将偶对集合作为训练集，根据各预设层的敏感单元集合，针对各预设层进行训练。与现有技术相比较，本专利技术首先提出了神经单元敏感度的指标，用于度量深度神经网络模型中各神经单元在面对原始样本和对抗样本的表现差异；其次，本专利技术进一步找出深度神经网络模型中的敏感单元，它们对于模型的分类错误有着重要的贡献，即为深度神经网络的弱点；然后根据各敏感单元组成敏感单元集合，作为训练集，针对待检测模型中预定的至少一层进行训练。由此，本专利技术可以有效找到深度神经网络模型的弱点，并进行针对性的修复，提高深度神经网络模型对于对抗样本的鲁棒性。附图说明图1为本专利技术所提供的整体方法流程图；图2为本专利技术中，使用PGD白盒攻击方法实现敏感单元稳定化的流程图；图3为本专利技术中，选取敏感单元集合的示意图；图4为本专利技术所提供的装置结构图。具体实施方式下面结合附图和具体实施例对本专利技术的
技术实现思路
进行详细具体的说明。在机器学习领域中，对抗样本(Adversarialexamples)是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。在精度达到人类水平的神经网络上通过优化过程故意构造数据点，其上的误差率接近100％，模型在这个输入点的输出与附近的数据点非常不同。在许多情况下，两个输入点非常近似，人类观察者不会察觉原始样本和对抗样本之间的差异，但是网络会作出非常不同的预测。深度神经网络模型(简称模型)面对噪声的鲁棒性可以看作是一种全局不敏感行为，在包含噪声的条件下损失小，和原样本预测情况一致。深度神经网络模型在噪声设定下的鲁棒性的定义为：其中，xi和xj是从数据集D中随机挑选的样本；表示损失函数。同时，||·||是用于度量两个本文档来自技高网...

【技术保护点】
1.一种提升深度神经网络模型鲁棒性的方法，其特征在于包括如下步骤：/n构建偶对集合；所述偶对集合由原始样本和对应对抗样本构成；/n在待检测模型的各层中，选出至少一层预设层；/n针对各预设层，逐层计算每个神经单元在偶对集合上的神经单元敏感度；/n根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合；/n将偶对集合作为训练集，根据各预设层的敏感单元集合，针对各预设层进行训练。/n

【技术特征摘要】
1.一种提升深度神经网络模型鲁棒性的方法，其特征在于包括如下步骤：
构建偶对集合；所述偶对集合由原始样本和对应对抗样本构成；
在待检测模型的各层中，选出至少一层预设层；
针对各预设层，逐层计算每个神经单元在偶对集合上的神经单元敏感度；
根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合；
将偶对集合作为训练集，根据各预设层的敏感单元集合，针对各预设层进行训练。


2.如权利要求1所述的提升深度神经网络模型鲁棒性的方法，其特征在于所述构建偶对集合具体包括：
获取原始样本；
使用基于梯度的PGD白盒攻击方法在原始样本上，针对待检测模型进行攻击，生成对应的对抗样本；
每个原始样本和唯一对应的对抗样本构成一组偶对数据；
各偶对数据构成偶对集合。


3.如权利要求2所述的提升深度神经网络模型鲁棒性的方法，其特征在于所述PGD白盒攻击方法为：



式中：sign(·)表示符号函数，x表示原始样本，y表示原始样本的类别标签，θ表示当前模型参数，α表示单次迭代步长值，Πx+S(·)表示投影函数，表示损失函数对于x的梯度。


4.如权利要求1所述的提升深度神经网络模型鲁棒性的方法，其特征在于所述神经单元敏感度的计算公式为：



式中，表示神经单元在偶对集合上的神经单元敏感度，和分别代表神经单元对于原始样本xi和对应的对抗样本x′i的输出。


5.如权利要求1所述的提升深度神经网络模型鲁棒性的方法，其特征在于所述根据各预设层中各神经单元的神经单元敏感度，得到各预设层的敏感单元集合，具体包括：
针对待检测模型的每层预设层：
将当前层中每个神经单元按神经单元敏感度，由高到低进行排序；
选出神经单元敏感度排在前k(k≥1)位的神经单元组建当前层的敏感单元集合：
Ωl＝top-k(Fl，σ)
式...

【专利技术属性】
技术研发人员：刘祥龙，张崇智，刘艾杉，徐一涛，孙丽君，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11