一种为图像分类器进行对抗样本防御的方法技术

本发明专利技术公开了一种为图像分类器进行对抗样本防御的方法，首先构造模型、准备图像训练数据并初始化超参数；其次将图像训练数据分成多个批次；使用一个批次的图像训练数据更新模型参数，包括：生成对抗样本、混合对抗样本与图像训练数据并调整对抗样本中图像数据的相对位置、使用反向传播算法更新模型参数；重复使用余下批次的图像训练数据实现模型参数的更新；重新开始新一轮的训练，直至训练完成；输出训练完成的模型。本发明专利技术将暹罗架构与对抗训练相结合，是对传统对抗训练算法的改进，可以更好应对图像分类器中对抗样本的攻击。

【技术实现步骤摘要】
一种为图像分类器进行对抗样本防御的方法
本专利技术涉及一种为图像分类器进行对抗样本防御的方法，所述图像分类器为基于神经网络的图像分类器，属于图像分类领域。
技术介绍
近年来，随着数据规模和计算能力的爆炸式增长，深度学习得到飞速发展，其中神经网络以优异的性能广泛服务于诸多应用之中。例如在图像分类中，采用了神经网络技术的图像分类器能够取得极佳的分类效果。然而，神经网络也面临着严峻的安全问题，对抗样本便是其中的一个典型示例。对抗样本是一类通过人为手段向正常图片中添加微弱扰动而形成的恶意图片，它能够误导基于神经网络的图像分类模型，使其产生错误的输出。因而对抗样本的存在严重威胁着分类模型的鲁棒性，尤其是当模型所涉及到的安全性要求比较高时，威胁则更甚。对抗训练作为一种有效的防御方法而受到了广泛的使用。其核心思想是在模型训练的每一次迭代中，借助当前模型与某种攻击算法动态地生成对抗样本，并将之作为训练数据，与原图像训练数据共同实现模型当前轮次的训练。经由对抗训练得到的模型能够显著提升自身对于对抗样本的抵御能力。然而对抗训练对图像训练数据的使用并不充分，其忽略了不同图像数据间的相互关系，存在一定的弊端。在经由对抗训练的模型的特征空间上，同类数据特征的距离不够近，不同类数据特征间隔不够远且彼此存在重叠，因而不利于模型的鲁棒性。
技术实现思路
专利技术目的：针对现有技术中存在的问题与不足，本专利技术提供一种为图像分类器进行对抗样本防御的方法，有效弥补传统图像分类器对抗训练算法的不足，进一步提升分类模型在应对对抗样本攻击时的抵御能力。任意一组对抗样本与正常图像数据间存在三种关系：1)对抗样本是由正常图像数据生成，两者一一对应；2)对抗样本与正常数图像据同属一个类别，但并非一一对应；3)对抗样本与正常图像数据分属不同的类别。本专利技术将传统对抗训练算法与暹罗架构相互结合，并且设计对抗样本的重排机制，从而充分利用对抗样本与正常图像数据间的上述三种关系，能够在特征空间上，有效降低类内距并扩大类间距，使得训练出的模型对对抗样本具有更强的抵御能力。技术方案：一种为图像分类器进行对抗样本防御的方法，包括如下步骤：步骤1，构造模型，准备图像训练数据；步骤2，将图像训练数据随机划分成多个mini-batch；步骤3，借助一个mini-batch的图像训练数据实现模型的一次参数更新；a)选择一个尚未参与计算的mini-batch的图像训练数据，生成对应的对抗样本；b)将上一步生成的对抗样本与对应的图像训练数据混合，并调整对抗样本中各图像数据的相对位置；c)借助反向传播算法，更新一次模型参数；步骤4，重复步骤3，直至步骤2所划分的mini-batch全部参与了计算；步骤5，重复步骤2-4，直至模型完成训练；步骤6，输出步骤5完成训练的模型。将图像训练数据集随机划分成多个mini-batch假设图像训练集中共包含D条图像训练数据，预设的mini-batch的大小为n。首先将D条图像训练数据随机打乱，之后按照mini-batch的大小依次选取图像训练数据，从而图像训练集共被分成了m个mini-batch。选择一个尚未参与计算的mini-batch的图像训练数据，生成对应的对抗样本任取一组尚未使用过的mini-batch的图像训练数据X＝(x1,x2,…,xn)，在当前的模型下，采用某种对抗攻击算法生成X对应的对抗样本混合生成的对抗样本与对应图像训练数据，调整对抗样本中各图像数据的相对位置预设划分比例λ，λ∈[0,1]，按照λ将对抗样本划分成两部分和其中：随机调整中各图像实例在中所处的位置，从而对实施重新排列，拼接与重排列后的得到对图像训练数据X的数据标签Y采用同样操作，得到对抗样本对应的标签计算同类标识T＝(t1,t2,…,tn)，当xi和同类，即xi与对应的数据标签yi与相等时ti＝1，否则ti＝0。借助反向传播算法，更新一次模型参数假设模型的参数是W，设定学习率为a。定义损失函数如下所示：其中α、β、γ为预设的超参数，l(·)为交叉熵损失函数，lcon(·)为对比损失函数。训练时采用暹罗架构，X与同时作为网络的输入，采用损失函数L(·)计算W的梯度并更新重复步骤2-4，直至模型完成训练预设训练轮数N，在每一轮中，将图像训练集随机分割成m个mini-batch，实现模型的m次参数更新，完成模型训练。所述超参数包括：模型学习率、mini-batch的大小、最大迭代次数、损失函数各分量的系数α、β和γ、对抗样本划分比例。所述模型为基于神经网络的图像分类器。所述图像训练数据为图片格式的数据。所述某种对抗攻击算法，包括：有目标攻击或无目标攻击、迭代式攻击或单步式攻击、不同范数攻击，所述不同范数包括：L0、L1、L2和L∞。有益效果：与现有技术相比，本专利技术提供的为图像分类器进行对抗样本防御的方法，具有如下优点：本专利技术首次将对抗训练与暹罗架构相互结合，设计了对抗样本的重排机制，使得图像分类模型在训练过程中能够充分利用图像数据间的相互关系，进一步提升其对对抗样本的防御能力。附图说明图1为本专利技术实施例中暹罗架构图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。这里以Cifar10数据集的分类问题为例，对本专利技术进行具体的介绍。Cifar10数据集包含60000张32×32的彩色图片，共分10类，每类各有5000张训练图片和1000张测试图片。我们选取神经网络ResNet18作为分类模型对Cifar10数据集实施分类。需要注意的是Cifar10数据集的分类问题仅仅用于说明本专利技术而不用于限制本专利技术，本领域技术人员对本专利技术进行的各种形式的等价修改均属于本专利技术所附权利要求所限定的范围之内。针对Cifar10数据集的分类问题，具体实施方式对应如下具体步骤：步骤1，构造神经网络ResNet18作为图像分类器，准备Cifar10训练数据集共50000张图片，设定超参数：模型的学习率为0.1、mini-batch的大小为256、最大迭代轮数为100、损失函数分类各分类系数α＝0.5、β＝0.5、γ＝1.0、对抗样本分割比例为0.5；步骤2，根据mini-batch预设的大小，将训练数据随机划分成m个mini-batch，其中步骤3，借助一个mini-batch的训练数据实现模型的一次参数更新。在算法实施之前，首先选取PGD算法用于对抗样本的生成，并设定PGD算法迭代次数S＝7，步长为α＝2/255，扰动上届ε＝8/255。之后，依次按下述步骤执行：a)以当前模型为目标模型，将一组mini-batch的训练数据X本文档来自技高网...

【技术保护点】
1.一种为图像分类器进行对抗样本防御的方法，其特征在于，包括如下步骤：/n步骤1，构造模型，准备图像训练数据；/n步骤2，将图像训练数据随机划分成多个mini-batch；/n步骤3，借助一个mini-batch的图像训练数据实现模型的一次参数更新；/na)选择一个尚未参与计算的mini-batch的图像训练数据，生成对应的对抗样本；/nb)将上一步生成的对抗样本与对应的图像训练数据混合，并调整对抗样本中各图像数据的相对位置；/nc)借助反向传播算法，更新一次模型参数；/n步骤4，重复步骤3，直至步骤2所划分的mini-batch全部参与了计算；/n步骤5，重复步骤2-4，直至模型完成训练；/n步骤6，输出步骤5完成训练的模型。/n

【技术特征摘要】
1.一种为图像分类器进行对抗样本防御的方法，其特征在于，包括如下步骤：
步骤1，构造模型，准备图像训练数据；
步骤2，将图像训练数据随机划分成多个mini-batch；
步骤3，借助一个mini-batch的图像训练数据实现模型的一次参数更新；
a)选择一个尚未参与计算的mini-batch的图像训练数据，生成对应的对抗样本；
b)将上一步生成的对抗样本与对应的图像训练数据混合，并调整对抗样本中各图像数据的相对位置；
c)借助反向传播算法，更新一次模型参数；
步骤4，重复步骤3，直至步骤2所划分的mini-batch全部参与了计算；
步骤5，重复步骤2-4，直至模型完成训练；
步骤6，输出步骤5完成训练的模型。


2.根据权利要求1所述的为图像分类器进行对抗样本防御的方法，其特征在于，将图像训练数据集随机划分成多个mini-batch的实现过程如下：
假设图像训练集中共包含D条图像训练数据，预设的mini-batch的大小为n。首先将D条图像训练数据随机打乱，之后按照mini-batch的大小依次选取图像训练数据，从而图像训练集共被分成了m个mini-batch；





3.根据权利要求1所述的为图像分类器进行对抗样本防御的方法，其特征在于，选择一个尚未参与计算的mini-batch的图像训练数据，生成对应的对抗样本，实现过程如下：
任取一组尚未使用过的mini-batch的图像训练数据X＝(x1，x2，...，xn)，在当前的模型下，采用某种对抗攻击算法生成X对应的对抗样本


4.根据权利要求1所述的为图像分类器进行对抗样本防御的方法，其特征在于，混合生成的对抗样本与对应图像训练数据，调整对抗样本中各图像数据的相...

【专利技术属性】
技术研发人员：诸渝，许封元，仲盛，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32