一种基于隐写分析及三生网络的对抗攻击协同防御方法技术

本发明专利技术公开了一种基于隐写分析及三生网络的对抗攻击协同防御方法，首先进行初始模型训练；然后生成对抗样本；再利用隐写分析进行检测性防御；接下来利用对抗训练产生的三生网络进行鲁棒性防御；最终完成预测分类。本发明专利技术能够增强网络的鲁棒性，以有效抵抗二次对抗攻击保证干净样本在未经对抗训练网络中较高的分类准确率。分类准确率。分类准确率。

【技术实现步骤摘要】
一种基于隐写分析及三生网络的对抗攻击协同防御方法


[0001]本专利技术属于深度学习
，具体涉及一种对抗攻击协同防御方法。

技术介绍

[0002]近年来，以深度神经网络模型为基础的人工智能技术在机器翻译、语音识别、场景分类和目标检测等任务，自动驾驶、人脸识别以及医疗系统等领域中取得了优于传统算法的成绩。然而，由于决策行为逻辑缺乏可解释性和透明性，深度神经网络模型在预测阶段容易受到对抗样本的攻击。攻击者通过在源数据上增加人类难以通过感官辨识到的细微扰动，却可以让深度学习模型接受并以高置信度输出一个错误预测。按照攻击成本，对抗攻击可分为白盒攻击、黑盒攻击和物理攻击。白盒攻击的前提是完整获取模型结构(模型组成、隔层参数等)且可以完整控制模型输入，通常作为实验室学术研究以及发起另外两种攻击的基础，FGSM、PGD、C&W、DeepFool是常见的白盒攻击算法；黑盒攻击对模型结构没有任何了解，只能控制输入；物理攻击既未知模型结构，又不易控制输入，采集图像经未知预处理后会发生缩放、扭转、光照变化、旋转。对抗攻击给深度神经网络的应用领域带来了极大的安全威胁。在使用深度神经网络来设计对安全性要求较高的系统时，必须要考虑如何抵抗对抗攻击，即对抗样本防御。
[0003]对抗样本在神经网络模型预测阶段进行攻击，因而其防御方法大多在模型预测前对输入端和模型本身进行改善。目前对抗样本防御主要分为三类，第一类通过数据预处理(如去噪、JPEG压缩、像素偏移等)将对抗样本转换为干净样本，计算量小；第二类是在预测前对样本分类检测(如用GAN网络模拟数据分布并判断、将隐蔽性强的鲁棒性对抗样本转化为非鲁棒性对抗样本、隐写分析等)，该法不需要修改网络但禁止对抗样本进入模型，无法正确识别对抗样本；第三种是训练鲁棒性更强的深度学习模型，使对抗样本原本添加的扰动失效(如用大量数据进行对抗训练、加入压缩自编码器以平滑模型、防御蒸馏等方法)。增强神经网络的鲁棒性需要重新训练复杂的网络，以便通过提高模型的随机性和认知性能来提高网络的复杂性，计算开销较大。
[0004]隐写分析是一种检测性防御方法。信息隐藏领域的隐写技术可以通过最小幅度修改像素来达到信息隐藏的效果，正如对抗样本通过添加最低限度的对抗扰动、修改样本中的像素导致模型进行错误分类。隐写与对抗攻击都对图像的像素值进行了修改，这会导致相邻像素的相关性被破坏，因此可以通过隐写分析检测器检测图像邻域像素之间的相关性确定输入图像是否含有对抗扰动。由于基于隐写分析检测方法进行检测性防御是一种基于人工特征的检测性防御，很难受到二次对抗攻击。常用两种隐写分析特征来检测对抗样本:一种是686维的低维特征模型SPAM；另一种是34671维的高维特征模型Spatial Rich Model(SRM)。
[0005]对抗训练方法是增强模型鲁棒性的重要防御方法，也是综合效果最佳的防御方法。其核心是将对抗样本集加入到神经网络的训练集中，拟合数据分布，覆盖对抗样本的盲区，使模型适应样本改变，提高模型鲁棒性，从而达到防御的效果。对抗样本和原始数据一
起训练，对抗样本产生的损失作为神经网络损失的一部分，在不修改原模型结构的情况下增加模型的损失，产生正则化的效果。然而，对抗训练仍存在过拟合、训练数据需求量大等问题，且对抗训练需要大量的时间。
[0006]协同防御将检测性防御与鲁棒性防御相结合，在确保检测性防御分类准确率较高的情况下，鲁棒性防御的对抗区域的阈值可以取得更低，得到更大的对抗区域，以得到更大的对抗区域，增强鲁棒性防御的防御效果。此外，协同防御的检测性防御与鲁棒性防御并不是固定的，各种检测性防御与鲁棒性防御可以进行组合，以提高防御效果。
[0007]对抗防御发展的一个重要方向是，对抗样本防御方法不仅要可以抵抗对抗攻击，还要尽可能地不会被针对此防御方法生成的对抗样本攻破，也就是要可以抵御二次对抗攻击。
[0008]深度学习方法让图像分类变得易实现，经典的卷积神经网络架构有AlexNet、VGG16、GoogleNet、ResNet，其中VGG16结构相对简单，网络层较深。如图2所示，VGG16有16层，约1.38亿个参数。这在当时已经是模型深度非常深的网络模型，其中为卷积层选择的滤波器为3
×
3，步长为l，池化层为2
×
2，步长为2。网络前半部分中的每个模块都由几个卷积操作和一个池化操作组成。最后一个模块由三个全连接层和一个softmax分类器组成。在训练过程中，随着网络层次的加深，由于这种规则的网络结构，每一层的输入和输出都在不断变化，有着特定的规律。具体地说，在每次池运算之后，输出特征映射的高度和宽度减少一半，并且在每次卷积运算之后，信道的数量增加一倍。
[0009]对抗攻击与对抗攻击防御通常需要对相同数据集进行仿真实验，以评估和对比攻击方法的性能。如图3所示，在图像分类领域，ImageNet、MNIST和CIFAR
‑
10是3个应用非常广泛的开源数据集。CIFAR
‑
10包含60000张大小为32x 32x 3的图像，其中训练样本50000张、测试样本10000张。分飞机、汽车、鸟、猫、鹿、狗、蛙、马、船和卡车10个类别。由于CIFAR
‑
10内容简洁、尺寸小，易于对抗攻击的实施，经常被作为评价对抗攻击性能的图像数据集。
[0010]现有的对抗训练(Adversarial Training)常见步骤如下：
[0011]1.收集样本数据：首先需要收集具有代表性的样本数据，这些数据将用于训练和评估模型。
[0012]2.生成对抗样本：使用对抗样本生成算法如FGSM、PGD等方法，将原始样本进行扰动，得到一组新的对抗样本。这些对抗样本是通过人工干预得到的，目标是欺骗模型并提高模型鲁棒性。
[0013]3.加载对抗样本：将干净样本与对抗样本一起输入模型进行训练。
[0014]4.训练模型：交替使用干净样本和对抗样本来训练机器学习模型，以使模型能够识别和分类出特定类别。
[0015]5.测试模型：采用测试数据集来衡量该模型鲁棒性能力及泛化能力。
[0016]6.调整参数：如果经测试发现模型仍然容易受到攻击，可以进行参数调整或增加训练次数，以提高其鲁棒性。
[0017]对于对抗防御中效果更好的对抗训练，通过各种创新手段提高模型的鲁棒性抵御对抗样本的攻击是其永恒的命题，然而，为了在对抗场景下提高模型的鲁棒性，对抗训练会增加一定的误差率，从而使模型在原始测试集上丧失一定的精度。在对抗防御的三大类方式中，数据预处理和检测对抗样本都是对原始数据做出较大改变，二者都比较依赖特定场
景，特定方法，过度依赖数据分布，容易受到过拟合，标签噪声的影响。特别是仅仅使用检测性防御，直接“淘汰”对抗样本“因噎废食”的操作，会对实际系统产生不利影响。不同防御方法相结合，可优势互补，提高整体效益。

技术实现思路

[0018]为了克服现有技术的不足，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐写分析及三生网络的对抗攻击协同防御方法，其特征在于，包括如下步骤：步骤1：初始模型训练；准备干净样本：将公开数据集转换为tensor格式，分成训练集和测试集；保存模型参数：将训练集分成不同的batch进行神经网络模型训练得到模型参数；测试验证：使用训练后的神经网络模型对干净样本测试集中的图像进行分类，输出分类准确率和平均损失，将训练后的神经网络模型命名为F1；步骤2：生成对抗样本；1)加载训练好的模型参数，生成测试模型对象；2)设置扰动大小eps，使用FGSM攻击方法对测试集进行攻击，由此生成对抗样本；3)保存生成的对抗样本以及原始的干净样本，将生成的对抗样本命名为A1；4)保存(3)中干净样本与对抗样本图像的label；步骤3：利用隐写分析进行检测性防御；步骤3
‑
1：提取干净样本和对抗样本的SPAM特征；步骤3
‑
2：Fisher线性判别分类；加载干净样本和对抗样本的SPAM特征，随机组合打乱组合成一个特征矩阵，用训练集特征数据训练分类器，测试分类器的效果，输出其分类...

【专利技术属性】
技术研发人员：蒋雯，徐达豪，秦一宁，梁国华，杨宇瀚，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：