一种基于决策分数的图像对抗样本检测方法和系统技术方案

本发明专利技术提出一种基于决策分数的图像对抗样本检测方法和系统。其中，方法包括：获取图像数据集并进行预处理，使用不同的模型结构对不同的数据集进行训练，选取各模型中的特定层以计算神经元的决策分数，针对不同的数据集，分别搭建不同的二元分类器，再应用各模型中的特定层计算出的决策分数，训练不同数据集对应的二元分类器，将对抗样本和良性样本的决策分数输入到训练好的二元分类器中进行测试，若分类精度不足，对二元分类器进行优化。本发明专利技术提出的方案，从模型内部神经元出发，通过少量样本计算模型的决策分数，训练简单的二元分类器，利用良性样本和对抗样本的决策分数差异，实现对抗样本的高精度、低成本检测。低成本检测。低成本检测。

【技术实现步骤摘要】
一种基于决策分数的图像对抗样本检测方法和系统


[0001]本专利技术属于图像处理领域，尤其涉及一种基于决策分数的图像对抗样本检测方法和系统。

技术介绍

[0002]人工智能技术飞速发展，深度神经网络模型在图像处理领域取得的成绩，激励着更多的人力物力投入到计算机视觉的研究领域中。其中，卷积神经网络在图像数据处理方面，尤其是各种模式识别任务上表现尤其突出。目前它已被部署于图像分类、缺陷检测、语义分割、图像修复等任务中，在自动驾驶、人脸识别、医学影像分析等场景中得到广泛应用。
[0003]然而最近研究发现，深度模型由于其数据驱动的特性，无法可控决定系统的训练，且自身在高维特征空间中的非线性导致了容易受到对抗攻击的影响，因此阻碍了深度模型在安全等级要求较高的场景中的进一步应用和发展。人工智能逐步在众多领域替代人类进行自主决策，若数据与算法存在安全漏洞问题，则将带来重大的人身伤害和财产损失。因此研究针对对抗样本的防御和检测技术，以提高模型面对未知威胁的鲁棒性和安全性，对提高应用过程的可靠性、实现安全可信的人工智能算法具有重要的意义。
[0004]机器学习模型训练过程中，攻击者可以通过精心修改现有的训练数据影响模型的准确性，或者不断生成新的对抗样本使模型预测错误。以假乱真的对抗样本可能导致人工智能所驱动的识别系统出现漏判或者误判，精心修改的恶意软件、添加扰动的图片等对抗样本可能使分类器识别错误，将难以识别的物体放在路边可能使经过的汽车进入安全保护模式，破坏自动驾驶系统的可用性。根据是否已知攻击目标的模型结构，分为白盒攻击和黑盒攻击；针对攻击者的原始期望，分为目标攻击和无目标攻击；根据对抗样本的不同，分为虚拟数字空间攻击和真实物理空间攻击。目前已有多种对抗攻击方法被提出：Goodfellow等提出快速梯度符号法(Fast Gradient Sign Method，FGSM)，通过梯度方向快速搜索产生对抗攻击效果的扰动。Kurakin等提出基本迭代法，采用小的搜索步长迭代计算扰动，并将BIM扩展为迭代极小可能类法，得到具有更强的对抗攻击性和较弱迁移性的对抗样本。Moosavi
‑
Dezfooli等提出DeepFool方法，能够以更小的扰动实现与FGSM相近的攻击效果。Papernot等提出基于雅可比的显著图攻击JSMA，通过限制扰动的零范数，实现像素级别的攻击。Chen等设计了零阶优化攻击方法ZOO，直接估计目标模型的梯度以产生对抗样本。
[0005]研究高效便捷的防御技术是实现深度学习模型进一步广泛可靠应用的保证。根据防御效果，防御方法可分为仅检测防御和完全防御，检测方法通过对抗样本与正常样本存在的差异，对检测出的对抗样本进行拒绝，以对潜在威胁进行提前预警。Hendrycks和Gimpel提出，良性输入和对抗输入之间的softmax分布存在差异，通过测量均匀分布和softmax分布之间的相对熵实现对抗本检测。Xu等人提出利用特征压缩来检测图像的对抗性扰动。通过比较目标网络对原始图像和压缩图像的预测结果进行对抗样本检测。Cohen等人将k近邻算法与影响函数结合，提出最近邻影响函数(Nearest Neighbor Influence Functions，NNIF)，实现对抗样本检测。Meng等人提出了一个对抗检测框架MagNet，该框架
使用一个或多个外部检测器将输入图像分类为对抗样本或良性样本，旨在学习良性样本的流形进行对抗样本的检测。Ma等人提出了一种基于局部固有维度(Local Intrinsic Dimensionality，LID)的对抗检测方法，利用样本的固有维度特征训练检测器，实现对抗样本的检测。
[0006]尽管现有检测方法能达到较好的效果，但它们仍面临以下挑战：
[0007](1)大多基于对抗样本的先验知识，需要大量对抗样本以得到输出置信度或隐层特征的总体规律，对训练数据的依赖性强，计算时间成本高；
[0008](2)部分检测方法依赖人为设置的阈值对对抗样本和良性样本进行划分，具有很高的参数敏感性，泛化能力低；
[0009](3)基于预处理的检测方法依赖于处理前后的模型输出差异，检测效果与预处理方法参数高度相关，难以检测扰动较大的对抗样本，检测范围受限。

技术实现思路

[0010]为解决上述技术问题，本专利技术提出一种基于决策分数的图像对抗样本检测方法和系统的技术方案，以解决上述技术问题。
[0011]本专利技术第一方面公开了一种基于决策分数的图像对抗样本检测方法，所述方法包括：
[0012]步骤S1、图像数据集的获取和预处理：获取CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集，并对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集进行预处理；
[0013]步骤S2、训练神经网络：使用不同的模型结构对不同的数据集进行训练，即对所述CIFAR
‑
10数据集使用VGG19模型进行训练，对所述GTSRB数据集使用LeNet
‑
5模型进行训练，对所述tiny
‑
ImageNet数据集使用MobileNetV1模型进行训练；
[0014]步骤S3、计算决策分数：对于所述VGG19模型、LeNet
‑
5模型和MobileNetV1模型，选取各模型中的特定层以计算神经元的决策分数；
[0015]步骤S4、训练二元分类器：针对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集，分别搭建不同的二元分类器，再应用各模型中的特定层计算出的决策分数，训练所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集对应的二元分类器；
[0016]步骤S5、二元分类器的参数优化：将对抗样本的决策分数输入到训练好的二元分类器中进行测试，若分类精度不足，则对二元分类器进行优化；
[0017]将良性样本的决策分数输入到二元分类器中，若分类精度不足，则对二元分类器进行优化。
[0018]根据本专利技术第一方面的方法，在所述步骤S1中，对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集进行预处理的方法包括：
[0019]对于所述GTSRB数据集，从每类中随机抽取30％的图片作为测试集，其余图片作为训练集；对于所述tiny
‑
ImageNet数据集，11000张图片用于训练，2000张图片用于测试精度；对类标进行one
‑
hot编码。
[0020]根据本专利技术第一方面的方法，在所述步骤S3中，所述选取各模型中的特定层以计算神经元的决策分数的方法包括：
[0021]选择卷积和全连接层中间的flatten层或全局平均池化层作为决策分数计算的所
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于决策分数的图像对抗样本检测方法，其特征在于，所述方法包括：步骤S1、图像数据集的获取和预处理：获取CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集，并对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集进行预处理；步骤S2、训练神经网络：使用不同的模型结构对不同的数据集进行训练，即对所述CIFAR
‑
10数据集使用VGG19模型进行训练，对所述GTSRB数据集使用LeNet
‑
5模型进行训练，对所述tiny
‑
ImageNet数据集使用MobileNetV1模型进行训练；步骤S3、计算决策分数：对于所述VGG19模型、LeNet
‑
5模型和MobileNetV1模型，选取各模型中的特定层以计算神经元的决策分数；步骤S4、训练二元分类器：针对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集，分别搭建不同的二元分类器，再应用各模型中的特定层计算出的决策分数，训练所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集对应的二元分类器；步骤S5、二元分类器的参数优化：将对抗样本的决策分数输入到训练好的二元分类器中进行测试，若分类精度不足，则对二元分类器进行优化；将良性样本的决策分数输入到二元分类器中，若分类精度不足，则对二元分类器进行优化。2.根据权利要求1所述的一种基于决策分数的图像对抗样本检测方法，其特征在于，在所述步骤S1中，对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集进行预处理的方法包括：对于所述GTSRB数据集，从每类中随机抽取30％的图片作为测试集，其余图片作为训练集；对于所述tiny
‑
ImageNet数据集，11000张图片用于训练，2000张图片用于测试精度；对类标进行one
‑
hot编码。3.根据权利要求1所述的一种基于决策分数的图像对抗样本检测方法，其特征在于，在所述步骤S3中，所述选取各模型中的特定层以计算神经元的决策分数的方法包括：选择卷积和全连接层中间的flatten层或全局平均池化层作为决策分数计算的所选层。4.根据权利要求3所述的一种基于决策分数的图像对抗样本检测方法，其特征在于，在所述步骤S3中，所述选择卷积和全连接层中间的flatten层或全局平均池化层作为决策分数的计算层的具体方法包括：对于所述VGG19模型和LeNet
‑
5模型选取flatten层；对于所述MobileNetV1模型选取全局平均池化层。5.根据权利要求3所述的一种基于决策分数的图像对抗样本检测方法，其特征在于，在所述步骤S3中，计算决策分数的方法包括：其中，μ(x)为决策分数；x为图像样本；y
c
表示对于输入x，模型预测类标c的置信度；表示决策分数计算的所选层的输出；
表示求偏导。6.根据权利要求1所述的一种基于决策分数的图像对抗样本检测方法，其特征在于，在所述步骤S4中，针对所述CIFAR
‑
10、GTSRB和tiny
‑
ImageNet数据集，分别搭建...

【专利技术属性】
技术研发人员：景慧昀，魏薇，辛鑫，周凡棣，牛金行，赵凯闻，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：