基于特征图去噪以及图像增强的敌对样本防护方法技术

本发明专利技术公开一种基于特征图去噪以及图像增强的敌对样本防护方法，包括步骤：在神经网络模型的第一层卷积层，对目标特征通道进行切片和特征图提取；定位坐标到特征图的最亮点，对特征图进行切片；判断切片属于亮区、暗区还是鲁棒区，如果属于亮区，则将定位点坐标移动到特征图第二亮的点，如果属于暗区或鲁棒区，则搜索寻找所述特征图中的第二亮的点，将特征图切片中所有点的像素值更改为最亮点像素值；将暗区和鲁棒区所有点的像素值归0；将经过以上处理的特征图进行合并叠加。本发明专利技术能有效缓解去噪过程对神经网络的影响，使其在识别干净样本时，保持较高的正确率，并具有较好的普适性。

A method of hostile sample protection based on feature image denoising and image enhancement

【技术实现步骤摘要】
基于特征图去噪以及图像增强的敌对样本防护方法
本专利技术涉及人工智能安全和信息安全
，尤其涉及一种基于特征图去噪以及图像增强的敌对样本防护方法。
技术介绍
自从2012年深度学习迎来爆发式发展，神经网络包括CNN(ConvolutionalNeuralNetworks)、DN(Deconvolutionalnetworks)、GAN(Generativeadversarialnetworks)等在图像检测和识别领域逐渐取得了明显优于传统目标检测方法的成绩，并在计算机视觉领域占据了重要的地位。但神经网络的线性特性致使其易被攻击者恶意构造的对抗样本愚弄，致使深度学习模型的安全收到威胁。在对抗样本攻击中，攻击者通过在输入中加入线性扰动致使深度学习模型识别错误。对抗样本的攻击原理为：对抗样本中的微小扰动随迭代次数增加而逐层增大最终致使模型的分类器输出错误。攻击方式分为两类，即黑盒攻击(Black-boxAttacks)与白盒攻击(White-boxAttacks)。在黑盒场景下，攻击者无法获取模型的参数等详细信息，而在白盒场景下，攻击者可以在已知模型信息的条件下构造敌对样本。对抗样本生成算法包括：1)FGSM攻击算法(Fastgradientsignmethod)。其训练目标是通过在梯度方向增加微小偏移增大损失函数来获取对抗样本。2)I-FGSM攻击算法(iterativeFGSM)。其目标是通过多次迭代FGSM算法，在输入中多次增加微小偏移来构造更精准的对抗样本。攻击算法造成的主要危害包括：图像检测与模式识别领域的错误分类；自动驾驶领域的异常识别，加州大学DownSong教授的团队通过在“STOP”交通标识牌上贴胶带来欺骗自动驾驶的人工智能；人脸识别领域的错误认证，卡内基梅隆大学研究人员发现，通过佩戴特殊设计的眼镜框架，即可愚弄先进的人工智能识别系统。考虑到对抗样本攻击的危害性，提供可靠、稳定并且效用良好的防护方法十分必要。已有的敌对样本防护方法有以下三种。(1)对抗性训练：通过在训练集中加入对抗样本，使模型习得相应数据，即进行一定正则化。(2)蒸馏：通过用软标签(softtarget)对模型进行训练，来让模型的梯度更加平滑，使攻击者更难获得梯度信息。(3)去噪：对输入进行去噪操作，减弱和消除攻击者施加的噪声信息。已有的对抗样本防护算法在防御对抗样本任务中取得了良好的成绩，但在运用过程中存在缺陷。蒸馏方法在任务规模较大，模型较为复杂时应用困难，而去噪方法则会使图片丢失部分信息。另一方面考虑到模型结构的复杂性，已有的防护方法难以在模型之间迁移，无疑给防护任务带来困难。除此之外，部分已有的防护方法增加了模型的复杂度，导致计算量大幅增加。
技术实现思路
为了提高深度学习模型对抗敌对样本时的鲁棒性，本专利技术提出一种基于特征图去噪以及图像增强的敌对样本防护方法。在不改动模型结构的基础上，在特征图空间进行修改，达到去噪的目的。为了达到之一目的，本专利技术采用的技术方案如下：构建图像的神经网络模型，包括三层卷积层，对第一层卷积层进行如下操作：S1、对目标特征通道进行切片和特征图提取；S2、移动定位点坐标到特征图的最亮点，以所述最亮点为中心对特征图进行切片；S3、判断所述切片属于亮区、暗区还是鲁棒区，如果属于亮区，则将所述定位点坐标移动到所述特征图第二亮的点，如果属于暗区或鲁棒区，则重新搜索寻找所述特征图中的第二亮的点，将定位点坐标定位到该点；S4、重复执行S3，直到搜索次数达到预定次数，将所述特征图切片中所有点的像素值更改为最亮点像素值；S5、将暗区和鲁棒区所有点的像素值归0，去除噪声；S6、将经过以上处理的特征图进行合并叠加，合并后的特征图与原始特征通道大小相等。作为优选，S3中采用深度优先搜索算法搜索寻找所述特征图中的第二亮的点。进一步，所述深度优先搜素算法具体是，通过递归更新当前坐标，以第二亮点坐标为下一次递归采用的定位坐标参数。作为优选，所述判断所述切片属于亮区、暗区还是鲁棒区具体为：判断定位点是否位于有效连通特征边界，如果是则沿边界双向处理所述连通特征，如果不是则寻找该切片内第二亮点；判断为亮区后，定位切片以当前定位坐标为十字中心区域的第二亮点坐标值，即第二亮点定位坐标值需与当前定位坐标直接相邻；对重新定位坐标进行审查，若不符合条件，则结束本次递归调用；所述条件为：全特征图经处理的像素点数目不得超过全图像素点总数额的三分之一。进一步的，采用中轴线边界判定算法判断定位点是否位于有效连通特征边界。更进一步的，所述中轴线边界判定算法通过比较中轴线两边对称点像素值与亮区判定值和暗区判定值大小，来判定该轴线是否为边界；所述暗区判定值设置为全图像素点值中位数与平均值的最大值，所述亮区判定值为暗区判定值加相应参数0.05。作为优选，设置所述亮区的识别值为全图像素值按正序排序时，位于总像素点数三分之一位置处的像素值。作为优选，设置所述暗区的识别值为全图像素值按倒序排序时，位于总像素点数三分之一位置处的像素值。本专利技术在提升神经网络识别样本的鲁棒性的同时，能够有效缓解去噪过程对神经网络的影响，使其在识别干净样本时，能保持较高的正确率；本专利技术在特征图维度进行处理，具有较好的普适性，因其不改变模型结构的特点，有效规避了可能出现的模型复杂度增加问题。经过在测试集上进行测试，验证本专利技术能有效防御FGSM等多个攻击算法。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例基于特征图去噪以及图像增强的敌对样本防护方法的流程图；图2为图1实施例的方法与现有技术在FGSM算法生成敌对样本测试集上的准确率对比图；图3为图1实施例的方法与现有技术在I-FGSM算法生成敌对样本测试集上的准确率对比图；图4为应用图1实施例的方法前后对比效果图，(a)为应用本实施例的方法之前，(b)为应用本实施例方法之后。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本实施例是基于特征图去噪以及图像增强的敌对样本防护方法，包括以下步骤，步骤1、对目标特征通道进行切片和特征图提取；步骤2、移动定位点坐标到特征图的最亮点，以所述最亮点为中心对特征图进行切片；步骤3、判断所述切片属于亮区、暗区还是鲁棒区，如果属于亮区，则将所述定位点坐标移动到所述特征图第二亮的点，如果属于暗区或鲁棒区，则重新搜索寻找所述特征图中的第二亮的点，本文档来自技高网...

【技术保护点】
1.一种基于特征图去噪以及图像增强的敌对样本防护方法，其特征在于,包括以下步骤，/n构建图像的神经网络模型，包括三层卷积层，对第一层卷积层进行如下操作：/nS1、对目标特征通道进行切片和特征图提取；/nS2、移动定位点坐标到特征图的最亮点，以所述最亮点为中心对特征图进行切片；/nS3、判断所述切片属于亮区、暗区还是鲁棒区，如果属于亮区，则将所述定位点坐标移动到所述特征图第二亮的点，如果属于暗区或鲁棒区，则重新搜索寻找所述特征图中的第二亮的点，将定位点坐标定位到该点；/nS4、重复执行S3，直到搜索次数达到预定次数，将所述特征图切片中所有点的像素值更改为最亮点像素值；/nS5、将暗区和鲁棒区所有点的像素值归0，去除噪声；/nS6、将经过以上处理的特征图进行合并叠加，合并后的特征图与原始特征通道大小相等。/n

【技术特征摘要】
1.一种基于特征图去噪以及图像增强的敌对样本防护方法，其特征在于,包括以下步骤，
构建图像的神经网络模型，包括三层卷积层，对第一层卷积层进行如下操作：
S1、对目标特征通道进行切片和特征图提取；
S2、移动定位点坐标到特征图的最亮点，以所述最亮点为中心对特征图进行切片；
S3、判断所述切片属于亮区、暗区还是鲁棒区，如果属于亮区，则将所述定位点坐标移动到所述特征图第二亮的点，如果属于暗区或鲁棒区，则重新搜索寻找所述特征图中的第二亮的点，将定位点坐标定位到该点；
S4、重复执行S3，直到搜索次数达到预定次数，将所述特征图切片中所有点的像素值更改为最亮点像素值；
S5、将暗区和鲁棒区所有点的像素值归0，去除噪声；
S6、将经过以上处理的特征图进行合并叠加，合并后的特征图与原始特征通道大小相等。


2.根据权利要求1所述的基于特征图去噪以及图像增强的敌对样本防护方法，其特征在于,S3中采用深度优先搜索算法搜索寻找所述特征图中的第二亮的点。


3.根据权利要求2所述的基于特征图去噪以及图像增强的敌对样本防护方法，其特征在于,所述深度优先搜素算法具体是，通过递归更新当前坐标，以第二亮点坐标为下一次递归采用的定位坐标参数。


4.根据权利要求1所述的基于特征图去噪以及图像增强的敌对样本防护方法，其特征在于,所述判断所...

【专利技术属性】
技术研发人员：王咏珊，刘嘉木，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32