一种物理空间补丁对抗攻击的通用防御方法及系统技术方案

一种物理空间补丁对抗攻击的通用防御方法，包括以下步骤：(1)将输入样本切分为指定大小的像素块；(2)切分得到的像素块进行快速傅里叶变换和二值化处理；(3)根据二值图像求高频信息占比，按占比从高到低将像素块排序；(4)应用掩膜；(5)送检。本发明专利技术还包括实施一种物理空间补丁对抗攻击的通用防御方法的系统，由图像切分模块、像素块处理及高频信息占比计算模块、应用掩膜模块和送检模块组成。本发明专利技术可以在物理空间和数字空间中，以比对比防御方法更小的计算成本通用防御不同的补丁对抗攻击。小的计算成本通用防御不同的补丁对抗攻击。小的计算成本通用防御不同的补丁对抗攻击。

A general defense method and system of physical space patch against attack

【技术实现步骤摘要】
一种物理空间补丁对抗攻击的通用防御方法及系统


[0001]本专利技术涉及深度学习安全领域，尤其涉及一种物理空间中针对目标检测算法的补丁对抗攻击防御方法和系统。

技术介绍

[0002]深度神经网络(Deep neural network，DNN)因为具有强大的特征提取能力，在自然语言处理、车牌识别、目标检测等众多领域扮演重要角色，并取得重大成功。给生活带来了极大的便利，有效提高了人们的生活水平。但深度学习在给人们生活带来便利的同时，也带来了许多潜在的危险。攻击者可以通过分析深度学习模型的特点，找到模型的弱点，利用精心设计好的规则逃避模型的检测，因此存在重大安全隐患，甚至造成严重的危害。
[0003]在计算机视觉研究领域，利用图像处理与模式识别等领域的理论和方法，从图像或视频中分离出有一定意义的实体——对象，如人、汽车等。在对象检测中有一类通用的对象检测方法，利用矩形框将图像中所有可能存在的对象区域定位出来并给出这个窗口内包含对象的概率。有着广泛的应用，如人脸检测，车辆检测，行人计数，自动驾驶，安全系统等。近年来深度学习的发展，基于目标检测的攻击是研究的热点问题。对抗样本的概念是2014年被首次提出，其本质是在正常样本上添加一些人眼不可见的扰动，添加后生成的样本能使目标检测模型在识别这个样本时出现错误的结果。
[0004]相比图像分类算法，目标检测模型更难攻击成功，不过也成为了被攻击的目标。已经有一些攻击方法可以成功的愚弄目标检测器，使得目标对象从目标检测中消失。攻击者通过在图片的任意位置添加一个补丁，可以使得目标在YOLO和Faster R
‑
CNN等最先进的目标检测器中消失。对抗攻击不仅仅局限在数字空间，它们中的一些可以在物理空间中实施。Thys等人将补丁对抗攻击应用在物理空间。正如他们展示的，通过把精心设计的补丁打印出来放置在人的中心位置，可以欺骗当今最流行的目标检测器YOLO，使得目标检测器发现不了贴了补丁的人。Mark等人在视野中放置一张对抗贴纸，导致视野中所有的对象都成功地从目标检测模型中消失了。
[0005]当前防御对目标检测算法的补丁对抗攻击的方法主要集中在数字空间，比如Hayes等人提出的数字水印和Naseer等人提出的局部梯度平滑方法，然而这些防御方法很容易被白盒攻击打破，并且应用在物理空间中防御补丁对抗攻击的效果远不如数字空间中的防御效果。在数字空间中，攻击者可以修改图像中任意一个像素，可以实现隐蔽的攻击。在物理空间中，攻击者没有权限修改被攻击者使用图像传感器捕捉到的图像，也没有权限修改网络的参数，只能在待检测物体上预先添加扰动，让图像传感器捕捉已经添加好了扰动的图像。在物理空间中，攻击者通过生成对抗补丁块，然后将对抗补丁贴在被攻击的物体的特定位置上实现攻击。由于打印的时候和光照强度变化造成捕捉到的图像中对抗补丁与打印前数字空间中的补丁存在比较大的色差，导致最后通过图像传感器捕捉到的图像中对抗补丁相比数字空间那样变化剧烈，梯度更加平缓。因此基于梯度变化的局部梯度平滑防御方法在数字空间有良好效果的，然而当这些防御方法应用在物理空间中效果远不如在数
字空间。如申请号为CN202110814586.5的专利所公开的技术方案，一种防御图像对抗扰动的预处理方法。该方法在线防御阶段对图像的预处理用非负矩阵分解法获取扰动图像的低秩表示，然后用超完备字典对所述低秩表示进行稀疏编码重构。我们的研究目标是找到一种能够在物理空间适用的鲁棒防御方法。即使攻击者通过使用不同攻击方法生成的对抗补丁，待检测对象距离远近和角度在变换，使用一种通用的防御方法可以使得目标检测器检测到被隐藏的对象。

技术实现思路

[0006]本专利技术要克服现有防御方法通用性不强、迁移到物理空间中防御效果不佳的缺点，提供一种能够在物理空间中有效的、通用的补丁对抗攻击防御方法。
[0007]本专利技术基于快速傅里叶变换，可以通用防御物理空间中不同方法的补丁对抗攻击，防御性能和通用性得到明显的提升。
[0008]本专利技术实现上述专利技术目的所采用的技术方案如下：
[0009]一种物理空间补丁对抗攻击的通用防御方法，包括以下步骤：
[0010]S1：将输入样本切分为指定大小的像素块；
[0011]S2：切分得到的像素块进行快速傅里叶变换和二值化处理；
[0012]S3：根据二值图像求高频信息占比，按占比从高到低将像素块排序；
[0013]S4：应用掩膜；
[0014]S5：送检。
[0015]进一步的，所述步骤S1具体包括：
[0016]将输入样本切分成60
×
60大小的像素块，切分的步长为20。
[0017]进一步的，所述步骤S2具体包括：
[0018]将S1切分得到的像素块分别先转为灰度图像再进行快速傅里叶变换，最后将快速傅里叶变换得到的图像进行二值化处理，快速傅里叶变换公式为：
[0019][0020]式中M和N分别表示图像的总行数和总列数，x、y分别表示第x行和第y列，f(x,y)表示第x行第y列的像素值。
[0021]进一步的，所述步骤S3具体包括：
[0022]S3.1：由S2得到的二值图像中白色像素代表高频信息，黑色像素代表非高频信息，分别求出每张二值图像对应的像素块的高频信息占比，高频信息占比计算公式为：
[0023][0024]式中i表示第i个像素块，M是像素方块的长，N是像素方块的宽，f(x,y)表示第x行，第y列像素的值，(x,y)∈[0，1]；
[0025]S3.2：接着根据高频信息占比从高到低将像素块排序，排在前面的更有可能是对抗补丁。
[0026]进一步的，所述步骤S4具体包括：
[0027]从S3排序结果中取出最前面像素块(高频信息占比最高的像素块)，接着用灰色掩膜(像素值为(128，128，128))在输入样本中替换像素块。
[0028]进一步的，所述步骤S5具体包括：
[0029]经过S3排序操作后，排在越前面表示含有高频信息越多，则越有可能是对抗补丁，再经过S4用灰色掩膜覆盖后有可能是破坏了对抗补丁，最后将应用掩膜后的样本送入目标检测器，如果应用掩膜前没有检测到人，应用掩膜后检测到了人，则说明被替换的像素块就是对抗补丁，如果应用掩膜后还没有检测到人，则回到S5继续取高频占比次高的像素块，应用掩膜。
[0030]本专利技术还包括实现本专利技术的针对深度学习模型的物理空间补丁对抗攻击的通用防御方法的系统，包括：图像切分模块、像素块处理及高频信息占比计算模块、应用掩膜模块和送检模块。
[0031]本专利技术的技术构思为：通过先把输入样本切分为若干个像素块再用快速傅里叶变换快速找到疑似补丁，实现了一种能够在物理空间中通用防御补丁对抗攻击的防御方法，可以使得目标检测器检测到被对抗补丁隐藏的对象。首先将输入样本切分为若干个像素块，本专利技术中切分大小和切分的步长都可根据实际情况调节。然后将得到的像素块转换为灰度图，再经过快速傅里叶变换和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物理空间补丁对抗攻击的通用防御方法，其特征在于，包括以下步骤：S1：将输入样本切分为指定大小的像素块；S2：切分得到的像素块进行快速傅里叶变换和二值化处理；S3：根据二值图像求高频信息占比，按占比从高到低将像素块排序；S4：应用掩膜；S5：送检。2.如权利要求1所述的一种物理空间补丁对抗攻击的通用防御方法，其特征在于：所述步骤S1具体包括：将输入样本切分成60
×
60大小的像素块，切分的步长为20。3.如权利要求1所述的一种物理空间补丁对抗攻击的通用防御方法，其特征在于：所述步骤S2具体包括：将S1切分得到的像素块分别先转为灰度图像再进行快速傅里叶变换，最后将快速傅里叶变换得到的图像进行二值化处理，快速傅里叶变换公式为：式中M和N分别表示图像的总行数和总列数，x、y分别表示第x行和第y列，f(x,y)表示第x行第y列的像素值。4.如权利要求1所述的一种物理空间补丁对抗攻击的通用防御方法，其特征在于：所述步骤S3具体包括：S3.1：由S2得到的二值图像中白色像素代表高频信息，黑色像素代表非高频信息，分别求出每张二值图像对应的像素块的高频信息占比，高频信息占比计算公式为：式中i表示第i个像素方块，M是像素方块的长，N是像素方块的宽，(x,y)表示第x行，第y列像素的值，(x,y)∈[0，1]；S3.2：接着根据高频信息占比从高到低将像素块排序，排在前面的更有可能是对抗补丁。5.如权利要求1所述的一种物理空间补丁对抗攻击的通用防御方法，其特征在于：所述步骤S4具体包括：从S3排序结果中取出最前面的像素块(高频信息占比最高的像素块)，接着用灰色掩膜(像素值为(128，128，128))在输入样本中替换像素块。6.如权利要求1所述的一种物理空间补丁对抗攻击的通用防御方法，其特征在于：所述步骤S5具体包括：...

【专利技术属性】
技术研发人员：翔云，韩瑞鑫，陈作辉，李香玉，徐东伟，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：