本发明专利技术提出了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁。针对现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现的问题，本发明专利技术基于深度学习的可解释性与风格迁移技术设计了多模型加权热力图方法与局部风格迁移方法。本发明专利技术的主要任务是通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁。相比现有方案，本发明专利技术在对抗补丁的生成上能够与周围环境融合，在成功攻击的同时不易被人类察觉，实际应用效果更好。实际应用效果更好。实际应用效果更好。
【技术实现步骤摘要】
一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法
：
[0001]本专利技术公开了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，涉及深度学习方法中的对抗样本攻击算法设计，属于人工智能安全领域。
技术介绍
：
[0002]对抗样本即通过在图像上精心添加一些人眼不可察觉的细微扰动，可以使得添加扰动后的图像被深度学习模型错误分类。例如，一张真实标签为熊猫的图片可以被深度学习模型正确分类，但是在添加上精心设计的扰动之后，在人的视觉看来新的图片与原图并无明显差异，但是却会被深度学习模型以高置信度错误分类为长臂猿，新的图片就是对抗样本。对抗样本也揭示了深度学习模型的脆弱性。最初，对抗样本是在图像分类任务中发现的。然而，目前主流的计算机视觉任务，如语义分割、目标检测以及目标跟踪等，都面临对抗样本的威胁。
[0003]对抗样本不仅仅局限在数字图像上，近些年的研究已经可以通过将类似于补丁的东西安放在实际物体上来生成对抗样本，使得对抗样本能够在现实世界出现。例如，在道路交通标志牌上安放对抗补丁，使得自动驾驶车辆在通过该标志牌时得到错误的指令，极易发生交通事故；在人脸上安放带有对抗补丁的伪装挂件，可以欺骗人脸识别系统，让监控设备无法识别身份。由此可见，对抗样本已经能够威胁到我们的日常生活，给各行业的安全工作带来隐患。研究对抗补丁的生成方法，可以深入理解对抗样本的产生原理与深度学习模型的潜在漏洞，有助于解决对抗样为深度学习模型带来的安全问题，真正提高模型的安全性与鲁棒性。
[0004]当前，生成对抗补丁的方法主要有以下几种：
[0005]GooglePatch：该攻击方法会生成一个与图像无关的补丁，将此补丁放置在图像中的某一位置，便能攻击深度学习模型，让其将目标图像分类为错误类别。生成对抗补丁的损失函数公式如下：
[0006][0007]其中，为网络要输出的错误标签，x为高为H宽为W的原始图像，p为要生成的补丁，t为补丁的变换(旋转、缩放等)，补丁变换使用了期望转换技术(Expectation over Transformation,EoT)，l为补丁需要放置的位置，A(p，x，l，t)表示将补丁p通过变换t放置到原始图像x的位置l处。X为原始图像的集合，T为补丁变换的分布，L为原始图像中位置的分布。生成的补丁可以放置在任一图像上来改变目标模型的输出，但是这类补丁在人类看来十分明显。
[0008]DPatch：DPatch同时攻击边界框回归器，以使得目标检测模型产生错误的定位。在无目标攻击中，为了让目标检测器无法检测到物体的位置，需要最大化真实类别和边界框回归器的损失，通过放置补丁，让模型将真实的目标判别为背景，公式如下：
[0009][0010]其中，p
u
为可进行无目标攻击的对抗补丁，y为背景类，B为边界损失。
[0011]在有目标攻击中，目标检测器只能检测到补丁而忽略其它真正的目标。所以需要最小化补丁的类别损失与边界损失，目标类别是预定义的某一类别，公式如下：
[0012][0013]其中，p
c
为可进行目标攻击的对抗补丁，c为目标类。DPatch将对抗补丁迁移到了目标检测任务，但是其生成的补丁只能在数字图像上应用，无法在实际场景中起效，且隐蔽性依旧很差。
技术实现思路
：
[0014]本专利技术的主要目的是：建立一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁。针对现有方法生成的对抗补丁与周围环境反差较大，易于察觉的问题，本专利技术基于深度学习可解释性中的热力图与图像领域的风格迁移方法设计了多模型加权热力图定位方法与局部风格融合方法生成对抗补丁。本专利技术的主要任务是通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁。
[0015]本专利技术的主要步骤为：
[0016]步骤(1)：优选地，选用梯度无关的热力图与输入尺寸相同的深度学习模型构建多模型加权热力图定位方法；
[0017]步骤(2)：优选地，利用置信度加权方法生成加权热力图，并利用滑动窗口算法寻找加权热力图中贡献最大的区域最为最佳攻击区域；
[0018]步骤(3)：根据最佳攻击区域截取图像，获取其风格与内容特征，并将其作为生成对抗补丁的初始补丁；
[0019]步骤(4)：优选地，用余弦距离作为对抗补丁与原区域图像的风格特征与内容特征距离的度量标准，并构造损失函数；
[0020]步骤(5)：可选地，使用Adam优化算法对初始补丁进行迭代优化，直到补丁攻击成功。
[0021]各步骤包括以下具体实施过程：
[0022]步骤(1.1)选用Score
‑
CAM方法做为热力图的生成方法，摆脱模型对于梯度的依赖。
[0023]步骤(1.2)选用k个对输入的图像数据尺寸要求相同的深度学习模型(如：AlexNet、VGG16、ResNet18等)对同一张图像进行分类，并利用Score
‑
CAM方法生成k张相同尺寸的热力图A
k
。
[0024]步骤(2.1)根据图像分类为t的置信度对热力图进行加权求和，即：
[0025][0026]a
t
即为k个模型将图像分类为类别t时共同关注的显著区域，W(
·
)为平均加权方式。
[0027]步骤(2.2)利用滑动窗口，从显著区域a
t
中定位对抗补丁安放位置。通过计算著区域a
t
中累计贡献最大的子区域，确定补丁的最佳攻击位置，计算公示如下所示：
[0028][0029]其中，h为对抗补丁的高，w为对抗补丁的宽，i和j的取值为[0，H
‑
h]与[0，W
‑
w]中的整数。
[0030]步骤(2.3)根据补丁最佳攻击位置的坐标，生成与图像相同尺寸(W
×
H)的掩膜mask，后续根据掩膜来组合对抗补丁和正常样本。
[0031]步骤(3.1)利用掩膜mask，截取原图像对应位置的局部图像，作为初始对抗补丁。
[0032]步骤(3.2)将模型中的部分特征池化层进行组合，作为特征抽取模型抽取图像的全局内容特征与局部风格特征。
[0033]步骤(4.1)根据Gram矩阵与余弦距离计算对抗补丁与局部风格图像的风格损失与内容损失计算公式如下：
[0034][0035][0036]其中G(x)表示为x的Gram矩阵，由任意向量之间的内积组成，用来表示特征之间的相关性大小，计算公式如下：
[0037][0038]F(x)表示为x的特征，为特征抽取模型的输出。
[0039]步骤(4.2)将初始化的对抗补丁与背景图像结合，输入到深度学习模型中，得到分类损失其中，可以选用交叉熵函数进行计算。另外，可以根据攻击目的是无目标攻击还是有目标攻击来调整，即：
[0040][004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁，针对现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现的问题，通过基于深度学习的可解释性与风格迁移技术设计出多模型加权热力图方法与局部风格迁移方法，通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁，包括以下步骤：步骤(1)选用梯度无关的热力图与输入尺寸相同的深度学习模型构建多模型加权热力图定位方法；步骤(2)利用置信度加权方法生成加权热力图，并利用滑动窗口算法寻找加权热力图中贡献最大的区域最为最佳攻击区域；步骤(3)根据最佳攻击区域截取图像，获取其风格与内容特征，并将其作为生成对抗补丁的初始补丁；步骤(4)用余弦距离作为对抗补丁与原区域图像的风格特征与内容特征距离的度量标准，并构造损失函数；步骤(5)使用Adam优化算法对初始补丁进行迭代优化，直到补丁攻击成功。2.根据权利要求1描述的基于热力图与风格迁移的对抗补丁隐蔽性增强方法，步骤(1)包括：步骤(1.1)选用Score
‑
CAM方法做为热力图的生成方法，摆脱模型对于梯度的依赖；步骤(1.2)选用k个对输入的图像数据尺寸要求相同的深度学习模型对同一张图像进行分类，并利用Score
‑
CAM方法生成k张相同尺寸的热力图A
k
。3.根据权利要求1所述基于热力图与风格迁移的对抗补丁隐蔽性增强方法，步骤(2)包括：步骤(2.1)根据图像分类为t的置信度对热力图进行加权求和，即：a
t
即为k个模型将图像分类为类别t时共同关注的显著区域，W(
·
)为平均加权方式；步骤(2.2)利用滑动窗口，从显著区域a
t
中定位对抗补丁安放位置。通过计算著区域a
t
中累计贡献最大的子...
【专利技术属性】
技术研发人员：肖利民，郭桐，刘禹廷，沈润楠，杨锦乾，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。