一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法技术

本发明专利技术提出了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁。针对现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现的问题，本发明专利技术基于深度学习的可解释性与风格迁移技术设计了多模型加权热力图方法与局部风格迁移方法。本发明专利技术的主要任务是通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁。相比现有方案，本发明专利技术在对抗补丁的生成上能够与周围环境融合，在成功攻击的同时不易被人类察觉，实际应用效果更好。实际应用效果更好。实际应用效果更好。

【技术实现步骤摘要】
一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法

：
[0001]本专利技术公开了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，涉及深度学习方法中的对抗样本攻击算法设计，属于人工智能安全领域。

技术介绍
：
[0002]对抗样本即通过在图像上精心添加一些人眼不可察觉的细微扰动，可以使得添加扰动后的图像被深度学习模型错误分类。例如，一张真实标签为熊猫的图片可以被深度学习模型正确分类，但是在添加上精心设计的扰动之后，在人的视觉看来新的图片与原图并无明显差异，但是却会被深度学习模型以高置信度错误分类为长臂猿，新的图片就是对抗样本。对抗样本也揭示了深度学习模型的脆弱性。最初，对抗样本是在图像分类任务中发现的。然而，目前主流的计算机视觉任务，如语义分割、目标检测以及目标跟踪等，都面临对抗样本的威胁。
[0003]对抗样本不仅仅局限在数字图像上，近些年的研究已经可以通过将类似于补丁的东西安放在实际物体上来生成对抗样本，使得对抗样本能够在现实世界出现。例如，在道路交通标志牌上安放对抗补丁，使得自动驾驶车辆在通过该标志牌时得到错误的指令，极易发生交通事本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁，针对现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现的问题，通过基于深度学习的可解释性与风格迁移技术设计出多模型加权热力图方法与局部风格迁移方法，通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁，包括以下步骤：步骤(1)选用梯度无关的热力图与输入尺寸相同的深度学习模型构建多模型加权热力图定位方法；步骤(2)利用置信度加权方法生成加权热力图，并利用滑动窗口算法寻找加权热力图中贡献最大的区域最为最佳攻击区域；步骤(3)根据最佳攻击区域截取图像，获取其风格与内容特征，并将其作为生成对抗补丁的初始补丁；步骤(4)用余弦距离作为对抗补丁与原区域图像的风格特征与内容特征距离的度量标准，并构造损失函数；步骤(5)使用Adam优化算法对初始补丁进行迭代优化，直到补丁攻击成功。2.根据权利要求1描述的基于热力图与风格迁移的对抗补丁隐蔽性增强方法，步骤(1)包括：步骤(1.1)选用Score
‑
CAM方法做为热力图的生成方法，摆脱模型对于梯度的依赖；步骤(1.2)选用k个对输入的图像数据尺寸要求相同的深度学习模型对同一张图像进行分类，并利用Score
‑
CAM方法生成k张相同尺寸的热力图A
k
。3.根据权利要求1所述基于热力图与风格迁移的对抗补丁隐蔽性增强方法，步骤(2)包括：步骤(2.1)根据图像分类为t的置信度对热力图进行加权求和，即：a
t
即为k个模型将图像分类为类别t时共同关注的显著区域，W(
·
)为平均加权方式；步骤(2.2)利用滑动窗口，从显著区域a
t
中定位对抗补丁安放位置。通过计算著区域a
t
中累计贡献最大的子...

【专利技术属性】
技术研发人员：肖利民，郭桐，刘禹廷，沈润楠，杨锦乾，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：