面向无人机影像目标检测的对抗样本生成方法技术

本发明专利技术公开了面向无人机影像目标检测的对抗样本生成方法，包括步骤：无人机垂直拍摄的车辆上的控制点作为基准控制点，在基准控制点的范围内标记掩膜的形状；根据掩膜坐标产生掩膜，并用掩膜初始化通用对抗补丁；利用利用原始图像和目标图像中控制点的对应关系计算投影矩阵，并将通用对抗补丁及其掩膜进行投影变换；利用投影变换将通用对抗补丁和掩膜重定位到车辆的指定区域，得到对抗图像；将对抗图像输入目标检测模型，利用攻击损失函数计算损失值，通过反向传播算法优化通用对抗补丁。本发明专利技术能攻击一和二阶段目标检测模型，可对大部分样本进行干扰，利用投影变换模型对对抗补丁进行重定位，保证了对抗补丁在投影变换后的有效性。效性。

【技术实现步骤摘要】
面向无人机影像目标检测的对抗样本生成方法


[0001]本专利技术属于机器学习
，尤其涉及面向无人机影像目标检测的对抗样本生成方法。

技术介绍

[0002]近年来，随着深度学习在计算机视觉领域的快速发展，深度卷积神经网络在无人机目标检测和识别方面的应用越来越广泛。虽然深度卷积神经网络在目标检测等计算机视觉领域的表现已经非常优秀，但是它被证明对对抗性的扰动十分敏感，当这种扰动被添加到图像上，产生的新图像很容易欺骗基于深度卷积神经网络的系统，使系统做出错误的推断。在图像上添加一些人眼几乎不可察觉的微小扰动，足以使卷积神经网络以很高的置信度误分类，这种现象称为对抗攻击，这种扰动称为对抗扰动，添加对抗扰动的图像称为对抗样本。对抗样本可以轻松欺骗深度卷积神经网络，它的存在会对深度卷积神经网络的实际应用造成非常严重影响。
[0003]针对目标检测模型的攻击可以通过在图像上添加对抗扰动实现，全图的对抗性扰动可以使目标检测器检测不到目标或者错误的检测目标，如Xie等人提出的Dense Adversary Generation(DAG)对抗攻击方法以Faster RCNN为攻击模型，通过为每个区域建议分配一个对抗标签，然后执行梯度反向传播优化对抗扰动，使模型对区域建议进行错误分类。也有研究者提出了对抗补丁的攻击方法，仅需在指定对象上添加局部扰动，就可以让其不被检测器检测到，如非专利文献“Fooling automated surveil
‑
lance cameras:adversarial patches to attack person detection,”in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops,pp.1
–
7,2019展示了一种针对人产生对抗补丁的方法，该方法通过最小化目标得分生成能够使人不被检测器发现的对抗补丁。
[0004]现有的对抗补丁产生方式主要是通过不断迭代更新添加在目标真实边框中心处的随机噪声得到。该方式产生的对抗补丁在多距离、多角度等方面存在局限性，例如物体应位于相机正前方，且距离和角度不能有较大的变化。它没有考虑到检测对象与检测器之间的相对运动使相机拍摄的视角和距离发生动态变化造成对抗补丁的变形，在拍摄视角和距离明显变化的情况下，对抗补丁容易失去其对抗性导致不那么强大的攻击。无人机在航拍车辆的过程中视角、距离都在不断地变化，图像中的车辆将以不同的大小和角度送入目标检测器，攻击者添加到车辆上的对抗补丁必须能够经受住这些变化才能够成功攻击目标检测器。
[0005]自然图像上已经有各种各样的产生对抗样本的攻击算法，按照它们的特点可以分为不同的类型。根据攻击者能获取的信息，攻击算法可以分为白盒攻击和黑盒攻击。在白盒攻击中，攻击者能够获知目标模型的完整信息，包括参数、结构、训练方法，甚至还包括训练数据。与白盒攻击相反，黑盒攻击中的攻击者不了解模型的具体信息，但攻击者可以通过传入任意输入观察输出。攻击者通过输入输出的对应关系，寻找对抗样本来实现对模型的攻
击。根据攻击区域的范围可以分为全图攻击和局部攻击。全图攻击可以修改图像的所有像素，而局部攻击仅能改变图像中的部分像素。根据攻击类别是否具有指向性，攻击算法可以分为目标攻击和非目标攻击以及消失攻击。目标攻击欺骗模型将目标的类别错误的预测为指定标签，非目标攻击只要能使模型错误地预测目标的标签或错误地定位目标即可，隐藏攻击是使模型检测不到目标。
[0006]然而，遥感领域上针对目标检测模型产生对抗样本的研究尚未开展。论文“Synthesizing robust adversarial examples,”in International conference on machine learning.PMLR,pp.284
–
29,2018.的工作发现仅仅使用Expectation Over Transformation(EOT)算法得到的对抗样本打印到一件T恤上时，攻击成功率会降到很低。因为人类的姿态会使对抗样本产生褶皱，而这种褶皱是无法通过EOT算法进行模拟。而对抗样本自身非常脆弱的，一旦部分信息丢失往往会导致整个对抗样本失去效力。因此，现有技术提出了基于薄板样条(thin plate spline)模型来模拟人类自身的姿态动作影响衣服的褶皱规律生成T恤这种柔性物体的对抗样本。遥感领域对抗样本的相关研究主要集中在攻击分类模型，目前还没有在无人机视角下攻击目标检测器的工作。

技术实现思路

[0007]本专利技术生成的对抗补丁是覆盖在无人机航拍的车辆上，无需考虑T恤褶皱这种非刚性形变。本专利技术另辟蹊径，利用投影变换模型来模拟无人机拍摄视角和距离变化造成的对抗补丁的变形。因此，本专利技术提出了一个基于投影变换模型的无人机影像目标检测系统的对抗攻击框架，设计了一个通用对抗补丁来愚弄一个特定对象的所有实例。本专利技术采用的攻击方法是以白盒的方式产生通用对抗补丁，攻击者对目标检测模型具有白盒级访问权限。这意味着攻击者知道模型的所有信息，包括结构、参数、梯度等。对攻击者施加的一个约束是限制对抗补丁在车辆上的覆盖范围。如果车辆完全被对抗补丁覆盖到连人都认不出是车辆，那么攻击就没有了意义。
[0008]对抗补丁的形状位置是由离散的像素坐标来表征的。然而，本专利技术使用的是基于梯度的优化方法，必须保证图像的变换是可微的。本专利技术使用的投影变换模型保持了补丁形状位置的连续，同时也是可微的。所以整个对抗攻击框架都是可微的，对抗补丁的优化问题可以通过梯度下降和反向传播来解决。
[0009]具体地，本专利技术公开的面向无人机影像目标检测的对抗样本生成方法，包括以下步骤：
[0010]将无人机垂直拍摄的车辆图像上的控制点作为基准控制点，在所述基准控制点的一定范围内标记掩膜的形状；
[0011]根据掩膜坐标产生掩膜，并用所述掩膜初始化生成通用对抗补丁；
[0012]利用原始图像和目标图像中控制点的对应关系计算投影矩阵，并将所述通用对抗补丁及其掩膜进行投影变换；
[0013]利用所述投影变换将所述通用对抗补丁和掩膜重定位到车辆的指定区域，得到对抗图像；
[0014]将所述对抗图像输入目标检测模型，利用攻击损失函数计算损失值，通过反向传播算法优化通用对抗补丁；
[0015]将所述通用对抗补丁粘贴到车辆图像上，生成对抗样本。
[0016]更进一步地，训练策略为仅训练与每个攻击对象的真实框的IOU大于阈值λ
IOU
＝0.5的预测框。
[0017]更进一步地，所述通用对抗补丁通过随机抽取一个包含部分样本的子集产生，在抽取的子集中利用梯度反向传播最小化损失更新同一个通用对抗补丁，在抽样的子集训练的对抗补丁中寻找一个交集，对大部分样本进行干扰，使所述样本被错误地预测。
[0018]更进一步地，对抗图像可以用原始图像x表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向无人机影像目标检测的对抗样本生成方法，其特征在于，包括以下步骤：将无人机垂直拍摄的车辆图像上的控制点作为基准控制点，在所述基准控制点的一定范围内标记掩膜的形状；根据掩膜坐标产生掩膜，并用所述掩膜初始化生成通用对抗补丁；利用原始图像和目标图像中控制点的对应关系计算投影矩阵，并将所述通用对抗补丁及其掩膜进行投影变换；利用所述投影变换将所述通用对抗补丁和掩膜重定位到车辆的指定区域，得到对抗图像；将所述对抗图像输入目标检测模型，利用攻击损失函数计算损失值，通过反向传播算法优化通用对抗补丁；将所述通用对抗补丁粘贴到车辆图像上，生成对抗样本。2.根据权利要求1所述的面向无人机影像目标检测的对抗样本生成方法，其特征在于，训练策略为仅训练与每个攻击对象的真实框的IOU大于阈值λ
IOU
＝0.5的预测框。3.根据权利要求1所述的面向无人机影像目标检测的对抗样本生成方法，其特征在于，所述通用对抗补丁通过随机抽取一个包含部分样本的子集产生，在抽取的子集中利用梯度反向传播最小化损失更新同一个通用对抗补丁，在抽样的子集训练的对抗补丁中寻找一个交集，对大部分样本进行干扰，使所述样本被错误地预测。4.根据权利要求1所述的面向无人机影像目标检测的对抗样本生成方法，其特征在于，对抗图像可以用原始图像x表示：其中η表示应用于训练图像集X上的通用对抗扰动，M
⊙
η表示对抗补丁P，M是一个掩膜负责在通用扰动η约束到目标物体的表面，
⊙
表示按元素相乘的结果，是一个只保留特定区域的掩膜操作。5.根据权利要求4所述的面向无人机影像目标检测的对抗样本生成方法，其特征在于，通过所述投影变换对所述通用对抗扰动进行重定位，所述投影变换的公式为：其中(x
s
，y
s
)表示原始图像上的坐标，(x
′
d
，y
′
d
)表示目标图像上的坐标，(x
d
，y
d
，z
d
)代表目标坐标系的坐标，a
11

【专利技术属性】
技术研发人员：肖俊，李海峰，邹蒲，黄海阔，黄晨曦，
申请(专利权)人：中南大学，
类型：发明
国别省市：