【技术实现步骤摘要】
本专利技术属于计算机视觉与深度学习，具体涉及基于yolo检测与抹除对抗补丁的防御方法。
技术介绍
1、深度神经网络技术促进了包括图像分类、人脸识别以及目标检测等各类计算机视觉智能应用的发展，而随着深度神经网络技术的自身发展，各大技术平台提供越来越多简单易用的深度神经网络模型，这些模型能够直接被开发人员调用，虽然能够节省开发人员的开发时间，同时能够帮助开发人员更快的开发出产品，但开源模型由于具有开放获取特性，模型结构和弱点均公之于众，因此更容易受到对抗样本的攻击，若不法分子将对抗样本用于攻击涉及安全的智能应用，则会严重危害人民群众的生命和财产安全。
2、目前针对上述情况已有很多定位补丁并抹除的数据防御方法，同时已有修改模型结构和对抗训练的模型防御方法，但数据防御的准确性和模型防御的兼容性仍有待提高。
技术实现思路
1、为解决上述
技术介绍
中提出的问题。本专利技术提供了基于yolo检测与抹除对抗补丁的防御方法，具有在不更改现有目标检测模型结构的情况下，结合数据和模型的防御方法，能够提高在数字域和物理域中有效防御对抗补丁效率的特点。
2、为实现上述目的，本专利技术提供如下技术方案：基于yolo检测与抹除对抗补丁的防御方法，包括以下步骤：
3、s1：搭建浅层卷积层引入biformer注意力机制的改进yolo模型的上游对抗补丁检测抹除模型，针对上述搭建的上游对抗补丁检测抹除模型进行训练和测试，得到收敛的上游对抗补丁检测抹除模型；
4、s2：搭建下
5、s3：将带有对抗补丁的图像输入收敛的上游对抗补丁检测抹除模型中，通过收敛的上游对抗补丁检测抹除模型检测出带有对抗补丁图像中的对抗补丁具体位置，通过具体位置信息定位到对抗区域，针对对抗区域进行灰度值替换操作，得到抹除补丁后的残缺图像；
6、s4：将上述残缺图像输入收敛的下游鲁棒目标检测模型，通过收敛的下游鲁棒目标检测模型检测出残缺图像中的目标所在位置，并输出其类别，完成防御。
7、进一步的，所述步骤s1中，针对搭建的上游对抗补丁检测抹除模型进行训练的具体步骤是：
8、s1-1：采用通用攻击框架，以yolo目标检测器作为白盒模型进行带有对抗补丁的对抗样本的生成；
9、s1-2：针对上述带有对抗补丁的对抗样本的对抗补丁区域和类别进行人工标注，标注为真实标签，得到搭建的上游对抗补丁检测抹除模型的训练数据集；
10、s1-3：通过上述训练数据集对搭建的上游对抗补丁检测抹除模型进行训练，将预测结果与真实标签比较，计算交叉熵损失函数并优化模型直至收敛，获得收敛的上游对抗补丁检测抹除模型。
11、进一步的，所述步骤s1-3中，交叉熵损失函数计算的具体方式如下：
12、l＝λobjlobj+λclslcls+λcioulciou
13、式中：λobj、λcls和λciou分别表示为对象性损失、类别损失和坐标损失的平衡因子，用于控制三部分损失的占比，lobj、lcls和lciou分别表示为置信度损失、分类损失和定位损失，其中：
14、置信度损失lobj的计算使用二元交叉熵bce，如下公式所示：
15、lobj＝bce(pp,piou)
16、式中：pp表示为预测框中的目标置信度分数，piou表示为与之对应的目标框交并比iou；
17、分类损失lcls的计算使用二元交叉熵bce，如下公式所示：
18、lcls＝bce(cp,cgt)
19、式中：cp表示为类别预测值，cgt表示为真实值；
20、定位损失lciou的计算使用完全交并比ciou，如下公式所示：
21、lciou＝1-ciou
22、ciou不仅考虑iou部分，还考虑预测框与真实框的中心距离以及长宽比的差异，可以更好地评估预测框与真实框的相似度，其计算方法如下公式所示：
23、
24、式中：d2表示为预测框和真实框的中心点距离，dc表示为预测框和真实框的最小外接矩形的对角线长度，α和v表示为长宽比，w和h分别表示为预测框的宽和高，wgt和hgt分别表示为真实框的宽和高。
25、进一步的，所述步骤s2中，针对搭建的下游鲁棒目标检测模型进行训练的具体步骤是：
26、s2-1：选取上游对抗补丁检测抹除模型的训练数据集中的随机图像，定义cutout操作的参数，包括遮挡的大小；
27、s2-2：随机在上述图像上选择一个起始点，并定义矩形的宽度和高度；
28、s2-3：生成的矩形遮挡上述图像，其中，遮挡即通过将遮挡区域的像素值替换成灰度值；
29、s2-4：将经过cutout处理的图像与原始图像按照预设比例混合，使用混合后的训练数据集进行模型训练，将预测结果与真实标签比较，计算交叉熵损失函数并优化模型直至收敛，获得下游鲁棒目标检测模型。
30、进一步的，所述步骤s2-4中，模型优化的具体步骤是：通过交叉熵损失函数l优化目标检测模型如下公式所示：
31、
32、式中：f表示为模型,θ表示为模型学习参数，x表示为输入图像集合，包括完整图像和残缺图像，y表示为正确标签，l表示为模型交叉熵损失函数。
33、与现有技术相比，本专利技术的有益效果是：
34、1、本专利技术通过对抗补丁检测抹除模型检测出对抗补丁在图像中的位置，再根据具体位置进行灰度值替换，得到抹除对抗补丁后的残缺图像，通过目标检测模型检测出目标再进行正确结果输出，在不更改现有目标检测模型结构的情况下，结合数据和模型的防御方法，能够提高在数字域和物理域中有效防御对抗补丁的效率。
35、2、本专利技术对抗补丁检测抹除模型以yolo网络模型为主体，结合注意力机制transformer模块biformer训练，能够弥补对小目标漏检的不足，提高目标检测的检测精度，从而达到更好的防御效果。
本文档来自技高网...【技术保护点】
1.基于YOLO检测与抹除对抗补丁的防御方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于YOLO检测与抹除对抗补丁的防御方法，其特征在于：所述步骤S1中，针对搭建的上游对抗补丁检测抹除模型进行训练的具体步骤是：
3.根据权利要求1所述的基于YOLO检测与抹除对抗补丁的防御方法，其特征在于：所述步骤S1-3中，交叉熵损失函数计算的具体方式如下：
4.根据权利要求1所述的基于YOLO检测与抹除对抗补丁的防御方法，其特征在于：所述步骤S2中，针对搭建的下游鲁棒目标检测模型进行训练的具体步骤是：
5.根据权利要求1所述的基于YOLO检测与抹除对抗补丁的防御方法，其特征在于：所述步骤S2-4中，模型优化的具体步骤是：通过交叉熵损失函数L优化目标检测模型如下公式所示：
【技术特征摘要】
1.基于yolo检测与抹除对抗补丁的防御方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于yolo检测与抹除对抗补丁的防御方法，其特征在于：所述步骤s1中，针对搭建的上游对抗补丁检测抹除模型进行训练的具体步骤是：
3.根据权利要求1所述的基于yolo检测与抹除对抗补丁的防御方法，其特征在于：所述步骤s1-3中，交叉熵损失函数计...
【专利技术属性】
技术研发人员：叶锋，肖镇杰，黄添强，林娴，何宏宇，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。