基于对抗性对比学习提升图像分类模型鲁棒性的方法技术

本发明专利技术公开了一种基于对抗性对比学习提升图像分类模型鲁棒性的方法。本发明专利技术首先构建用于进行对抗性对比学习任务的数据集以及TrCL网络模型；其次通过数据增强策略将原始的图像生成三张不同的增广图像；通过一个基于实例级别的攻击，将其中两张增广图像添加扰动生成对应的对抗样本；然后将生成的两张带对抗的增广图像和一张不带对抗的增广图像放入到网络模型进行训练；从而得到一个具有鲁棒特征的预训练模型；最后提取训练好的预训练模型编码器部分，连接一个全连接层进行分类任务训练，即形成鲁棒性的分类器。本发明专利技术能够同时兼顾模型的鲁棒精度和干净精度，在确保模型具有鲁棒性的同时也能够保证模型对干净样本的分类精度的影响较小。度的影响较小。度的影响较小。

【技术实现步骤摘要】
基于对抗性对比学习提升图像分类模型鲁棒性的方法


[0001]本专利技术涉及对抗样本领域，具体涉及一种基于对抗性对比学习方式来提高图像分类模型鲁棒性的方法。

技术介绍

[0002]深度神经网络现在已经在目标检测、图像分类、智能驾驶等多个领域有了广泛的应用。但近年来研究人员发现神经网络很容易受到一种名叫对抗样本的扰动影响，使得一个原本训练好的网络模型以极大概率错误地将一个图片识别成其它物种。
[0003]抵御对抗样本的方式有很多，但是方法主要集中在监督学习为主，而在自监督学习领域使用的较少。监督学习需要依赖标签，这可能会造成极大的资源开销，而自监督学习可以解决这个问题。但是，以往使用自监督的方法解决对抗样本问题方法比较少，并且使用自监督方法进行训练还存在需要大量的数据、需要伪标签或构造实例级别的攻击太过复杂等问题。

技术实现思路

[0004]本专利技术针对现有的技术的不足，提供了一种基于对抗性对比学习提升图像分类模型鲁棒性的方法。
[0005]本专利技术所采用的技术方案包括以下步骤：
[0006]1)构建用于进行对抗性对比学习任务的数据集以及TrCL网络模型；
[0007]2)通过数据增强策略将原始的图像生成三张不同的增广图像；
[0008]3)通过一个基于实例级别的攻击，将其中两张增广图像添加扰动生成对应的对抗样本；
[0009]4)将生成的两张带对抗的增广图像和一张不带对抗的增广图像放入到TrCL网络模型进行训练；
[0010]其中：
[0011]模型损失函数第一部分看作是基于实例级别的分类任务，使干净样本和对抗样本的两个特征在特征空间中尽可能接近；
[0012]模型损失函数第二部分不需要负样本对，采用梯度截断操作防止梯度进行回传；用来优化一个增广图像与另一个增广图像的对抗样本之间的特征空间距离；
[0013]模型损失函数第三部分是对比损失，在生成对抗样本的过程中，即是在对抗样本和干净样本进行比较的时候生成的；
[0014]5)将数据集输送到模型中使之充分训练，从而得到一个具有鲁棒特征的预训练模型；
[0015]6)提取训练好的预训练模型编码器部分，连接一个全连接层进行分类任务训练，即形成鲁棒性的分类器。
[0016]本专利技术的有益效果：本专利技术设计了一个由主干网络、投影头和预测头三部分构成
的网络结构，并且使用了三个损失函数进行网络优化。此外，本专利技术生成对抗扰动的方式不需要标签，且比以往的方式更加的简单。通过对抗训练，能够得到一个具有鲁棒性的预训练模型。当提取该模型的编码器部分，并加上全连接层作为线性分类器时，发现通过预训练模型初始化的特征能够同时兼顾模型的鲁棒精度和干净精度，在确保模型具有鲁棒性的同时也能够保证模型对干净样本的分类精度的影响较小。
附图说明
[0017]图1为本专利技术TrCL网络模型结构示意图。
具体实施方式
[0018]基于对抗性对比学习方式来提高图像分类模型鲁棒性的方法，包括以下步骤：
[0019]1)构建用于进行对抗性对比学习任务的数据集以及TrCL网络模型。
[0020]2)通过一系列的数据增强策略如：随机裁剪、改变图像属性、水平翻转、灰度图等方式，将原始的图像生成三张不同的增广图像。
[0021]3)通过自定义的一个基于实例级别的攻击，将其中两张增广图像添加扰动生成对应的对抗样本。自定义的实例级别的攻击不需要使用任何标签，仅仅通过数据增强以后得到的图像与自身迭代更新的样本，即可生成想要的对抗扰动。
[0022]4)将生成的两张带对抗的增广图像和一张不带对抗的增广图像放入到模型进行训练。其中两张对抗样本的图片是通过步骤2)、3)得到，一张不带对抗的增广图像是仅通过步骤2)得到的。
[0023]模型损失函数第一部分可以看作是基于实例级别的分类任务。目的是使干净样本和对抗样本的两个特征在特征空间中尽可能接近；
[0024]模型损失函数第二部分不需要负样本对。它采用梯度截断操作防止梯度进行回传。用来优化一个增广图像与另一个增广图像的对抗样本之间的特征空间距离；
[0025]模型损失函数第三部分是对比损失，在生成对抗样本的过程中，即是在对抗样本和干净样本进行比较的时候生成的；
[0026]5)将数据集输送到模型中使之充分训练，从而得到一个具有鲁棒特征的预训练模型；
[0027]6)提取训练好的预训练模型编码器部分，连接一个全连接层进行分类任务训练，即可得到一个具有鲁棒性的分类器；
[0028]在部分实施例中，步骤1)中：主要以CIFAR
‑
10和CIFAR
‑
100数据集为基准，只选用它们的数据部分，而不使用标签以达到自监督学习无标签训练的目的。构建TrCL模型以ResNet18作为基模型编码器，另外添加了一个投影头h和一个预测器p。其中，投影头和预测器均是两层MLP结构。
[0029]在部分实施例中，步骤3)中生成对抗样本的具体表达式如下：
[0030][0031]其中：q()表示经过如步骤2)所述的增广策略所得到的图像，i表示训练的轮次，S表示生成的最大扰动不能超过这个边界，Π的作用就是将结果映射到目标范围内，a是一个超参数，具体设置为2.0/255，L是均方差损失，符号函数sgn的作用计算出梯度方向，从而控
制扰动距离。
[0032]通过第i个轮次的对抗样本与只经过图像增强后的样本求得的梯度方向加到第i个轮次的对抗样本上，从而生成第i+1轮次的对抗样本。
[0033]在部分实施例中，模型损失函数第一部分如下：
[0034][0035]其中：D(x,y)表示向量x和y相乘再归一化后的结果，h()代表了投影头输出的特征，x代表只是做了增广变换的干净样本，+代表关于x的正样本，
‑
代表关于x的负样本，adv代表由图像x生成的对抗样本，exp代表指数函数e
x
，t是温度系数，这里选用0.5。
[0036]当在优化这个损失函数的时候，为了保证损失函数不断减小，即要让分子部分变小而分母部分变大，而要让分子部分变小，就需要拉近图像x与它正样本对的对抗样本在特征空间中的距离，而要让分母部分变大，则要疏远与负样本对之间的距离，从而达到优化的目的。
[0037]在部分实施例中，模型损失函数第二部分如下：
[0038][0039]其中：a和b代表相同图像x关于步骤2)的一系列增强以后得到的两张图片，h()和p()分别代表投影头和预测头输出的特征。stopgrad()是一个截断梯度操作，防止梯度进行回传。截断梯度操作使得被截断的参数不能进行梯度回传更新网络参数。
[0040]模型损失函数第三部分对比损失，该对比损失是输入图像的增广图像与该图片使用实例级别攻击生成的对抗样本间的均方差损失。
[0041]实施例：以CIFAR
‑
10数据集为例，该数据集主要是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对抗性对比学习提升图像分类模型鲁棒性的方法，其特征在于该方法包括以下步骤：1)构建用于进行对抗性对比学习任务的数据集以及TrCL网络模型；2)通过数据增强策略将原始的图像生成三张不同的增广图像；3)通过一个基于实例级别的攻击，将其中两张增广图像添加扰动生成对应的对抗样本；4)将生成的两张带对抗的增广图像和一张不带对抗的增广图像放入到TrCL网络模型进行训练；其中：模型损失函数第一部分看作是基于实例级别的分类任务，使干净样本和对抗样本的两个特征在特征空间中尽可能接近；模型损失函数第二部分不需要负样本对，采用梯度截断操作防止梯度进行回传；用来优化一个增广图像与另一个增广图像的对抗样本之间的特征空间距离；模型损失函数第三部分是对比损失，在生成对抗样本的过程中，即是在对抗样本和干净样本进行比较的时候生成的；5)将数据集输送到模型中使之充分训练，从而得到一个具有鲁棒特征的预训练模型；6)提取训练好的预训练模型编码器部分，连接一个全连接层进行分类任务训练，即形成鲁棒性的分类器。2.根据权利要求1所述的基于对抗性对比学习提升图像分类模型鲁棒性的方法，其特征在于：步骤1)中所述数据集以CIFAR
‑
10和CIFAR
‑
100数据集为基准，只选用它们的数据部分，而不使用标签，以达到自监督学习无标签训练的目的。3.根据权利要求1所述的基于对抗性对比学习提升图像分类模型鲁棒性的方法，其特征在于：步骤1)中所述TrCL模型以ResN...

【专利技术属性】
技术研发人员：韩嵩，朱彦栋，陈晓莉，任思琪，刘细涓，朱东海，赵帅，陈志贤，林建洪，洪海波，徐璇璇，陈雪聪，王璐瑶，
申请(专利权)人：浙江鹏信信息科技股份有限公司，
类型：发明
国别省市：