一种基于度量学习的图像分类鲁棒性提升方法技术

本发明专利技术公开一种基于度量学习的图像分类鲁棒性提升方法。针对深度学习图像分类任务，获取图像分类任务对应的原数据集，以投影梯度下降的方法针对获取到的原数据集生成对抗样本数据集，将原数据集与生成的对抗样本合并成为新数据集，再将新数据集输入分类器进行模型训练，训练至模型收敛后输出。其中，在分类器模型训练阶段，原有分类器上增加了样本分布约束模块，样本分布约束模块应用度量学习的总损失函数来更新分类器的参数。考虑了正常样本和对抗样本本身的分布约束和空间特征，解决了传统对抗训练融合对抗样本却不考虑样本分布之间的联系的问题，因而提升深度学习图像分类器的鲁棒性，在应对传统白盒对抗样本攻击的情况下有更好的表现。有更好的表现。有更好的表现。

【技术实现步骤摘要】
一种基于度量学习的图像分类鲁棒性提升方法


[0001]本专利技术涉及一种基于度量学习的图像分类鲁棒性提升方法，属于深度学习计算机视觉和模型鲁棒性领域。特别适用于深度学习图像分类模型的鲁棒性问题，可应用于人脸识别安全、计算机入侵检测系统、自动驾驶系统安全、搜索引擎排序系统安全等场景。

技术介绍

[0002]随着人工智能技术的发展和深度学习技术的兴起，生活中越来越多的领域已经开始运用起深度学习技术来解决问题，然而技术永远不是完美的。深度学习技术的大热同样带来了许多安全和稳定性的问题和考量，而对抗样本的出现便是其中不可忽视的一个例子。
[0003]在对深度学习数据集中的图片施加微小的扰动后，神经网络就会将其误分类。但是人类却仍然可以轻松地将其分类正确，这便是对抗样本的由来。其实早在本世纪初，就有许多工作在给传统的机器学习模型制造一个对手，这些对手通过操纵数据从而欺骗分类器之类的模型，比如向垃圾邮件里添加特殊词汇以欺骗垃圾邮件检测器这样的案例。而这样的攻防角逐依然持续到了今天的深度学习领域。深度网络的优异性能和深度网络在对抗样本攻击下的灾难性脆弱同时存在，因此我们必须正视模型的鲁棒性问题，因为我们希望深度学习的模型是真的人工智能，而不仅仅只是机器智能。
[0004]图片分类任务是深度学习领域中的一个经典任务，亦在现实生活中无论是安防领域或是电商、娱乐等领域都有着大量的应用。试想如果对抗攻击的出现使得人脸识别失效、目标检测失效、自动驾驶汽车直线拐弯等，后果不堪设想，因此图片分类模型的抗干扰和安全性问题则显得愈发重要。
[0005]在对抗攻击出现的场景下，深度学习图片分类模型受到对抗样本的攻击很容易出现模型准确率骤降为零的情况。但是目前对抗防御领域的方法主要还是对抗训练方法，对抗训练主要有两个作用，一是提高模型对恶意攻击的鲁棒性，二是提高模型的泛化能力。然而常用的对抗训练方法比较简单而暴力，往往不考虑对抗样本分布之间的联系问题，使得模型的鲁棒性不能得到良好的提升。针对此我们提出了一种新的度量学习的图像分类鲁棒性提升方法。

技术实现思路

[0006]本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0007]针对现有技术中存在的问题与不足，本专利技术目的在于提供一种基于度量学习的图像分类鲁棒性提升方法，针对深度学习图像分类任务，本方法通过引入度量学习方法的总损失函数，结合对抗训练添加了正常样本和对抗样本各自的分布约束和空间特征，使其有更好的类间分散与类内紧密，从而使图像分类器有更好的抗干扰性和鲁棒性，以解决上述

技术介绍
中提出的问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：
[0009]本专利技术公开一种基于度量学习的图像分类鲁棒性提升方法，包括如下步骤：
[0010]步骤1，获取图像分类任务对应的原数据集H；
[0011]步骤2，以投影梯度下降的方法针对获取到的所述原数据集H生成对抗样本数据集H
adv
；
[0012]步骤3，将所述原数据集H与生成的所述对抗样本数据集H
adv
合并成为新数据集H
*
；
[0013]步骤4，再将所述新数据集H
*
输入分类器进行模型训练，训练至模型收敛后输出。
[0014]在所述分类器模型训练阶段，原有分类器上增加了样本分布约束模块，所述样本分布约束模块应用度量学习的总损失函数来更新分类器的参数。
[0015]进一步的，步骤2中对抗样本数据集H
adv
生成的步骤为：
[0016]步骤2.1，设置所述投影梯度下降方法中迭代轮数k和步长γ的参数；
[0017]步骤2.2，设置所述投影梯度下降方法攻击所用的交叉熵损失函数
[0018]步骤2.3，在所述原数据集H中依次提取每一对原始样本；
[0019]步骤2.4，利用递推公式将所述原始样本迭代生成对应的对抗样本；
[0020]步骤2.5，将生成的所述对抗样本加入至所述对抗样本数据集H
adv
中；
[0021]步骤2.6，循环重复直至每对所述原始样本均生成对应的所述对抗样本，输出组成所述对抗样本数据集H
adv
。
[0022]进一步的，步骤4中分类器模型训练的步骤为：
[0023]步骤4.1，设置初始图像分类网络，并对图像分类网络进行随机初始化；
[0024]步骤4.2，根据图像分类类别的个数生成对应个数的中心向量c
i
，并对其进行随机初始化；
[0025]步骤4.3，按批次获取所述原数据集H和对抗样本数据集H
adv
，将其合并为新数据集H
*
，输入所述图像分类网络进行训练；
[0026]步骤4.4，根据所述图像分类网络的特征层输出的数据，获取每个样本对应的特征向量v
i
，并进行归一化处理；
[0027]步骤4.5，设置距离度量函数D和最小间隔参数m
′
；
[0028]步骤4.6，根据度量学习方法构造总损失函数利用总损失函数计算梯度并更新网络；
[0029]步骤4.7，重复上述步骤直至模型收敛后输出，进行鲁棒性测试。
[0030]进一步的，所述度量学习的总损失函数定义为：
[0031][0032]其中，为交叉熵损失函数，为三元组中心损失函数，为
‑
正则化损失函数，λ1和λ2均为权重超参数。
[0033]进一步的，所述交叉熵函数定义为：
[0034][0035]其中，N为样本个数，m为图像分类类别的个数，v
i
为类别标签为y
i
样本x
i
的特征向量，w和b分别为分类网络层的权重和偏差。
[0036]进一步的，所述三元组中心损失函数具体定义为：
[0037][0038]其中，D为距离度量函数，v为特征向量，c为中心向量，m
′
为最小间隔参数。
[0039]进一步的，投影梯度下降方法生成所述对抗样本的递推公式定义为：
[0040][0041]x
k
＝clip(x
k
,x
k
‑
∈,x
k
+∈)；
[0042]其中，k为迭代轮数的符号，γ为步长，∈为裁剪参数。
[0043]与现有技术相比，本专利技术的有益效果为：本专利技术提供了一种基于度量学习的图像分类鲁棒性提升方法，获取图像分类任务对应的原数据集，以投影梯度下降的方法针对获取到的原数据集生成对抗样本数据集，将原数据集与生成的对抗样本合并成为新数据集，再将新数据集输入分类器进行模型训练，训练至模型收敛后输出。其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于度量学习的图像分类鲁棒性提升方法，其特征在于，包括如下步骤：步骤1，获取图像分类任务对应的原数据集H；步骤2，以投影梯度下降的方法针对获取到的所述原数据集H生成对抗样本数据集H
adv
；步骤3，将所述原数据集H与生成的所述对抗样本数据集H
adv
合并成为新数据集H
*
；步骤4，再将所述新数据集H
*
输入分类器进行模型训练，训练至模型收敛后输出；在所述分类器模型训练阶段，原有分类器上增加了样本分布约束模块，所述样本分布约束模块应用度量学习的总损失函数来更新分类器的参数。2.根据权利要求1所述的一种基于度量学习的图像分类鲁棒性提升方法，其特征在于，步骤2中所述对抗样本数据集H
adv
生成的步骤为：步骤2.1，设置所述投影梯度下降方法中迭代轮数k和步长γ的参数；步骤2.2，设置所述投影梯度下降方法攻击所用的交叉熵损失函数步骤2.3，在所述原数据集H中依次提取每一对原始样本；步骤2.4，利用递推公式将所述原始样本迭代生成对应的对抗样本；步骤2.5，将生成的所述对抗样本加入至所述对抗样本数据集H
adv
中；步骤2.6，循环重复直至每对所述原始样本均生成对应的所述对抗样本，输出组成所述对抗样本数据集H
adv
。3.根据权利要求2所述的一种基于度量学习的图像分类鲁棒性提升方法，其特征在于，步骤4中所述分类器模型训练的步骤为：步骤4.1，设置初始图像分类网络，并对图像分类网络进行随机初始化；步骤4.2，根据图像分类类别的个数生成对应个数的中心向量c
i
，并对其进行随机初始化；步骤4.3，按批次获取所述原数据集H和对抗样本数据集H
...

【专利技术属性】
技术研发人员：张利军，汪许垚，
申请(专利权)人：南京大学，
类型：发明
国别省市：