深度网络对抗鲁棒性提升模型、构建方法、设备、介质技术

本发明专利技术属于神经网络模型构建技术领域，公开了一种深度网络对抗鲁棒性提升模型、构建方法、设备、介质，通过借鉴人脸识别任务中训练、测试阶段受不同目标函数监督的思想，将整个训练过程划分为特征提取和分类决策两阶段进行；训练一个能生成使同类样本响应更接近、不同类样本响应更远离的嵌入空间的特征提取器，并在所得的嵌入空间上训练一个对抗鲁棒性更强的分类面，进而实现对样本的分类。在不同网络框架、不同数据集、不同强度的对抗攻击下，相较于正常训练的网络，本发明专利技术的方法显著提高了测试集上的对抗准确率；相较于对抗训练，能够极大程度的保留模型在干净测试数据集上的准确率；同时相较于对抗训练，能极大程度的减少计算时间成本。间成本。间成本。

【技术实现步骤摘要】
深度网络对抗鲁棒性提升模型、构建方法、设备、介质


[0001]本专利技术属于神经网络模型构建
，尤其涉及一种深度网络对抗鲁棒性提升模型、构建方法、设备、介质。

技术介绍

[0002]目前，对抗样本是指一类在干净样本上添加人类不可察觉的扰动后生成的样本，使得人类能够对其正确分类的同时，深度神经网络对其误分类。如图5中左边的熊猫图片x，它是可以被神经网络正确分类的干净图片输入；施以特定方式生成的扰动后，得到图5右边的熊猫图片，此时会被同一个神经网络误分类成长臂猿。
[0003]在生成对抗样本的通用范式下，给定一个有监督训练数据集，对任一被模型正确分类的输入x及其类标号y，输入数据集D。寻找其对抗样本的过程即通过训练使模型误分类的过程，本质上是在解决这样一个约束最优化问题：
[0004][0005]s.t.||x
′‑
x||≤ε
[0006]其中1(.)是示性函数，ε反映人类最低可查觉的扰动界限，即最大对抗距离。
[0007]为提高神经网络模型对于潜在的对抗样本的抗干扰能力，即对抗鲁棒性，主要策本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度网络对抗鲁棒性提升模型的构建方法，其特征在于，所述深度网络对抗鲁棒性提升模型的构建方法包括：借鉴人脸识别任务中训练、测试阶段受不同目标函数监督的思想，将整个训练过程划分为特征提取和分类决策两阶段进行；训练一个能生成使同类样本响应更接近、不同类样本响应更远离的嵌入空间的特征提取器，并在所得的嵌入空间上训练一个对抗鲁棒性更强的分类面，进而实现对样本的分类。2.如权利要求1所述的深度网络对抗鲁棒性提升模型的构建方法，其特征在于，所述深度网络对抗鲁棒性提升模型的构建方法包括以下步骤：步骤一，特征提取：训练神经网络，获得模型参数及特征提取器；步骤二，参数导入：将步骤一获得的模型参数导入至新网络中并固定；步骤三，分类决策：训练模型参数获得分类面，实现对样本的分类。3.如权利要求2所述的深度网络对抗鲁棒性提升模型的构建方法，其特征在于，步骤一中，所述特征提取，包括：在特征提取阶段，训练神经网络使得同一类样本在嵌入空间尽可能靠近，不同类样本尽可能分离，优化目标为最小化ArcFaceloss：其中：N是训练集中的训练样本数目；s，m是待训练的模型参数；yi表示的是第i个样本的真实标签；θ表示的是第i个样本xi和权重矩阵第j列wj之间的内积对应的角度，即通过获得的特征提取器使得嵌入空间上各样本的响应对应的对抗扰动域相互交叠程度更低。4.如权利要求2所述的深度网络对抗鲁棒性提升模型的构建方法，其特征在于，步骤二中，所述参数导入，包括：将步骤一中所得的模型参数，除去最后一层后，导入与步骤一中框架一致的新网络中并固定，不再参与反向传播中的梯度更新；保留第一阶段特定的Arcface损失函数监督下训练得到的模型参数，使得后续训练过程中，学习到的嵌入空间始终具有同类样本响应靠近，不同类样本响应分开的特点。5.如权利要求2所述的深度网络对抗鲁棒性提升模型的构建方法，其特征在于，步骤三中，所述分类决策，包括：对步骤二中所得的网络，训练剩余最后一层的模型参数，使得模型对样本进行分类，优化目标为最小化交叉熵损失：通过分类决策步骤在嵌入空间上训练一个对抗鲁棒性强的分类面。6.一种实施权利要求1～5任意一项所述的深度网络对抗鲁棒性提升模型的构建方法
的深度网络对抗鲁棒性提升模型的构建系统，其特征在于，所述深度网络对抗鲁棒性提升模型的构建系统...

【专利技术属性】
技术研发人员：王冉，熊镜宇，柯浩鹏，
申请(专利权)人：深圳大学，
类型：发明
国别省市：