一种众包任务下的鲁棒分类器训练方法技术

本发明专利技术提出了一种众包任务下的鲁棒分类器训练方法，使得训练得到的分类器结果更加鲁棒，在一定程度上可以抵御恶意对抗样本的攻击。本发明专利技术首先通过训练一个自动编码器，学习输入样例在隐空间上的表示。将输入投影到隐空间上后，进行两种处理并将损失与正常分类损失一起进行联合对抗训练，得到基本分类器f。鲁棒分类器g通过对输入样例加上高斯噪声扰动，利用蒙特卡罗方法不断查询基本分类器f，输出基本分类器输出最高的概率类别c。本发明专利技术还是一种可证明的防御，因而可以用在对安全性要求较高的任务中，在给定的安全范围内保证不会被恶意对抗样本攻击成功。意对抗样本攻击成功。意对抗样本攻击成功。

【技术实现步骤摘要】
一种众包任务下的鲁棒分类器训练方法


[0001]本专利技术涉及神经网络对抗防御领域，具体涉及一种众包任务下的鲁棒分类器训练方法。

技术介绍

[0002]随着深度学习技术的快速发展，其在图像分类、目标检测、语音识别、自然语言处理等领域的应用日益成熟，各应用场景中数据处理可以看作是一种黑箱操作，作用机理不明确，可解释性差。面对神经网络可能收到对抗样本的攻击，如何针对这些神经网络进行鲁棒性增强，面临着巨大的挑战。
[0003]在进行安全攸关的任务时，神经网络经常会遇到不可预知的错误，难以获得业务人员信任。随着深度神经网络规模的不断提升，其脆弱性也显著提升。在面对较高安全性要求的时候，传统神经网络的以分类准确率为目标的训练方式暴露出固有的不足，需要针对神经网络的训练目标和内在方式进行优化，以满足鲁棒性的要求。
[0004]通常攻击算法需要获得梯度作为指导信息。因此，传统对抗防御的方法是混淆梯度，即在梯度上做文章，例如使用不可微的模块或是利用数据不稳定性导致函数不存在或错误，又或者使用防御蒸馏使得梯度消失或爆炸，还以通过随机函数使得梯度具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种众包任务下的鲁棒分类器训练方法，其特征在于，包括如下步骤：步骤1，自动编码器训练；自动编码器包括编码器、解码器、以及用于连接编码器和解码器的隐层神经元，隐层神经元的值构成向量空间即为隐空间Z，对编码器和解码器进行训练，取自动编码器中的解码器为生成器G；步骤2，将输入x经过自编码器训练得到的编码器，投影到隐空间Z上，变为z；步骤3，基分类器训练；根据输入x投影后的隐空间表示z，利用PGD方法寻找标准对抗样本和流形上对抗样本，再利用两种对抗样本的联合损失进行对抗训练，得到基分类器f；步骤4，通过随机平滑法训练鲁棒分类器；鲁棒分类器g通过蒙特卡洛方法对输入加上随机的高斯噪声，不断查询基分类器f，根据采样结果中最常出现的类别作为鲁棒分类器g的输出。2.根据权利要求1所述一种众包任务下的鲁棒分类器训练方法，其特征在于，步骤1中自动编码器训练具体包括如下步骤：步骤1.1，将输入x通过所述编码器变为向量z，z的维数远小于x的维数，z所在的向量空间为隐空间Z；步骤1.2，向量z再通过解码器变为向量x
’
，x
’
与x为形状相同的向量；步骤1.3，将训练数据集中的所有输入样例x
i
依次输入编码器和解码器，得到每个输入样例x
i
对应的重构样本x
i
′
，取它们的重构误差之和∑
i
dist(x
i
,x
i
′
)作为优化目标，对编码器和解码器进行训练，其中dist表示两个向量间距离的一种度量，解码器称为...

【专利技术属性】
技术研发人员：王崇骏，钱树伟，刘振东，罗宏涛，张雷，
申请(专利权)人：南京大学，
类型：发明
国别省市：