一种数据填充式的深度神经网络图像分类模型对抗训练方法技术

本发明专利技术针对深度神经网络鲁棒性优化问题，公开了一种数据填充式的深度神经网络图像分类模型对抗训练方法，属于深度学习和人工智能安全领域。首先改造目标模型，对模型输出层类别扩增并将新增的类定义为填充类。其次建立陷阱式平滑损失函数，优化目标流形并提高对抗样本检测效率。随后选择基础对抗训练方法，并在数据生成阶段使用填充类数据生成方法在对抗样本基础上生成填充类数据，使用填充类数据与对抗样本进行对抗训练，并使用陷阱式平滑损失函数更新模型参数。最后根据组合测试结果优化方法参数，多次重训练以得到优化后的目标模型。本发明专利技术同时兼顾对抗训练和对抗样本检测，可对不同扰动大小的对抗样本进行有效的防御，提高了模型的鲁棒性。提高了模型的鲁棒性。提高了模型的鲁棒性。

【技术实现步骤摘要】
一种数据填充式的深度神经网络图像分类模型对抗训练方法


[0001]本专利技术属于深度学习和人工智能安全领域,具体涉及神经网络模型的扩充和神经网络模型鲁棒性的优化，提出了一种数据填充式的深度神经网络图像分类模型对抗训练方法。

技术介绍

[0002]深度神经网络(Deep Neural Network,DNN)作为人工智能(AI)中应用最广的细化学科，随着计算机算力、模型以及数据可用性的进一步优化和提升，在诸如图像分类和分割、图像探测和追踪、语音识别等领域取得了巨大的成功，并在自动驾驶、医疗诊断等安全性要求极高的领域有了飞速的发展。以AI技术实现自动换档和自动驾驶等功能的斯特拉公司为例，2021年特斯拉拥有美国高达72％的电动车市场占有率，同时稳居中国电动车销售榜首。这说明了AI的巨大吸引力和巨大的商业价值。但随之而来的是对AI安全性于自动驾驶、医疗图像、军工等高风险领域的严峻考验。
[0003]在AI图像分类领域，随着卷积神经网络(Convolutional Neural Networks,CNNs)的专利技术，研究人员相继提出了VGG、ResNet、InceptionV3等深度神经网络模型，极大地提高了各种场景下的图像分类准确率。然而研究表明，高精度的深度神经网络模型极易受到对抗样本的攻击，导致模型产生误判。对抗样本是一种攻击者向干净样本添加精心制作的微小对抗扰动后所生成的恶意攻击样本，仅凭人类视觉无法区分干净样本和对抗样本。与此同时，由于深度神经网络模型的复杂性和训练数据不足等原因，对抗样本会影响DNN内部浅层网络部分对数据的特征提取和深层网络部分对数据的语义分析，进而改变模型最终的分类判断，导致模型的分类出错。
[0004]DNN鲁棒性作为可信AI的重要组成部分，在DNN图像分类领域强调DNN模型在面对经过处理的数据样本时应不受扰动的影响，依旧保持正确的预测输出数据类别。对抗样本揭露了深度神经网络脆弱性和易受攻击的特性，是深度神经网络领域的一大安全漏洞，严重危害深度神经网络的鲁棒性和安全性。
[0005]针对对抗样本这一DNN领域安全漏洞，研究人员已经提出了各种对抗防御方法来提升DNN的鲁棒性。DNN鲁棒性用于衡量DNN模型在面对添加扰动噪声的输入数据时的抗干扰能力。对抗防御方法主要从四个角度对DNN进行鲁棒性的提升：对抗样本检测、样本输入预处理、直接提升DNN自身对抗鲁棒性以及可证明鲁棒性防御。现阶段，由于DNN的不可解释性以及层出不穷的各种新式的对抗攻击方法，属于直接提升DNN对抗鲁棒性的对抗训练因其稳定且具有防御泛化性被学界公认为最强有力的DNN对抗防御方法。

技术实现思路

[0006]一种数据填充式的深度神经网络图像分类模型对抗训练方法，其一在训练集数据所生成的对抗样本的基础上，使用填充类数据生成方法生成填充类数据，并使用对抗样本和一定比例的填充类数据对目标模型M进行对抗训练。同时为了对模型M增添填充类输出类
别，对模型M进行输出层扩增，使得原本输出类别为k的输出层变为k+1。该步骤的目的是在对抗训练的基础上，对深度神经网络模型高维空间中未被低维训练集数据流形(数据分布)所定义的特征空间进行填充类别的标签定义，从而当模型的输出类别为填充类时，因填充类数据和训练集不想交，可判断对应输入为非正常的对抗样本输入，进而有效地对对抗样本进行检测。其二修改模型训练的损失函数为陷阱式平滑损失函数。其目的是优化训练集数据流行内不同类别的数据分布，同时建立训练集数据流形与填充类数据流形之间的诱导关系，从而提升对抗样本的检测效率。
[0007]本专利技术为一种对抗样本的防御方法，其特征在于包括以下步骤：
[0008]步骤一：为提升目标深度神经网络图像分类模型的鲁棒性，选定已训练好的、应用于具体事务的深度神经网络图像分类模型作为目标模型M，其次改造目标模型M，对输出类别个数为k的目标模型M进行输出层扩增，最终模型M
plus
的输出层类别个数为k+1；
[0009]步骤二：建立用于优化目标流形分布并建立目标流形与填充类分布之间的诱导关系的陷阱式平滑损失函数，如公式(1)，其中q为模型总类别数，α为陷阱诱导因子，y
T
和y
S
分别为总输出向量中属于干净类别和填充类别的输出向量，y
q
为原始one
‑
hot类型的输出向量，和分别代表y
q
中属于干净类别和填充类别的部分原始输出向量，size(y
T
)表示向量y
T
的元素个数，最终输出为由y
T
和y
S
拼接后的输出向量y，具体地：陷阱式平滑损失函数对属于填充类别的标签向量使用默认的one
‑
hot输出向量，对属于原始目标类别的标签向量按公式(1)对y
T
和y
S
分别进行处理，其中对y
T
中目标类别平滑a概率，并以均匀分布的方式为所有原类别分配概率a/2size(y
T
)，对y
S
中每个填充类分配概率a/2(q
‑
size(y
T
))，最终将平滑处理后的y
T
和y
S
拼接后作为标签向量与模型输出x使用交叉熵损失函数进行计算；
[0010][0011]步骤三：选择基础对抗训练方法，对每个小批量训练集生成的如图3右侧所示的对抗样本使用如公式(2)所示的填充式数据生成方法，生成对应的填充类数据，其中x
adv
为对抗样本，random()函数返回和输入数据data相同格式且符合正态分布的随机数，sign()符号函数根据参数的正负赋予扰动相应的正负值，l(epoch)代表一维线性插值函数interp()，其根据循环基数epoch根据当前循环数和总循环数Epoch动态调整扰动向量的大小，使用训练数据的标准差std作为线性插值的最小值，并使用超参数β对初始插入值大小予以正则化，使用数据标准化输入上限x
max
作为线性插值的最大值，并用超参数η作为填充类数据生成的控制参数；
[0012][0013]步骤四：根据图像数据集像素大小和模型体量，人工动态选定填充类数据在每个小批量中用于对抗训练的比例参数，使用该比例将填充类数据与对抗样本进行拼接并参与对抗训练的重训练过程，具体地：图像像素越大，填充类数据在每个小批量中应用于对抗训练的比例参数越低，新生成的填充类数据的数据类别为k+1；
[0014]步骤五：使用早停机制对模型M
plus
进行对抗训练，具体地，每次循环更新模型在对
抗攻击测试时的历史最佳准确率，当本次训练循环结束时，对比本次循环更新后的模型在面对相同的对抗攻击测试方法时的准确率与历史最佳准确率，当本次循环的模型准确率低于历史最佳准确率且超出阈值时，则停止模型训练并保存模型参数，具体地：阈值默认值为0.1；
[0015]步骤六本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据填充式的深度神经网络图像分类模型对抗训练方法，其特征包括以下步骤：步骤一：为提升目标深度神经网络图像分类模型的鲁棒性，选定已训练好的、应用于具体事务的深度神经网络图像分类模型作为目标模型M，其次改造目标模型M，对输出类别个数为k的目标模型M进行输出层扩增，最终模型M
plus
的输出层类别个数为k+1；步骤二：建立用于优化目标流形分布并建立目标流形与填充类分布之间的诱导关系的陷阱式平滑损失函数，如公式(1)，其中q为模型总类别数，α为陷阱诱导因子，y
T
和y
S
分别为总输出向量中属于干净类别和填充类别的输出向量，y
q
为原始one
‑
hot类型的输出向量，和分别代表y
q
中属于干净类别和填充类别的部分原始输出向量，size(y
T
)表示向量y
T
的元素个数，最终输出为由y
T
和y
S
拼接后的输出向量y，具体地：陷阱式平滑损失函数对属于填充类别的标签向量使用默认的one
‑
hot输出向量，对属于原始目标类别的标签向量按公式(1)对y
T
和y
S
分别进行处理，其中对y
T
中目标类别平滑a概率，并以均匀分布的方式为所有原类别分配概率a/2size(y
T
)，对y
S
中每个填充类分配概率a/2(q
‑
size(y
T
))，最终将平滑处理后的y
T
和y
S
拼接后作为标签向量与模型输出x使用交叉熵损失函数进行计算；步骤三：选择基础对抗训练方法，对每个小批量训练集生成的对抗样本使用如公式(2)所示的填充式数据生成方法，生成对应的填充类数据，其中x
adv
为对抗样本，random()函数返回和输入数据data相同格式且符合正态分布的随机数，sign(...

【专利技术属性】
技术研发人员：卢光跃，温苏雷，孙家泽，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：