一种数据填充式的深度神经网络图像分类模型对抗训练方法技术

本发明专利技术针对深度神经网络鲁棒性优化问题，公开了一种数据填充式的深度神经网络图像分类模型对抗训练方法，属于深度学习和人工智能安全领域。首先改造目标模型，对模型输出层类别扩增并将新增的类定义为填充类。其次建立陷阱式平滑损失函数，优化目标流形并提高对抗样本检测效率。随后选择基础对抗训练方法，并在数据生成阶段使用填充类数据生成方法在对抗样本基础上生成填充类数据，使用填充类数据与对抗样本进行对抗训练，并使用陷阱式平滑损失函数更新模型参数。最后根据组合测试结果优化方法参数，多次重训练以得到优化后的目标模型。本发明专利技术同时兼顾对抗训练和对抗样本检测，可对不同扰动大小的对抗样本进行有效的防御，提高了模型的鲁棒性。提高了模型的鲁棒性。提高了模型的鲁棒性。

【技术实现步骤摘要】
一种数据填充式的深度神经网络图像分类模型对抗训练方法


[0001]本专利技术属于深度学习和人工智能安全领域,具体涉及神经网络模型的扩充和神经网络模型鲁棒性的优化，提出了一种数据填充式的深度神经网络图像分类模型对抗训练方法。

技术介绍

[0002]深度神经网络(Deep Neural Network,DNN)作为人工智能(AI)中应用最广的细化学科，随着计算机算力、模型以及数据可用性的进一步优化和提升，在诸如图像分类和分割、图像探测和追踪、语音识别等领域取得了巨大的成功，并在自动驾驶、医疗诊断等安全性要求极高的领域有了飞速的发展。以AI技术实现自动换档和自动驾驶等功能的斯特拉公司为例，2021年特斯拉拥有美国高达72％的电动车市场占有率，同时稳居中国电动车销售榜首。这说明了AI的巨大吸引力和巨大的商业价值。但随之而来的是对AI安全性于自动驾驶、医疗图像、军工等高风险领域的严峻考验。
[0003]在AI图像分类领域，随着卷积神经网络(Convolutional Neural Networks,CNNs)的专利技术，研究人员相继提出了VGG、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据填充式的深度神经网络图像分类模型对抗训练方法，其特征包括以下步骤：步骤一：为提升目标深度神经网络图像分类模型的鲁棒性，选定已训练好的、应用于具体事务的深度神经网络图像分类模型作为目标模型M，其次改造目标模型M，对输出类别个数为k的目标模型M进行输出层扩增，最终模型M
plus
的输出层类别个数为k+1；步骤二：建立用于优化目标流形分布并建立目标流形与填充类分布之间的诱导关系的陷阱式平滑损失函数，如公式(1)，其中q为模型总类别数，α为陷阱诱导因子，y
T
和y
S
分别为总输出向量中属于干净类别和填充类别的输出向量，y
q
为原始one
‑
hot类型的输出向量，和分别代表y
q
中属于干净类别和填充类别的部分原始输出向量，size(y
T
)表示向量y
T
的元素个数，最终输出为由y
T
和y
S
拼接后的输出向量y，具体地：陷阱式平滑损失函数对属于填充类别的标签向量使用默认的one
‑
hot输出向量，对属于原始目标类别的标签向量按公式(1)对y
T
和y
S
分别进行处理，其中对y
T
中目标类别平滑a概率，并以均匀分布的方式为所有原类别分配概率a/2size(y
T
)，对y
S
中每个填充类分配概率a/2(q
‑
size(y
T
))，最终将平滑处理后的y
T
和y
S
拼接后作为标签向量与模型输出x使用交叉熵损失函数进行计算；步骤三：选择基础对抗训练方法，对每个小批量训练集生成的对抗样本使用如公式(2)所示的填充式数据生成方法，生成对应的填充类数据，其中x
adv
为对抗样本，random()函数返回和输入数据data相同格式且符合正态分布的随机数，sign(...

【专利技术属性】
技术研发人员：卢光跃，温苏雷，孙家泽，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：