一种基于线性分段损失函数的对抗训练方法技术

本发明专利技术涉及一种基于线性分段损失函数的对抗训练方法，所述线性分段损失函数采用泰勒展开的思想，将交叉熵损失函数通过泰勒展开分解为一系列加权多项式基，通过调整系数获得拟合较好的损失函数，利用L2正则化项对损失函数参数进行约束，增加网络模型鲁棒性；在对抗训练前向网络中使用大卷积核先对图像整体特征进行学习，减少非鲁棒性特征带来的影响，同时使用1*1卷积核降维后利用全局平均池化层来替代全连接层，减少计算参数量；在生成对抗样本后，将批量归一化层融入网络的对抗训练阶段，减小对抗样本带来的数据分布不均匀问题，提高网络模型鲁棒性。很好地解决传统对抗训练带来的模型鲁棒性提升不高，且干净数据准确率大幅下降的问题。下降的问题。下降的问题。

【技术实现步骤摘要】
一种基于线性分段损失函数的对抗训练方法

：
[0001]本专利技术涉及人工智能模型图像处理
，具体涉及一种基于线性分段损失函数的对抗训练方法。

技术介绍
：
[0002]近年来，深度卷积神经网络在图像处理领域已经取得了突破性的进展，在图像分类识别方面，经过训练的网络模型已经可以替代人工进行图像分类工作。虽然深度卷积神经网络具有卓越的性能，但是其在面对对抗样本攻击时所表现出的脆弱性不得不让人们关注卷积神经网络的鲁棒性。例如，当在图像中添加对抗扰动后可以造成网络模型的误判，但是在人眼看来这些图像与原图像并无区别。又如，在网络测试时，对抗样本的存在会使网络模型的准确率大幅下降。再如，在物理世界中，尤其是自动驾驶领域，输入网络的图片若被添加微扰动，则会得到错误的分类结果，其危害性可能使得整个网络模型无法正常工作。
[0003]为了提高卷积神经网络的鲁棒性，现有技术提出了一种针对对抗样本的防御策略，即对抗训练。对抗训练的核心为将原始数据集与对抗样本混合后送入网络进行训练以提升网络的鲁棒性。因此，对抗样本的优劣成为影响网络鲁棒性的关键因素，优良的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于线性分段损失函数的对抗训练方法，其特征在于，包括以下步骤：S1、获取原始图像x将公开数据集CIFAR
‑
10中的50000张32*32*3的训练图片进行数据预处理得到原始图像；S2、构建前向网路f(θ)，θ为网络参数，得到不同类别的置信度P
i
前向网络结构包括依次设置的一个3*3卷积层、由4个不同的残差层组成的深度残差结构层、一个1*1卷积层和一个全局平均池化层，其中第一个残差层采用大卷积核对整体特征进行提取，1*1卷积层用于数据降维，从512维降至10维，全局平均池化层用于输出一维的向量；原始图像经过前向网络处理，得到对应不同分类类别i的置信度P
i
；S3、构建线性分段损失函数L，计算网络输出结构的损失S3、构建线性分段损失函数L，计算网络输出结构的损失S3、构建线性分段损失函数L，计算网络输出结构的损失式中，δ为多项式系数，P
i
为置信度，L
CE
为交叉熵损失函数，为正则化项系数，θ为网络参数，θ2为L2正则化项；在反向传播时，采用SGD优化器进行参数更新，线性分段损失函数L的梯度为：SGD优化器沿梯度下降的方向更新参数，α为每次下降的学习率，L2正则化项的存在使得损失函数L的优化过程变为：网络参数θ
i
在梯度下降前先与系数相乘，其中因此可以确保每次更新的网络参数θ
i+1
不断减小，提高网络的收敛能力；S4、构建对抗样本x
′
线性分段损失函数L对原始图像x求偏导，得到梯度grad：采用投影梯度下降法寻找对抗扰动η，构建对抗样本x
′
：为了防止在原始图像中每个像素点添加扰动后，从视觉上改变原始图像，因此在∞范数空间内设定一个最大扰动空间ε，在该空间内，使用符号函数sign()取出梯度的变化方向，沿着梯度上升的方向，利用扰动系数α进行一次迭代，生成一个对抗扰动η：
η＝αsign(grad)；如果η≤ε，则说明生成的对抗扰动在最大扰动空间内，在原始图像x上添加对抗扰动η即可完成一次迭代：x
′
＝x+η；如果η＞ε，则说明生成的对抗扰动在最大扰动空间外，将其投影回扰动空间，即在原始图像x上添加ε即可完成一次迭代，后续迭代步骤中，生成的对抗扰动η均会被投影至扰动范围边界上：x
′
＝x+ε；在K步迭代中，重复上述过程，迭代完成后输出对抗样本x
′
；或者，采用快速梯度符号法，构建对抗样本x
′
：将采用单...

【专利技术属性】
技术研发人员：谢刚，张兆祥，李林娟，聂晓音，田娟，谢新林，张浩雪，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：