【技术实现步骤摘要】
深度神经网络的训练方法、装置和电子设备
本申请涉及深度学习
，且更为具体地，涉及一种深度神经网络的训练方法，深度神经网络的训练装置和电子设备。
技术介绍
基于深度学习的技术对于很多任务，比如图像分类、语音识别等都实现了卓越的性能。尽管有这些进步，但是深度学习的神经网络模型很容易受到所谓的对抗样本的攻击。对于视觉输入的任务来说，对抗样本指的是初始输入图像的略微扰动的版本，其在视觉上与初始输入图像差别不大，但是能够显著地改变神经网络模型的行为，使得神经网络模型输出错误的类别标签或者不同的控制决策，导致神经网络模型的鲁棒性较低。由于对抗样本在很多任务中都存在，且可在不同神经网络模型之间迁移，其对神经网络模型的安全性造成了很大影响，且阻碍了神经网络模型在实际应用中的发展。因此，期望提供改进的能够提高针对对抗样本的鲁棒性的神经网络模型的训练方案。
技术实现思路
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种深度神经网络的训练方法，训练装置和电子设备，其首先通过最小化对抗样...
【技术保护点】
1.一种深度神经网络的训练方法，包括：/n将第一图像输入第一深度神经网络以获得第一特征图并将第二图像输入第二深度神经网络以获得第二特征图，所述第一深度神经网络与所述第二深度神经网络具有相同参数；/n计算所述第一特征图与所述第二特征图之间的第一特征图距离；/n通过最小化所述第一特征图距离来进行梯度的反向传播以更新所述第一图像而获得第一对抗图像；/n将所述第一对抗图像输入所述第一深度神经网络以获得第三特征图并基于所述第三特征图计算损失函数值；以及/n通过最小化所述损失函数值来更新所述第一深度神经网络。/n
【技术特征摘要】
20190923 US 62/904,4121.一种深度神经网络的训练方法，包括：
将第一图像输入第一深度神经网络以获得第一特征图并将第二图像输入第二深度神经网络以获得第二特征图，所述第一深度神经网络与所述第二深度神经网络具有相同参数；
计算所述第一特征图与所述第二特征图之间的第一特征图距离；
通过最小化所述第一特征图距离来进行梯度的反向传播以更新所述第一图像而获得第一对抗图像；
将所述第一对抗图像输入所述第一深度神经网络以获得第三特征图并基于所述第三特征图计算损失函数值；以及
通过最小化所述损失函数值来更新所述第一深度神经网络。
2.如权利要求1所述的深度神经网络的训练方法，进一步包括：
计算所述第三特征图与所述第二特征图之间的第二特征图距离；
通过最小化所述第二特征图距离来进行梯度的反向传播以更新所述第一对抗图像而获得第二对抗图像；
将所述第二对抗图像输入所述更新的第一深度神经网络以获得第四特征图并基于所述第四特征图计算损失函数值；以及
通过最小化所述损失函数值来更新所述更新的第一深度神经网络。
3.如权利要求1所述的深度神经网络的训练方法，其中，通过最小化所述第一特征图距离来进行梯度的反向传播以更新所述第一图像而获得第一对抗图像包括：
计算所述第一特征图距离相对于所述第一图像的第一偏导数；以及
基于所述第一图像、所述第一偏导数以及第一预定系数，获得所述第一对抗图像。
4.如权利要求2所述的深度神经网络的训练方法，进一步包括：
获得所述第一图像对应的第一标签特征向量和所述第二图像对应的第二标签特征向量；
基于所述第一标签特征向量与所述第二标签特征向量计算第一标签距离；以及
通过最小化所述第一标签距离来更新所述第一标签特征向量而获得第一对抗标签特征向量。
5.如权利要求4所述的深度神经网络的训练方法，其中，将所述第一对抗图像输入所述第一深度神经网络以获得第三特征图并基于所述第三特征图计算损失函数值包括：
计算所述第三特征图与所述第一对抗标签特征向量的交叉熵损失函数值以作为所述损失函数值。
6.如权利要求5所述的深度神经网络的训练方法，进一步包括：
基于所述第一对抗标签特征向量与所述第二标签特征向量计算第二标签距离；以及
通过最小化所述第二标签距离来更新所述第一对抗标签特征向量而获得第二对抗标签特征向量。
<...
【专利技术属性】
技术研发人员：张海超，徐伟，
申请(专利权)人：南京地平线机器人技术有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。