基于EM的图像分类深度神经网络模型鲁棒性评估方法技术

一种基于EM距离的图像分类深度神经网络模型鲁棒性评估方法，通过对普通样本及其对应生成的对抗样本进行逼近EM距离的方法实现EM距离计算，将结果作为鲁棒性评估指标以评价模型的安全性能。本发明专利技术全面地反映了面对不同攻击下的鲁棒性，能够广泛应用于基于分类器的机器学习模型，以图像分类为突出领域，对模型鲁棒性进行统一评估。用于人工智能模型，对输入模型进行测试，对人工智能的安全性有明显提升。

【技术实现步骤摘要】
基于EM的图像分类深度神经网络模型鲁棒性评估方法
本专利技术涉及的是一种人工智能对抗领域的技术，具体是一种基于搬土距离(EarthMover'sDistance,EM)的图像分类深度神经网络模型鲁棒性评估方法。
技术介绍
人工智能近年来飞速发展，也被应用在越来越多的领域。但是，研究发现人工智能分类器存在比较严重的安全漏洞，恶意攻击者通过对正常的识别样本进行微小扰动，使其成为对抗样本，对抗样本使分类器识别出错，而模型抵抗对抗样本的能力则为鲁棒性。使用不同强度的攻击得到对应的分类准确率，但是对比不同的模型，高强度攻击表现好的模型在低强度攻击下的表现可能不如高强度攻击表现不好的模型，对比模型鲁棒性需要更加统一的方式。
技术实现思路
本专利技术针对现有技术的缺陷，提出一种基于EM的图像分类深度神经网络模型鲁棒性评估方法，以模型受到攻击生成的对抗样本和正常样本作为对象，以对象之间的EM距离作为评估指标进行模型的鲁棒性评估，能够广泛应用于基于分类器的机器学习模型。本专利技术是通过以下技术方案实现的：本专利技术通过对普通样本文档来自技高网...

【技术保护点】
1.一种基于EM距离的图像分类深度神经网络模型鲁棒性评估方法，其特征在于，通过对普通样本及其对应生成的对抗样本进行逼近EM距离的方法实现EM距离计算，将结果作为鲁棒性评估指标以评价模型的安全性能；/n所述的逼近EM距离的方法，通过插值生成神经网络逼近找到一个使得

【技术特征摘要】
1.一种基于EM距离的图像分类深度神经网络模型鲁棒性评估方法，其特征在于，通过对普通样本及其对应生成的对抗样本进行逼近EM距离的方法实现EM距离计算，将结果作为鲁棒性评估指标以评价模型的安全性能；
所述的逼近EM距离的方法，通过插值生成神经网络逼近找到一个使得最大化的一个最优的f(x)，该插值生成神经网络训练过程中需要满足利普希兹常数的限制条件。


2.根据权利要求1所述的图像分类深度神经网络模型鲁棒性评估方法，其特征是，所述的神经网络逼近，是用攻击算法构造所需要的对抗样本作为神经网络的输入的一部分，然后使用梯度惩罚方法使得损失函数得输出不会产生非常剧烈的变化，从而满足利普希兹常数的约束。


3.根据权利要求2所述的图像分类深度神经网络模型鲁棒性评估方法，其特征是，所述的攻击算法为梯度下降攻击算法(PGD)以较好的体现样本点附近的梯度特征信息。


4.根据权利要求1所述的图像分类深度神经网络模型鲁棒性评估方法，其特征是，所述的插值生成神经网络包括：卷积层和全连接层，其中：作为激励层的LeakyRelu激活函数连接卷积层和全连接层。


5.根据权利要求1所述的图像分类深度神经网络模型鲁棒性评估方法，其特征是，所述的梯度惩罚方法，是在正常样本和对抗样本之间生成一批插值样本，然后使用计算公式计算需要添加的梯度惩罚，然后将梯度惩罚添加到神经网络损失函数中。


6.根据权利要求1所述的图像分类深度神经网络模型鲁棒性评估方法，其特征是，所述的对抗样本，通过多种对抗样本生成方式生成后等比例混合得到，其生成方法包括迭代的快速梯度下降算法(...

【专利技术属性】
技术研发人员：易平，谢禹翀，喻佳天，曹于勤，王玉洁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31