一种针对梯度裁剪的深度学习模型鲁棒性评估方法和系统技术方案

本发明专利技术实施例提供一种针对梯度裁剪的深度学习模型鲁棒性评估方法和系统，为了减少梯度裁剪对测试样本集造成的模型偏移效果的影响，首先得到目标模型中权重参数w的梯度G

【技术实现步骤摘要】
一种针对梯度裁剪的深度学习模型鲁棒性评估方法和系统


[0001]本专利技术实施例涉及深度学习
，尤其涉及针对梯度裁剪的深度学习模型鲁棒性评估方法和系统。

技术介绍

[0002]随着深度学习的发展和大规模应用，针对深度学习模型的攻击也层出不穷。其中就包括数据投毒攻击。数据投毒攻击的目的是通过恶意修改训练集来操纵学习算法生成的模型，训练完成的模型会按照攻击者的需求产生预测结果。数据投毒的基本方法是在某个具体的训练样本（x，y）上添加扰动生成投毒样本（xp,yp），然后将投毒样本混入模型的训练数据集中，使用投毒后的训练集训练得到的模型，其预测结果会根据攻击者的意愿发生改变。比如在智能驾驶领域，如果一个智能汽车所用的图像识别模型遭受到了数据投毒攻击，它就可能将停车标志识别为左转，从而造成严重的社会危害。
[0003]一个深度学习模型抵抗数据投毒攻击能力的强弱被称为该模型的鲁棒性。也就是说一个模型在面对数据投毒攻击时对输入样本的预测结果和实际结果偏差的越小，就证明该模型的鲁棒性越强。模型设计者在发布一个深度学习模型时，除了考虑模型的可用性外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对梯度裁剪的深度学习模型鲁棒性评估方法，其特征在于，包括：步骤S1、提取目标模型的原始训练集中的原始样本集，对所述原始样本集进行奇异值分解，以得到投毒样本；基于所述投毒样本，以及所述投毒样本经所述目标模型的预测结果构建测试样本；步骤S2、将所述测试样本插入原始训练集生成测试训练集，基于所述测试训练集进行神经网络训练得到偏移模型；步骤S3、基于所述偏移模型对所述投毒样本进行预测，基于预测结果确定偏移模型是否偏移成功；获取目标模型的偏移成功率，将所述偏移成功率作为评估结果。2.根据权利要求1所述的针对梯度裁剪的深度学习模型鲁棒性评估方法，其特征在于，所述步骤S1具体包括：步骤S11、获取目标模型以及训练所述目标模型使用的原始训练集D=（X,Y），其中，X为原始样本集，Y为原始标签集，训练样本(x,y)∈D；步骤S12、基于梯度方差最小时的测试样本（x
P
, y
P
），并确定在预设梯度方差上界下的x
P
表达式；步骤S13、对训练集中的测试样本进行奇异值分解，得到投毒样本x
P
；基于目标模型对投毒样本x
P
进行预测，得到投毒样本x
P
的最小概率类标签y
P
，将（x
P
, y
P
）作为测试样本。3.根据权利要求2所述的针对梯度裁剪的深度学习模型鲁棒性评估方法，其特征在于，所述步骤S12具体包括；计算所述目标模型的权重参数w的梯度G
w
：G
w
=
∇
w
Loss(w,b ; x,y)上式中，Loss表示损失函数；
∇
w
表示对权重参数w求梯度；b为目标模型的偏移参数；获取测试样本(x
P
,y
P )的计算公式：上式中，Var[]表示梯度方差;预设梯度方差上界为Var[x
P
,x]，得到：。4.根据权利要求3所述的针对梯度裁剪的深度学习模型鲁棒性评估方法，其特征在于，对训练集中的测试样本进行奇异值分解，具体包括：基于奇异值分解方法求解x
P
表达式；将奇异值分解后最小奇异值对应的奇异值向量缩放到与原始训练样本集中其余训练样本相同的范...

【专利技术属性】
技术研发人员：郑飞州，李昭睿，陈政霖，
申请(专利权)人：广州中平智能科技有限公司，
类型：发明
国别省市：