【技术实现步骤摘要】
一种成员推理攻击防御方法、装置、设备及储介质
[0001]本申请涉及机器学习
,尤其涉及一种成员推理攻击防御方法、装置、设备及储介质。
技术介绍
[0002]随着机器学习迅速发展,这使得它能够在无人驾驶、图像生成等关键应用场景中得到部署。由于机器学习的基础设备昂贵,人员成本过高,因此无法得到大范围的推广和普及。机器学习即服务针对这个痛点应运而生。在机器学习即服务中,用户无需拥有昂贵的设备和优质的人才,只需将数据上传给云端,云端就可以基于上传的数据帮助用户解决数据预处理、模型训练、模型评估等一系列问题,极大的降低了机器学习的门槛,并为私人化定制模型提供了可能。它不仅可以帮助没有数据科学经验的用户快速训练并部署模型,还可以将经过训练的模型挂到平台上进行租赁,供给外部用户进行在线使用并收取单次访问费用。近期有研究表明模型具有记忆性,这供给外部用户访问的模型受到了严重的隐私威胁。
[0003]成员推理攻击是一种针对数据隐私的攻击方法,其目的是确定特定样本是否参与了模型训练。在最早机器学习即服务下的成员推理攻击中,攻击者 ...
【技术保护点】
【技术特征摘要】
1.一种成员推理攻击防御方法,其特征在于,包括:S1、初始化参数,其中温度T=1,预设损失目标值α=1,β=0.5;S2、基于私有数据集训练教师模型f
t
(θ),其中x表示训练样本的特征向量,y表示样本标签,θ表示目标模型的参数;S3、基于所述私有数据集训练学生模型f
s
(θ),并基于前项传播y`=f
s
(θ,x)在训练的过程中计算每一个回合中计算模型的交叉熵损失值L以及训练的准确率其中N表示一轮的训练数据,N
t
表示一轮训练中模型预测正确的个数;S4、在每一个回合结束时,将测试数据集D
test
放入所述学生模型f
s
(θ)中进行测试,并计算每一轮所述测试数据集D
test
的平均损失值,其中,x
t
表示测试数据集特征,y
t
表示测试数据集对应标签,是损失函数;S5、在模型下一轮训练时将模型的交叉熵损失值与预设损失目标α时进行比较;S6、当所述交叉熵损失值大于所述预设损失目标值α时,所述模型的梯度下降;S7、当所述交叉熵损失值小于所述预设损失目标值α时,基于知识蒸馏技术计算每一轮训练的准确率以及损失函数;S8、根据所述准确率以及所述所述平均损失值更新所述参数。2.根据权利要求1所述的成员推理攻击防御方法,其特征在于,所述步骤S7具体包括:当所述交叉熵损失值小于所述预设损失目标值α时,将当前的训练轮次epoch与所述温度T相减,得到现有温度T
c
;将训练样本x与所述现有温度T
c
作为所述教师模型f
t
(θ)的输入,得到教师模型标签y
t
,其中所述教师模型的输出结果由softmax函数计算得到,具体为:其中为logits作为softmax的输入,q
i
对应着每个类别输出的概率,T代表温度;通过所述样本标签y以及所述前项传播y`计算交叉熵通过所述样本标签y以及所述教师模型标签y
t
计算KL散度计算损失函数3.根据权利要求2所述的成员推理攻击防御方法,其特征在于,所述步骤S8具体包括:根据所述准确率以及所述所述平均损失值更新所述参数,其中,温度T=T+1,预设损失目标值βtrain
acc
。4.一种成员推理攻击防御装置,其特征在于,包括:初始化单元,用于初始化参数,其中温度T=1,预设损失目标值α=1,β=0.5;第一训练单元,用于基于私有数据集训练教师模型f
t
(θ),其中x表示训练样本的特征向量,y表示样本标签,θ表示目标模...
【专利技术属性】
技术研发人员:田有亮,马曦华,丁泽华,何清怡,杨庆,王帅,
申请(专利权)人:贵州大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。