当前位置: 首页 > 专利查询>贵州大学专利>正文

一种成员推理攻击防御方法、装置、设备及储介质制造方法及图纸

技术编号:39040830 阅读:48 留言:0更新日期:2023-10-10 11:53
本申请提供一种成员推理攻击防御方法、装置、设备及储介质,包括:根据隐私数据集训练教师模型,采用动态调整损失目标算法,调整目标模型;动态调整损失目标算法包括:将测试数据在目标模型每轮的反馈结果与RelaxLoss技术结合,保证方法适用范围广;利用知识蒸馏技术保证模型能正常拟合;通过训练数据的表现来动态优化学生模型的学习路径问题,提高模型抗攻击的能力;根据损失目标的不断迭代优化,实现成员推理防御;判定结果包括:无法判断数据属于训练数据集或测试数据集,从而解决了传统的正则化方法注重模型的效用能力,无法有效的解决模型的隐私安全问题,以及针对成员推理攻击的正则化方法,由于损失目标受到限制,无法得到普及与推广的技术问题。普及与推广的技术问题。普及与推广的技术问题。

【技术实现步骤摘要】
一种成员推理攻击防御方法、装置、设备及储介质


[0001]本申请涉及机器学习
,尤其涉及一种成员推理攻击防御方法、装置、设备及储介质。

技术介绍

[0002]随着机器学习迅速发展,这使得它能够在无人驾驶、图像生成等关键应用场景中得到部署。由于机器学习的基础设备昂贵,人员成本过高,因此无法得到大范围的推广和普及。机器学习即服务针对这个痛点应运而生。在机器学习即服务中,用户无需拥有昂贵的设备和优质的人才,只需将数据上传给云端,云端就可以基于上传的数据帮助用户解决数据预处理、模型训练、模型评估等一系列问题,极大的降低了机器学习的门槛,并为私人化定制模型提供了可能。它不仅可以帮助没有数据科学经验的用户快速训练并部署模型,还可以将经过训练的模型挂到平台上进行租赁,供给外部用户进行在线使用并收取单次访问费用。近期有研究表明模型具有记忆性,这供给外部用户访问的模型受到了严重的隐私威胁。
[0003]成员推理攻击是一种针对数据隐私的攻击方法,其目的是确定特定样本是否参与了模型训练。在最早机器学习即服务下的成员推理攻击中,攻击者在分类模型的黑盒场景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种成员推理攻击防御方法,其特征在于,包括:S1、初始化参数,其中温度T=1,预设损失目标值α=1,β=0.5;S2、基于私有数据集训练教师模型f
t
(θ),其中x表示训练样本的特征向量,y表示样本标签,θ表示目标模型的参数;S3、基于所述私有数据集训练学生模型f
s
(θ),并基于前项传播y`=f
s
(θ,x)在训练的过程中计算每一个回合中计算模型的交叉熵损失值L以及训练的准确率其中N表示一轮的训练数据,N
t
表示一轮训练中模型预测正确的个数;S4、在每一个回合结束时,将测试数据集D
test
放入所述学生模型f
s
(θ)中进行测试,并计算每一轮所述测试数据集D
test
的平均损失值,其中,x
t
表示测试数据集特征,y
t
表示测试数据集对应标签,是损失函数;S5、在模型下一轮训练时将模型的交叉熵损失值与预设损失目标α时进行比较;S6、当所述交叉熵损失值大于所述预设损失目标值α时,所述模型的梯度下降;S7、当所述交叉熵损失值小于所述预设损失目标值α时,基于知识蒸馏技术计算每一轮训练的准确率以及损失函数;S8、根据所述准确率以及所述所述平均损失值更新所述参数。2.根据权利要求1所述的成员推理攻击防御方法,其特征在于,所述步骤S7具体包括:当所述交叉熵损失值小于所述预设损失目标值α时,将当前的训练轮次epoch与所述温度T相减,得到现有温度T
c
;将训练样本x与所述现有温度T
c
作为所述教师模型f
t
(θ)的输入,得到教师模型标签y
t
,其中所述教师模型的输出结果由softmax函数计算得到,具体为:其中为logits作为softmax的输入,q
i
对应着每个类别输出的概率,T代表温度;通过所述样本标签y以及所述前项传播y`计算交叉熵通过所述样本标签y以及所述教师模型标签y
t
计算KL散度计算损失函数3.根据权利要求2所述的成员推理攻击防御方法,其特征在于,所述步骤S8具体包括:根据所述准确率以及所述所述平均损失值更新所述参数,其中,温度T=T+1,预设损失目标值βtrain
acc
。4.一种成员推理攻击防御装置,其特征在于,包括:初始化单元,用于初始化参数,其中温度T=1,预设损失目标值α=1,β=0.5;第一训练单元,用于基于私有数据集训练教师模型f
t
(θ),其中x表示训练样本的特征向量,y表示样本标签,θ表示目标模...

【专利技术属性】
技术研发人员:田有亮马曦华丁泽华何清怡杨庆王帅
申请(专利权)人:贵州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1