基于维度选择与压缩恢复的差分隐私在线联邦学习方法技术

技术编号:43338387 阅读:45 留言:0更新日期:2024-11-15 20:33
本发明专利技术基于维度选择与压缩恢复的差分隐私在线联邦学习方法,其使用维度选择的方法解决在线联邦学习中差分隐私机制的效用性问题。本发明专利技术通过引入本地梯度缓冲池累计本地模型的梯度,使用基于指数机制的维度选择算法,划分一部分隐私预算用于估计top‑k维度的真实值,从而在中心服务器端更有效地对被采样的本地模型变化量进行恢复,得到更加准确的全局模型变化量。本发明专利技术提升了一定差分隐私保证下的在线联邦学习的效用性。

【技术实现步骤摘要】

本专利技术属于隐私计算和数据安全领域,具体涉及一种基于维度选择与压缩恢复的差分隐私在线联邦学习方法


技术介绍

1、随着移动智能设备的快速普及,云计算、物联网、大数据等技术不断发展,基于各种来源的隐私数据(如医疗图像数据、银行金融数据等)进行数据分析、挖掘以及模型训练已经越来越常见。但是,这类隐私数据的原始数据中蕴含着大量的敏感信息,直接发布此类数据会造成严重的数据隐私和安全问题。为保护用户隐私和数据安全,当前已有相关法律法规禁止数据拥有者随意获取和发布用户隐私数据。这就产生了一个个“数据孤岛”,这极大地阻碍了深度学习、人工智能等的发展。总之,如何在各种数据分析手段中保护用户的隐私已成为当前需要解决的一个重要问题。

2、联邦学习,作为一种新的分布式机器学习范式,可以使多个客户端在中心服务器的组织下共同训练模型,且训练数据不离开客户端本地。相比于传统的集中式机器学习,联邦学习中的中心服务器无需收集全部用户的原始数据,能够相对地保护用户的隐私。但是当前仍有研究表明,仅使用联邦学习仍可能会导致用户的隐私在训练过程中泄露。差分隐私是一种通过扰动数据从而本文档来自技高网...

【技术保护点】

1.基于维度选择与压缩恢复的差分隐私在线联邦学习方法,其特征在于,所述方法在中心服务器和多个客户端上运行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,步骤1中,中心服务器和客户端进行初始化,中心服务器初始化全局模型m,全局维度恢复系数γ,并将全局模型下发给所有的客户端,客户端设置本地的上次采样时间记录t′。

3.根据权利要求1所述的方法,其特征在于,步骤2中,中心服务器基于主成分分析对全局模型进行降维,得到降维后的嵌入表示,将降维后的嵌入表示和当前可参与联邦学习的客户端数作为DQN强化学习模型的输入,得到本轮采样间隔τt和客户端采样数φt,根据客户端...

【技术特征摘要】

1.基于维度选择与压缩恢复的差分隐私在线联邦学习方法,其特征在于,所述方法在中心服务器和多个客户端上运行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,步骤1中,中心服务器和客户端进行初始化,中心服务器初始化全局模型m,全局维度恢复系数γ,并将全局模型下发给所有的客户端,客户端设置本地的上次采样时间记录t′。

3.根据权利要求1所述的方法,其特征在于,步骤2中,中心服务器基于主成分分析对全局模型进行降维,得到降维后的嵌入表示,将降维后的嵌入表示和当前可参与联邦学习的客户端数作为dqn强化学习模型的输入,得到本轮采样间隔τt和客户端采样数φt,根据客户端采样数φt随机选择φt个客户端得到被选中的客户端。

4.根据权利要求1所述的方法,其特征在于,步骤3中,客户端从中心服务器得到全局模型,将本地模型与全局模型同步,客户端基于本地的t-τt到t时刻的数据使用梯度下降法训练本地模型,使用本地模型训练后的参数减去本地模型训练前的参数,得到本地模型变化量为训练后的本地模型,为训练前的本地模型。

5.根据权利要求1所述的方法,其特征在于,步骤4中,被选中的客户端将模型参数累计到客户端的本地梯度缓冲池中:

6.根据权利要求1所述的方法,其特征在于,步骤5中,...

【专利技术属性】
技术研发人员:董贇陈昭利任雪斌张丽媛王杨逸飞蒙志鹏杨树森蒙琦刘凯杰林子健
申请(专利权)人:广西电网有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1