当前位置: 首页 > 专利查询>东南大学专利>正文

一种数据异构场景下客户端层面的加速自适应联邦学习算法制造技术

技术编号:41420131 阅读:14 留言:0更新日期:2024-05-28 20:21
本发明专利技术涉及一种数据异构场景下客户端层面的加速自适应联邦学习算法,具体如下:步骤1:初始化要训练的模型结构以及超参数,步骤2:中心服务器随机挑选客户端并下发全局模型和全局步长,客户端利用随机梯度下降方法对本地模型更新,步骤3:客户端根据本地李普希兹值动态调整本地步长的大小,并将本地模型和本地步长上传至中心服务器,步骤4:服务端通过本地步长调整本地模型的贡献度,对收到的本地模型进行聚合。之后进行下一个通信周期的迭代,当通信周期达到设定的阈值T时停止训练,得到最终的全局模型。本专利提出的技术方法在解决客户端漂移问题的同时还可以减少通信成本,并且算法框架完全基于传统联邦学习框架,具有较强的可扩展性。

【技术实现步骤摘要】

本专利技术涉及一种数据异构场景下客户端层面的加速自适应联邦学习算法,属于人工智能、分布式系统和隐私保护。


技术介绍

1、随着信息技术的不断发展,以物联网、社交网络为主的各类智能设备和终端应用产生的数据量和数据细节大大增加,数据中潜在的隐私信息越来越多。并且,在分布式系统中,数据的网络传输过程容易存在被窃听或者篡改的风险,这使得数据直接传输所带来的隐私泄露风险越来越大。

2、作为一种新兴的分布式机器学习框架,联合学习由于其隐私保护效果而越来越受到关注。然而,在实际应用中,参与联邦学习的不同客户端之间的数据往往是异构的,从而可能出现“客户端漂移”现象。在数据异构场景中,“客户端漂移”现象会使一些参与联邦学习的客户端的本地模型过度偏移全局模型,从而在全局聚合时降低全局模型的效用。这种现象需要额外的通信时间来确保全局模型的性能,甚至无法收敛,从而增加了联邦学习的成本。

3、针对这些挑战,已经有了很多对应的技术研究。但是这些技术方法都需要通过增加通信成本的方式来缓解“客户端漂移”带来的影响,或者需要在原有的联邦学习框架上新增其他方法。同时,主本文档来自技高网...

【技术保护点】

1.一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于:所述步骤2中,中心服务器不仅要发送当前的全局模型wt发送给客户端,还要发送全局步长ηt。

3.如权利要求2所述的一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于:所述步骤2中,客户端i进行随机梯度下降更新本地模型的规则如下:

4.如权利要求3所述的一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于:所述步骤2中,本地客户端是具有存储能力的,需要...

【技术特征摘要】

1.一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于:所述步骤2中,中心服务器不仅要发送当前的全局模型wt发送给客户端,还要发送全局步长ηt。

3.如权利要求2所述的一种数据异构场景下客户端层面的加速自适应联邦学习算法,其特征在于:所述步骤2中,客户端i进行随机梯度下降更新本地模型的规则如下:

4.如权利要求3所述的一种数据...

【专利技术属性】
技术研发人员:曹向辉牛睿斌王祎帆杨超群
申请(专利权)人:东南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1