当前位置: 首页 > 专利查询>同济大学专利>正文

一种缓解数据异质性的联邦机器学习聚合方法技术

技术编号:40921202 阅读:29 留言:0更新日期:2024-04-18 14:46
本发明专利技术属于人工智能联邦学习领域,尤其涉及联邦学习中的数据异质性问题。提供了一种缓解数据异质性的联邦机器学习聚合方法,该方法综合当前和历史的参数情况,计算出减少异质性数据干扰的全局参数值。在联邦学习的每轮迭代训练后,中心服务器根据接收到的用户本地模型参数,使用影响力系数来综合当前梯度节点聚合策略和历史梯度聚合策略,进行聚合,从而得到新的全局参数。服务器将新的全局参数下发给所有用户,每个用户根据接收到的中心模型参数进行下一轮的模型参数训练。相比于传统的聚合方法,该方法可显著降低数据异质性导致的模型参数误差。

【技术实现步骤摘要】

本专利技术属于人工智能联邦学习领域,尤其涉及联邦学习中的数据异质性问题。


技术介绍

1、联邦学习(federated learning)是一种分布式机器学习技术,其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练,在不需要交换本地个体或样本数据的前提下,仅通过交换模型参数或中间结果的方式,构建基于虚拟融合数据下的全局模型,从而实现数据隐私保护和数据共享计算的平衡,即“数据可用不可见”、“数据不动模型动”的应用新范式。

2、联邦机器学习算法是在分散的用户处通过用户的本地数据和中心服务器下发的数据训练和维护本地模型,并定期将本地模型参数传输到中心服务器。中心服务器通过某种方法对来自不同用户的模型参数进行聚合得到中心模型参数,再将中心模型参数下发给各用户用于其本地模型的更新。

3、自联邦学习方法问世以来,数据异质性问题的困扰就一直存在,如果在聚合不同客户端的本地模型时不加区分,会因为数据异质性导致整体的训练效果变差。因此,需要设计合理有效的方法应对联邦学习中的数据异质性问题,以提升训练的整体效果。多年来研究人员提出了大量的算本文档来自技高网...

【技术保护点】

1.一种缓解数据异质性的联邦机器学习聚合方法,其特征在于,该方法包括如下步骤:

2.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述步骤2中聚合收到的本地模型参数得到新的全局参数的方法为:

3.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述步骤2.1中计算当前梯度节点聚合权重ρi的方法为:

4.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述步骤2.2中计算历史偏离修正系数σi的方法为:

5.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述步骤...

【技术特征摘要】

1.一种缓解数据异质性的联邦机器学习聚合方法,其特征在于,该方法包括如下步骤:

2.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述步骤2中聚合收到的本地模型参数得到新的全局参数的方法为:

3.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法,其特征在于,所述...

【专利技术属性】
技术研发人员:朱亚萍王琛代玉琢邱颖
申请(专利权)人:同济大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1