当前位置: 首页 > 专利查询>武汉大学专利>正文

一种克服领域差异的公平联邦学习方法、系统及设备技术方案

技术编号:41748025 阅读:27 留言:0更新日期:2024-06-21 21:33
本发明专利技术公开了一种克服领域差异的公平联邦学习方法、系统及设备,首先进行本地模型更新;然后计算本地模型的每一个参数的梯度一致性程度,其中,梯度一致性表示当前轮次梯度正负与客户端历史更新梯度正负的一致性比例;接着基于参数的梯度一致性来判定参数的重要性,选择保留重要参数,忽略不重要参数;计算无偏的本地模型聚合权重;最后基于参数的重要性及无偏的本地模型聚合权重,进行本地模型聚合。本发明专利技术是一种既能有效应对领域差异带来的挑战,又能增强整体性能和公平性的联邦学习方法。

【技术实现步骤摘要】

本专利技术属于机器学习,涉及一种联邦学习方法、系统及设备,具体涉及一种克服领域差异的公平联邦学习方法、系统及设备


技术介绍

1、联邦学习是一种机器学习新范式,其产生的主要动因在于数据隐私保护和分布式数据处理的需求。在传统的中心化机器学习模式中,所有数据需要汇集到一个中心服务器上进行处理,这不仅涉及到对个人隐私的潜在风险,还可能面临数据传输和存储的巨大负担。联邦学习的核心思想是让多个参与者(即客户端)在本地训练模型,仅将模型参数而非原始数据发送至中心服务器进行汇总和同步,以此形成一个全局优化的模型并返还给各参与者进一步训练,如此循环。这种方法在理论上能够显著提高数据隐私性,并减少对中心服务器的数据处理和存储压力。

2、然而,在实际应用中,联邦学习面临着数据异质性的重大挑战。由于不同客户端(如手机、医院、金融机构等)所持有的数据往往来自不同的领域,且具有显著的特征分布差异,这种领域间的差异性给联邦学习带来了一系列的挑战。为了解决这种数据异构性问题,研究者们提出了多种方法。这些方法主要集中在优化模型的训练过程,使其能够适应不同数据源的特性,比如通过本文档来自技高网...

【技术保护点】

1.一种克服领域差异的公平联邦学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤1中,本地模型变化量定义为,其中,G表示参数的总数,表示本地模型wmt中第i个参数的变化量,记为梯度。

3.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤2中,第i个参数的在第t轮的梯度一致性表示其梯度的正负与其第1至n-1轮内正负的一致性比例,使用动态规划计算增量比例列表lm来实现:

4.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤3中,通过引入阈值超参数,客户端m第...

【技术特征摘要】

1.一种克服领域差异的公平联邦学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤1中,本地模型变化量定义为,其中,g表示参数的总数,表示本地模型wmt中第i个参数的变化量,记为梯度。

3.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤2中,第i个参数的在第t轮的梯度一致性表示其梯度的正负与其第1至n-1轮内正负的一致性比例,使用动态规划计算增量比例列表lm来实现:

4.根据权利要求1所述的克服领域差异的公平联邦学习方法,...

【专利技术属性】
技术研发人员:叶茫陈宇航黄文柯
申请(专利权)人:武汉大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1