【技术实现步骤摘要】
本专利技术属于机器学习,涉及一种联邦学习方法、系统及设备,具体涉及一种克服领域差异的公平联邦学习方法、系统及设备。
技术介绍
1、联邦学习是一种机器学习新范式,其产生的主要动因在于数据隐私保护和分布式数据处理的需求。在传统的中心化机器学习模式中,所有数据需要汇集到一个中心服务器上进行处理,这不仅涉及到对个人隐私的潜在风险,还可能面临数据传输和存储的巨大负担。联邦学习的核心思想是让多个参与者(即客户端)在本地训练模型,仅将模型参数而非原始数据发送至中心服务器进行汇总和同步,以此形成一个全局优化的模型并返还给各参与者进一步训练,如此循环。这种方法在理论上能够显著提高数据隐私性,并减少对中心服务器的数据处理和存储压力。
2、然而,在实际应用中,联邦学习面临着数据异质性的重大挑战。由于不同客户端(如手机、医院、金融机构等)所持有的数据往往来自不同的领域,且具有显著的特征分布差异,这种领域间的差异性给联邦学习带来了一系列的挑战。为了解决这种数据异构性问题,研究者们提出了多种方法。这些方法主要集中在优化模型的训练过程,使其能够适应不同数
...【技术保护点】
1.一种克服领域差异的公平联邦学习方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤1中,本地模型变化量定义为,其中,G表示参数的总数,表示本地模型wmt中第i个参数的变化量,记为梯度。
3.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤2中,第i个参数的在第t轮的梯度一致性表示其梯度的正负与其第1至n-1轮内正负的一致性比例,使用动态规划计算增量比例列表lm来实现:
4.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤3中,通过引入阈
...【技术特征摘要】
1.一种克服领域差异的公平联邦学习方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤1中,本地模型变化量定义为,其中,g表示参数的总数,表示本地模型wmt中第i个参数的变化量,记为梯度。
3.根据权利要求1所述的克服领域差异的公平联邦学习方法,其特征在于:步骤2中,第i个参数的在第t轮的梯度一致性表示其梯度的正负与其第1至n-1轮内正负的一致性比例,使用动态规划计算增量比例列表lm来实现:
4.根据权利要求1所述的克服领域差异的公平联邦学习方法,...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。