基于联邦学习的模型训练方法、系统技术方案

技术编号:42456563 阅读:18 留言:0更新日期:2024-08-21 12:46
本申请公开了一种基于联邦学习的模型训练方法、系统。包括:在模型训练的每个训练批次中,获取服务器下发的全局模型参数和全局类别中心集合,并确定本地数据集;基于本地数据集、全局模型参数和全局类别中心集合确定本地模型的局部优化函数,其中,局部优化函数包括类别分类损失函数和分布对齐损失函数;基于局部优化函数对本地模型的第一局部模型参数和第一局部类别中心集合进行更新,得到更新后的第二局部模型参数和第二局部类别中心集合,并将第二局部模型参数和第二局部类别中心集合上传至服务器。本申请解决了由于联邦学习算法无法有效地处理数据分布异构问题,导致最终所训练的全局模型的性能较差的技术问题。

【技术实现步骤摘要】

本申请涉及机器学习,具体而言,涉及一种基于联邦学习的模型训练方法、系统


技术介绍

1、随着机器学习技术的飞速发展,其已经被广泛应用于医疗、金融和工业制造等多个领域。通常机器学习技术是将数据收集至服务器,然后进行统一建模和训练,但这种集中式建模和训练的方式存在数据隐私泄漏的风险,且随着公众对数据隐私的广泛关注,机器学习技术潜在的数据隐私泄漏风险变得愈加不可忽视。

2、为此,联邦学习技术应运而生,其旨在通过数据不动、模型动的策略对数据隐私进行保护,可以理解为,联邦学习技术采用分布式建模和训练的方式,以联合多个参与方共同训练一个统一的全局模型。然而,尽管联邦学习技术在保护数据隐私方面取得了一定进展,但由于实际场景的复杂性,参与联邦学习的各个参与方往往面临着数据质量和数量参差不齐的问题,进而导致了严重的数据分布异构挑战。针对该问题,相关技术人员主要采用如下三种方案进行解决,分别是:优化局部模型训练、优化全局模型聚合、引入额外数据,其中,优化局部模型训练的方式侧重于在局部训练过程中添加额外的正则项,然而这种方式可能会对全局模型收敛性造成一定的影响,并造本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取服务器下发的全局模型参数和全局类别中心集合,并确定本地数据集,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述本地数据集、所述全局模型参数和所述全局类别中心集合确定所述本地模型的局部优化函数,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述第一模型参数、所述第二模型参数和所述本地数据集确定所述类别分类损失函数,包括:

5.根据权利要求3所述的方法,其特征在于,基于所述第一模型参数、所述本地数据集和所述全局类别中心集合确定...

【技术特征摘要】

1.一种基于联邦学习的模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取服务器下发的全局模型参数和全局类别中心集合,并确定本地数据集,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述本地数据集、所述全局模型参数和所述全局类别中心集合确定所述本地模型的局部优化函数,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述第一模型参数、所述第二模型参数和所述本地数据集确定所述类别分类损失函数,包括:

5.根据权利要求3所述的方法,其特征在于,基于所述第一模型参数、所述本地数据集和所述全局类别中心集合确定所述分布对齐损失函数,包括:

6.根据权利要求3所述的方法,其特征在于,基于所述第一模型参数、所述本地数...

【专利技术属性】
技术研发人员:姚远焦臻桢张素金键曾西平
申请(专利权)人:北京泰尔英福科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1