一种用于云际联邦学习的客户端模型聚合方法及相关系统技术方案

技术编号:40085237 阅读:20 留言:0更新日期:2024-01-23 15:21
本发明专利技术公开了一种用于云际联邦学习的客户端模型聚合方法及相关系统,在每一轮联邦学习训练中云服务商在本地完成本地模型的训练,利用训练得到的模型参数进行组内和组间模型参数的差异性计算,然后计算组间差异与组内差异之间的绝对差距得到差异因子。根据确定的收敛阈值选择差异因子大于阈值的客户端参与下一轮联邦学习训练;解决了现有分布式云际计算缺乏隐私保护,在高异构客户端的云际联邦学习模型训练中,收敛效率和模型精度低下的问题。通过在每一轮联邦学习训练中筛选有益于加速模型收敛的客户端参与训练,本发明专利技术能实现高效的全局模型聚合,同时分别适配中心服务端及各个云服务商模型的训练数据和系统性能,保证模型的准确性和训练效率。

【技术实现步骤摘要】

本专利技术属于云际计算管理,具体涉及一种用于云际联邦学习的客户端模型聚合方法及相关系统


技术介绍

1、随着云计算技术的不断发展,云际计算逐渐成为一种新型的计算模式。与传统的云计算相比,云际计算可以更好地支持云服务提供者之间开放协作、多方云资源深度融合。然而,随着云际计算技术的发展,数据隐私保护问题也愈发凸显。在联邦云际计算中,数据分别被不同云服务商持有,云服务商之间并不进行数据交换,因此数据隐私得到了较好保护。但是,由于不同云服务商在训练数据和系统能力上具有高度异构性,让所有云服务商模型参与每一轮联邦学习训练会极大地降低模型训练收敛效率(即straggler problem),且容易造成模型偏移问题(即client drift),从而降低训练模型的精度。因此,如何在保护云际联邦学习隐私的前提下,加快全局模型训练的收敛速度和提高模型精度是一个亟待解决的问题。


技术实现思路

1、本专利技术的目的在于提供一种用于云际联邦学习的客户端模型聚合方法及系统,以克服现有分布式云际计算缺乏隐私保护,以及在高异构客户端的云际本文档来自技高网...

【技术保护点】

1.一种用于云际联邦学习的客户端模型聚合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种用于云际联邦学习的客户端模型聚合方法,其特征在于,中心服务器计算各云服务商自身相邻两次训练得到的本地模型参数的组内差异,具体为:Δωi(τ)=ωi(τ)-ωi(τ-1),其中,τ为训练轮次;ωi(τ)表示第i个云服务商在完成第τ轮训练后得到的本地模型参数;ωi(τ-1)表示第i个云服务商在完成第τ-1轮训练后得到的本地模型参数。

3.根据权利要求1所述的一种用于云际联邦学习的客户端模型聚合方法,其特征在于,各服务商之间关于当前训练得到的本地模型参数的组间差异,具体...

【技术特征摘要】

1.一种用于云际联邦学习的客户端模型聚合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种用于云际联邦学习的客户端模型聚合方法,其特征在于,中心服务器计算各云服务商自身相邻两次训练得到的本地模型参数的组内差异,具体为:δωi(τ)=ωi(τ)-ωi(τ-1),其中,τ为训练轮次;ωi(τ)表示第i个云服务商在完成第τ轮训练后得到的本地模型参数;ωi(τ-1)表示第i个云服务商在完成第τ-1轮训练后得到的本地模型参数。

3.根据权利要求1所述的一种用于云际联邦学习的客户端模型聚合方法,其特征在于,各服务商之间关于当前训练得到的本地模型参数的组间差异,具体为:其中,ωi(τ)和ωj(τ)分别代表第i个和第j个云服务商在完成第τ轮训练后得到本地模型参数,n表示云服务商的总数。

4.根据权利要求1所述的一种用于云际联邦学习的客户端模型聚合方法,其特征在于,通过计算各云服务商的组间差异与组内差异之间的绝对差距得到差异因子,具体为:

5.根据权利要求1所述的一种用于云际联邦学习的客户端模型...

【专利技术属性】
技术研发人员:言浬岳高峰
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1