基于联邦分裂学习的模型训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43349455 阅读:26 留言:0更新日期:2024-11-15 20:49
本申请提供一种基于联邦分裂学习的模型训练方法、装置、电子设备及存储介质,属于数据处理技术领域,方法包括:在联邦分裂学习的模型训练中,将参与同一联邦分裂学习的模型训练的客户端进行用户组划分;根据每一用户组中每一客户端上传的第一模型更新信息,分别确定相应客户端的信用评分;根据每一客户端的信用评分、当前更新权重以及同组中其他客户端的信用评分,分别确定相应客户端的目标更新权重;分别根据每一用户组中各客户端的目标更新权重及第一模型更新信息进行加权运算,得到相应用户组的第二模型更新信息;基于各第二模型更新信息进行信息聚合,得到全局模型的目标模型更新信息。本申请可以提高基于联邦分裂学习的模型训练时的安全性。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种基于联邦分裂学习的模型训练方法、装置、电子设备及存储介质


技术介绍

1、随着元宇宙、聊天生成预训练转换器(chat generative pre-trainedtransformer,chatgpt)等人工智能内容生成应用的蓬勃发展,智能业务模型的复杂度指数级提升,对算力和数据的需求也随之增加。联邦分裂学习作为一种新型的协同计算方案,因其能够在保护数据隐私的同时实现模型训练,而受到广泛关注。然而,随着参与者数量的增加,系统的安全问题也日益突出。梯度逆转、数据污染、模型中毒等恶意攻击行为严重威胁训练过程的安全性和效率。

2、当前无法对梯度逆转、数据污染、模型中毒等恶意攻击行为进行防御,导致当前进行基于联邦分裂学习的模型训练时安全性低下。


技术实现思路

1、本申请提供一种基于联邦分裂学习的模型训练方法、装置、电子设备及存储介质,用以解决现有技术中进行基于联邦分裂学习的模型训练时安全性低下的缺陷,实现提高基于联邦分裂学习的模型训练安全性。

>2、本申请提供一种本文档来自技高网...

【技术保护点】

1.一种基于联邦分裂学习的模型训练方法,其特征在于,在每一轮联邦分裂学习的模型训练中,包括:

2.根据权利要求1所述的基于联邦分裂学习的模型训练方法,其特征在于,在根据每一客户端的信用评分、当前更新权重以及相同用户组中其他客户端的信用评分,分别确定相应客户端的目标更新权重时,针对每一客户端,分别执行如下操作:

3.根据权利要求2所述的基于联邦分裂学习的模型训练方法,其特征在于,所述根据当前客户端的信用评分与当前客户端对应用户组中其他客户端的信用评分,确定当前客户端的缩放系数,包括:

4.根据权利要求2所述的基于联邦分裂学习的模型训练方法,其特征在于,所...

【技术特征摘要】

1.一种基于联邦分裂学习的模型训练方法,其特征在于,在每一轮联邦分裂学习的模型训练中,包括:

2.根据权利要求1所述的基于联邦分裂学习的模型训练方法,其特征在于,在根据每一客户端的信用评分、当前更新权重以及相同用户组中其他客户端的信用评分,分别确定相应客户端的目标更新权重时,针对每一客户端,分别执行如下操作:

3.根据权利要求2所述的基于联邦分裂学习的模型训练方法,其特征在于,所述根据当前客户端的信用评分与当前客户端对应用户组中其他客户端的信用评分,确定当前客户端的缩放系数,包括:

4.根据权利要求2所述的基于联邦分裂学习的模型训练方法,其特征在于,所述基于当前客户端的缩放系数、当前更新权重与当前更新权重对应的损失信息,确定当前客户端的目标更新权重,包括:

5.根据权利要求1所述的基于联邦分裂学习的模型训练方法,其特征在于,在根据每一用户组中每一客户端上传的本地模型的第一模型...

【专利技术属性】
技术研发人员:周赞孙溢许长桥杨树杰刘志远黄思喆
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1