【技术实现步骤摘要】
联邦学习方法、装置、服务器、电子设备及可读存储介质
[0001]本公开涉及人工智能技术,尤其涉及深度学习、联邦学习领域。
技术介绍
[0002]联邦学习(Federated Learning,FL)可以在设备不传输原始数据的情况下,协同多个设备训练一个全局模型。
[0003]目前,联邦学习的训练过程通常对应多个回合,每个回个分别执行三个步骤,即服务器向选定的设备发送全局模型。选定的设备用本地数据更新全局模型,并将更新的模型上传到服务器。服务器用上传的模型进行模型聚合。其中,在联邦学习过程中,会通过剪枝(dropout)减少全局模型的大小,以减少通信和计算成本。
[0004]但是,现有技术中的剪枝技术不够智能,进而会导致全局模型的精度降低。
技术实现思路
[0005]本公开提供了一种联邦学习方法、装置、服务器、电子设备及可读存储介质,能够实现自适应随机剪枝,以改善现有技术中的剪枝技术不够智能而导致全局模型的精度降低的问题。
[0006]根据本公开的第一方面,提供了一种联邦学习方法,应用于联邦学习场景,联邦学习场景中包括N个电子设备和一个服务器,每个电子设备与服务器通信连接,N为正整数,该方法应用于服务器,包括:
[0007]接收来自每个电子设备的模型特征图,模型特征图是电子设备根据本地数据生成的。根据每个电子设备的模型特征图,获取每个电子设备对应的丢弃率。根据待训练的模型以及每个电子设备对应的丢弃率,生成每个电子设备对应的子模型。将子模型下发给对应的电子设备,以使得接收到 ...
【技术保护点】
【技术特征摘要】
1.一种联邦学习方法,应用于联邦学习场景,所述联邦学习场景中包括N个电子设备和一个服务器,每个所述电子设备与所述服务器通信连接,N为正整数,其特征在于,所述方法应用于所述服务器,所述方法包括:接收来自每个所述电子设备的模型特征图,所述模型特征图是所述电子设备根据本地数据生成的;根据每个所述电子设备的模型特征图,获取每个所述电子设备对应的丢弃率;根据待训练的模型以及每个所述电子设备对应的丢弃率,生成每个所述电子设备对应的子模型;将所述子模型下发给对应的所述电子设备,以使得接收到所述子模型的所述电子设备根据本地数据更新所述子模型;接收来自所述电子设备的更新后的子模型,根据接受到的每个所述更新后的子模型进行汇总,对所述待训练的模型进行更新。2.根据权利要求1所述的方法,其特征在于,在所述根据每个所述电子设备的模型特征图,获取每个所述电子设备对应的丢弃率之后,所述方法还包括:当对所述待训练的模型更新预设次数后,更新每个所述电子设备对应的丢弃率。3.根据权利要求2所述的方法,其特征在于,所述更新每个所述电子设备对应的丢弃率,包括:接受来自每个所述电子设备的预期丢弃率;根据每个所述电子设备的所述预期丢弃率,获取全局丢弃率;根据所述全局丢弃率更新每个所述电子设备对应的丢弃率。4.根据权利要求3所述的方法,其特征在于,所述根据每个所述电子设备的所述预期丢弃率,获取全局丢弃率,包括:根据每个所述电子设备的所述预期丢弃率,获取每个所述电子设备更新所述子模型的预期执行时间;根据最长的预期执行时间,更新每个所述电子设备的丢弃率,以使得每个所述电子设备的预期执行时间与所述最长的预期执行时间相同或相近;根据每个电子设备更新后的丢弃率,获取全局丢弃率。5.根据权利要求1
‑
4任一项所述的方法,其特征在于,所述将所述子模型下发给对应的所述电子设备,包括:根据预设的比例确定电子设备中的训练电子设备,所述训练电子设备为用于进行所述联邦学习的电子设备;下发每个所述训练电子设备对应的所述子模型,以使得接收到所述子模型的所述训练电子设备根据本地数据更新所述子模型。6.一种联邦学习方法,应用于联邦学习场景,所述联邦学习场景中包括N个电子设备和一个服务器,每个所述电子设备与所述服务器通信连接,N为正整数,其特征在于,所述方法应用于所述电子设备,所述方法包括:根据所述电子设备的本地数据,生成模型特征图;将所述模型特征图发送给所述服务器;接收所述服务器下发的子模型,所述子模型是所述服务器根据所述模型特征图获取到
的丢弃率和待训练的模型生成的;根据所述本地数据对所述子模型进行更新,得到更新后的子模型;将所述更新后的子模型发送给所述服务器。7.根据权利要求6所述的方法,其特征在于,所述根据所述电子设备的本地数据,生成模型特征图,包括:获取待训练模型;根据所述待训练模型和所述本地数据,生成所述模型特征图。8.根据权利要求6或7所述的方法,其特征在于,在所述得到更新后的子模型后,还包括:根据所述子模型的参数和所述更新后的子模型的参数,计算所述电子设备的预期丢弃率。9.一种联邦学习装置,应用于联邦学习场景,所述联邦学习场景中包括N个电子设备和一个服务器,每个所述电子设备与所述服务器通信连接,N为正整数,其特征在于,所述装置应用于所述服务器,所述装置包括:接收模块,用于接收来自每个所述电子设备的模型特征图,所述模型特征图是所述电子设备根据本地数据生成的;获取模块,用于根据每个所述电子设备的模型特征图,获取每个所述电子设备对应的丢弃率;生成模块,用于根据待训练的模型以及每个所述电子设备对应的丢弃率,生成每个所述电子设备对应的子模型;下发模块,用于将...
【专利技术属性】
技术研发人员:刘吉,李铄,窦德景,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。