【技术实现步骤摘要】
联邦学习方法和装置、系统、电子设备、计算机可读介质
[0001]本公开涉及计算机
,具体涉及大数据、深度学习等
,尤其涉及一种联邦学习方法和装置、系统、电子设备、计算机可读存储介质以及计算机程序产品。
技术介绍
[0002]近年来,在终端用户的多个设备中出现了大量的分散数据,而由于法律法规,分散数据的聚合对于机器学习工作仍然很困难。联邦学习(Federated machine learning,FL)是一种有效的方法,不共享敏感的原始数据,同时多个终端协作训练全局机器学习模型。
[0003]目前的FL解决方案专注于单任务或多任务的作业,而对于多个FL作业同时训练仍然是一个有待解决的问题。
技术实现思路
[0004]本公开提供了一种联邦学习方法和装置、系统、电子设备、计算机可读存储介质以及计算机程序产品。
[0005]根据第一方面,提供了一种联邦学习方法,该方法包括:针对同一时间训练的多个不同任务中的各任务,产生该任务的全局模型;接收当前可用终端集合中各个可用终端的资源信息;基于资源 ...
【技术保护点】
【技术特征摘要】
1.一种联邦学习方法,所述方法包括:针对同一时间训练的多个不同任务中的各任务,产生该任务的全局模型;接收当前可用终端集合中各个可用终端的资源信息;基于所述资源信息、所述全局模型,从当前可用终端集合中选择该任务对应的目标终端;通过所述目标终端对所述全局模型进行训练,直至该任务训练后的全局模型满足预设条件为止。2.根据权利要求1所述的方法,其中,所述通过所述目标终端对所述全局模型进行训练,直至该任务训练后的全局模型满足预设条件为止,包括:将所述全局模型下发至所述目标终端,以使所述目标终端对所述全局模型进行本地训练,得到模型参数;接收所述目标终端返回的模型参数,对所述模型参数进行聚合,得到更新后的全局模型;响应于更新后的全局模型满足预设条件,确定该任务训练后的全局模型满足预设条件。3.根据权利要求2所述的方法,所述方法还包括:响应于更新后的全局模型不满足预设条件,采用更新后的全局模型替换所述全局模型,继续接收当前可用终端集合中各个可用终端的资源信息,基于所述资源信息、所述全局模型,从当前可用终端集合中选择该任务对应的目标终端;将所述全局模型下发至所述目标终端,接收所述目标终端返回的模型参数,对所述模型参数进行聚合,得到更新后的全局模型,直至更新后的全局模型满足预设条件为止。4.根据权利要求1所述的方法,其中,所述基于所述资源信息、所述全局模型,从当前可用终端集合中选择该任务对应的目标终端,包括:将当前可用终端集合、当前可用终端集合的资源信息、所述全局模型的参数输入预先训练完成的深度学习模型,得到所述深度学习模型输出的、该任务对应的目标终端信息,所述目标终端信息用于表征当前可用终端集合中各个可用终端可被调用的概率;其中,所述深度学习模型用于表征全局模型的参数、可用终端集合、可用终端集合中各个可用终端的资源信息三者与目标终端信息之间对应关系;基于所述目标终端信息,从当前可用终端集合中选择该任务对应的目标终端。5.根据权利要求4所述的方法,所述深度学习模型采用如下训练步骤训练得到:获取多个任务对应的样本终端以及各个样本终端的资源信息;将多个任务中各个任务在各轮迭代训练时对应的样本终端、各个样本终端的资源信息、全局模型的参数输入预先构建的深度学习网络,得到所述深度学习网络输出的目标终端信息;响应于所述深度学习网络的损失函数的损失值达到预设的损失值,得到深度学习模型。6.根据权利要求5所述的方法,其中,所述深度学习网络的损失函数包括:时间损失函数和数据公平性损失函数;所述时间损失函数用于表征该任务对应的全局模型每轮迭代训练时调用的终端的执
行时间长短的损失;所述数据公平性损失函数用于表征该任务对应的全局模型每轮迭代训练时调用的终端的频率的方差的损失。7.一种联邦学习装置,所述装置包括:产生单元,被配置成针对同一时间训练的多个不同任务中的各任务,产生该任务的全局模型;接收单元,被配置成接收当前可用终端集合中各个可用终端的资源信息;选择单元,被配置成基于所述资源信息、所述全局模型,从当前可用终端集合中选择该任务对应的目标终端;训练单元,被配置成通过所述目标终端对所述全局模型进行训练,直至该任务训练后的全局模型满足预设条件为止。8.根据权利要求7所述的装置...
【专利技术属性】
技术研发人员:刘吉,马北辰,周晨娣,周景博,周瑞璞,窦德景,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。