联邦学习方法、装置、电子设备和计算机可读存储介质制造方法及图纸

技术编号:40009348 阅读:19 留言:0更新日期:2024-01-16 15:01
本申请提供一种联邦学习方法、装置、电子设备和计算机可读存储介质,涉及计算机与互联网技术领域。该方法包括:获取多个参与节点的算力信息;根据算力信息确定各个参与节点训练目标网络模型的训练时长;根据训练时长对多个参与节点进行分组处理以生成多个参与节点分组,其中每个参与节点分组对应的训练总时长相等;将目标网络模型下发给各个参与节点分组,以便各个参与节点分组中对目标网络模型进行串行训练;从各个参与节点分组接收串行训练完成后的目标网络模型,以便对各个参与节点分组上传的目标网络模型进行参数聚合。本申请实施例可以减少联邦学习过程中对通信资源的占用。

【技术实现步骤摘要】

本申请涉及计算机与互联网,尤其涉及一种联邦学习方法、装置、电子设备和计算机可读存储介质


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、联邦学习中存在两类通信场景:上行通信和下行通信。上行通信指的是参与节点(如客户端)将本地模型上传给中心节点(如服务器)的过程,而下行通信是指参与节点(如客户端)从中心节点(如服务器)下载全局模型的过程。

3、当前多数联邦学习算法都在理想的网络环境下开展研究,忽略了上下行通信和下行通信对网络资源的消耗(如对宽度的消耗、通信时长的消耗等)。然而,在更为实际的环境中,尤其是模型参数多、参与节点数量众多的场景下,联邦学习面临比较严峻的网络问题。一方面,在下行通信中的中心节点(如服务器)要向众多参与节点(如客户端)同时下发相同的全局模型,形成大量数据副本,造成不必要的带宽占用和资源浪费;另一方面,上行参与节点(如客户端)各自上传本地结果,而一次全局模型训练速度由最慢的设备决定,不仅会在中心节点(如服务器)侧产生大量等待时延,本文档来自技高网...

【技术保护点】

1.一种联邦学习方法,其特征在于,应用于中心节点,所述方法包括:

2.根据权利要求1所述方法,其特征在于,根据所述训练时长对所述多个参与节点进行分组处理以生成多个参与节点分组,包括:

3.根据权利要求2所述方法,其特征在于,所述多个参与节点包括第一参与节点和第二参与节点和第三参与节点,其中所述多个参与节点分组包括第一参与节点分组和第二参与节点分组;其中,根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组,以使得各个参与节点分组对应的训练总时长等于所述分组平均时长,包括:

4.根据权利要求1所述方法,其特征在于,所述多个参与节点分组...

【技术特征摘要】

1.一种联邦学习方法,其特征在于,应用于中心节点,所述方法包括:

2.根据权利要求1所述方法,其特征在于,根据所述训练时长对所述多个参与节点进行分组处理以生成多个参与节点分组,包括:

3.根据权利要求2所述方法,其特征在于,所述多个参与节点包括第一参与节点和第二参与节点和第三参与节点,其中所述多个参与节点分组包括第一参与节点分组和第二参与节点分组;其中,根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组,以使得各个参与节点分组对应的训练总时长等于所述分组平均时长,包括:

4.根据权利要求1所述方法,其特征在于,所述多个参与节点分组包括第三参与节点分组;其中,所述方法还包括:

5.根据权利要求4所述方法,其特征在于,根据所述网络拓扑信息确定所述第三参与节点分组中路由跳数最短的第一串行路径,包括:

6.根据...

【专利技术属性】
技术研发人员:卫敏赵倩颖叶平张妍
申请(专利权)人:中国电信股份有限公司技术创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1