【技术实现步骤摘要】
本申请涉及计算机与互联网，尤其涉及一种联邦学习方法、装置、电子设备和计算机可读存储介质。
技术介绍
1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、联邦学习中存在两类通信场景：上行通信和下行通信。上行通信指的是参与节点(如客户端)将本地模型上传给中心节点(如服务器)的过程，而下行通信是指参与节点(如客户端)从中心节点(如服务器)下载全局模型的过程。
3、当前多数联邦学习算法都在理想的网络环境下开展研究，忽略了上下行通信和下行通信对网络资源的消耗(如对宽度的消耗、通信时长的消耗等)。然而，在更为实际的环境中，尤其是模型参数多、参与节点数量众多的场景下，联邦学习面临比较严峻的网络问题。一方面，在下行通信中的中心节点(如服务器)要向众多参与节点(如客户端)同时下发相同的全局模型，形成大量数据副本，造成不必要的带宽占用和资源浪费；另一方面，上行参与节点(如客户端)各自上传本地结果，而一次全局模型训练速度由最慢的设备决定，不仅会在中心节点(如服务器)侧产生大量等待时延，而且会造成上行带宽的碎片化现象。
技术实现思路
1、本申请的目的在于提供一种联邦学习方法、装置、电子设备以及计算机可读存储介质，可以减少联邦学习过程中对网络资源的占用等。
2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
3、本申请实施例提供了一种联邦学习方法，包括：
4、在一些实施例中，根据所述训练时长对所述多个参与节点进行分组处理以生成多个参与节点分组，包括：将各个参与节点对应的训练时长相加，获得串行训练总时长；获取所述多个参与节点分组的分组个数；根据所述串行训练总时长和所述分组个数，确定所述多个参与节点分组对应的分组平均时长；根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组，以使得各个参与节点分组对应的训练总时长等于所述分组平均时长。
5、在一些实施例中，所述多个参与节点包括第一参与节点和第二参与节点和第三参与节点，其中所述多个参与节点分组包括第一参与节点分组和第二参与节点分组；其中，根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组，以使得各个参与节点分组对应的训练总时长等于所述分组平均时长，包括：按照训练时长大小对所述多个参与节点进行排序，其中在排序结果中所述第一参与节点、所述第二参与节点以及所述第三参与节点依次排列；令中间时长参数等于所述分组平均时长；将所述第一参与节点对应的训练时长与所述中间时长参数进行比对；如果所述第一参与节点对应的训练时长大于或者等于所述中间时长参数，则将所述第一参与节点单独作为所述第一参与节点分组；如果所述第一参与节点对应的训练时长小于所述中间时长参数，则将所述第一参与节点归入所述第一参与节点分组，并将所述中间时长参数减去所述第一参与节点对应的训练时长以更新所述中间时长参数；将所述第二参与节点对应的训练时长与更新后的所述中间时长参数进行比对；如果所述第二参与节点对应的训练时长小于或者等于更新后的所述中间时长参数，则将所述第二参与节点也归入所述第一参与节点分组；如果所述第二参与节点对应的训练时长大于更新后的所述中间时长参数，则将所述第二参与节点归入所述第二参与节点分组。
6、在一些实施例中，所述多个参与节点分组包括第三参与节点分组；其中，所述方法还包括：获取所述多个参与节点的网络拓扑信息；根据所述网络拓扑信息确定所述第三参与节点分组中路由跳数最短的第一串行路径，所述第一串行路径的第一个参与节点是所述第三参与节点分组中的首参与节点；其中，将所述目标网络模型下发给各个参与节点分组，以便各个参与节点分组中对所述目标网络模型进行串行训练，包括：将所述目标网络模型和所述第一串行路径下发给所述第三参与节点分组的首参与节点，以便所述第三参与节点分组根据所述第一串行路径将所述目标网络模型进行依次转发并进行串行训练。
7、在一些实施例中，根据所述网络拓扑信息确定所述第三参与节点分组中路由跳数最短的第一串行路径，包括：根据所述第三参与节点分组中的多个参与节点，随机生成初始种群，其中所述初始种群包括多个染色体，其中一个染色体对应一条串行路径；确定各个染色体对应的路由跳数；如果所述初始种群中存在路由跳数满足预设条件的染色体，则将满足所述预设条件的染色体对应的串行路径作为所述第三参与节点分组中路由跳数最短的所述第一串行路径；如果所述初始种群中不存在路由跳数满足所述预设条件的染色体，则对所述初始种群中的染色体进行变异处理，以生成变异种群；如果在所述变异种群中确定所述满足预设条件的染色体，则将所述变异种群中满足所述预设条件的染色体对应的串行路径作为所述第三参与节点分组中路由跳数最短的所述第一串行路径。
8、在一些实施例中，所述初始种群包括第一染色体，所述第一染色体与第二串行路径对应；其中，所述方法还包括：确定所述第二串行路径对应的训练总时长；确定所述第三参与节点分组中各个参与节点对应的节点平均时长；在所述第三参与节点分组中对应的各个串行路径对应的路由跳数中，确定最大路由跳数和最小路由跳数；根据所述第二串行路径对应的训练总时长、所述节点平均时长，所述最大路由跳数和所述最小路由跳数，确定所述第二串行路径对应的适应度，其中所述适应度与所述第二串行路径对应的训练总时长成反比；如果所述第二串行路径的适应度大于预设阈值，则确定所述第二串行路径对应的所述第一染色体满足所述预设条件。
9、在一些实施例中，所述第一串行路径的最后一个参与节点是所述第三参与节点分组的末参与节点，其中，从各个参与节点分组接收串行训练完成后的所述目标网络模型，包括：从所述第三参与节点分组的所述末参与节点接收所述目标网络模型，以便根据所述第三参与节点分组上传的所述目标网络模型进行参数聚合。
10、本申请提供了一种联邦学习方法，包括：第四参与节点从中心节点接收目标网络模型和第三串行路径，所述第三串线路径的首参与节点是所述第四参与节点，在所述第三串行路径中所述第四参与节点的下一节点是第五参与节点，所述第五参与节点还是所述第三串行路径的末参与节点；所述第四参与节点基于所述第四参与节点的本地数据对所述目标网络模型进行训练；所述第四参与节点根据所述第三串行路径将训练后的所述目标网络模型转发给所述第五参与节点。
11、在一本文档来自技高网...
【技术保护点】
1.一种联邦学习方法，其特征在于，应用于中心节点，所述方法包括：
2.根据权利要求1所述方法，其特征在于，根据所述训练时长对所述多个参与节点进行分组处理以生成多个参与节点分组，包括：
3.根据权利要求2所述方法，其特征在于，所述多个参与节点包括第一参与节点和第二参与节点和第三参与节点，其中所述多个参与节点分组包括第一参与节点分组和第二参与节点分组；其中，根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组，以使得各个参与节点分组对应的训练总时长等于所述分组平均时长，包括：
4.根据权利要求1所述方法，其特征在于，所述多个参与节点分组包括第三参与节点分组；其中，所述方法还包括：
5.根据权利要求4所述方法，其特征在于，根据所述网络拓扑信息确定所述第三参与节点分组中路由跳数最短的第一串行路径，包括：
6.根据权利要求5所述方法，其特征在于，所述初始种群包括第一染色体，所述第一染色体与第二串行路径对应；其中，所述方法还包括：
7.根据权利要求4所述方法，其特征在于，所述第一串行路径的最后一个参与
8.一种联邦学习方法，其特征在于，包括：
9.根据权利要求8所述方法，其特征在于，所述方法还包括：
10.一种联邦学习装置，其特征在于，部属于中心节点，包括：
11.一种联邦学习装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括：
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现如权利要求1-9任一项所述的联邦学习方法。
...【技术特征摘要】
1.一种联邦学习方法，其特征在于，应用于中心节点，所述方法包括：
2.根据权利要求1所述方法，其特征在于，根据所述训练时长对所述多个参与节点进行分组处理以生成多个参与节点分组，包括：
3.根据权利要求2所述方法，其特征在于，所述多个参与节点包括第一参与节点和第二参与节点和第三参与节点，其中所述多个参与节点分组包括第一参与节点分组和第二参与节点分组；其中，根据所述分组平均时长对所述多个参与节点进行分组以生成所述多个参与节点分组，以使得各个参与节点分组对应的训练总时长等于所述分组平均时长，包括：
4.根据权利要求1所述方法，其特征在于，所述多个参与节点分组包括第三参与节点分组；其中，所述方法还包括：
5.根据权利要求4所述方法，其特征在于，根据所述网络拓扑信息确定所述第三参与节点分组中路由跳数最短的第一串行路径，包括：
6.根据...
【专利技术属性】
技术研发人员：卫敏，赵倩颖，叶平，张妍，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。