联邦学习方法、联邦学习装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种联邦学习方法、联邦学习装置、电子设备以及存储介质，涉人工智能技术领域，尤其涉及分布式数据处理和深度学习技术领域。具体实现方案为：在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与任务对应的多个备选设备各自的调度信息，确定与任务对应的目标设备集合，其中，调度策略用于使得完成当前学习周期的任务的时间成本信息和设备公平性评估信息满足预定条件；向与每个任务对应的目标设备集合发送与每个任务对应的全局模型，以便利用对应的目标设备集合训练与每个任务对应的全局模型；响应于接收到来自对应的目标设备集合的训练后模型，基于训练后模型更新对应的全局模型，完成当前学习周期。周期。周期。

【技术实现步骤摘要】
联邦学习方法、联邦学习装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及分布式数据处理和深度学习
具体地，涉及一种联邦学习方法、联邦学习装置、电子设备以及存储介质。

技术介绍

[0002]联邦学习(Federated Learning，FL)是一种分布式机器学习技术。联邦学习能够在不公开每个设备的本地数据的情况下，利用多个设备和多个设备各自的本地数据进行模型的协作训练。

技术实现思路

[0003]本公开提供了一种联邦学习方法、联邦学习装置、电子设备以及存储介质。
[0004]根据本公开的一方面，提供了一种联邦学习方法，包括：在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与上述任务对应的多个备选设备各自的调度信息，确定与上述任务对应的目标设备集合，其中，上述调度策略用于使得完成上述当前学习周期的上述任务的时间成本信息和设备公平性评估信息满足预定条件；向与上述每个任务对应的目标设备集合发送与上述每个任务对应的全局模型，以便利用上述对应的目标设备集合训练与上述每个任务对应的全局模型；以及，响应于接收到来自对应的目标设备集合的训练后模型，基于上述训练后模型更新对应的全局模型，完成上述当前学习周期。
[0005]根据本公开的另一方面，提供了一种联邦学习装置，包括：第一确定模块，用于在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与上述任务对应的多个备选设备各自的调度信息，确定与上述任务对应的目标设备集合，其中，上述调度策略用于使得完成上述当前学习周期的上述任务的时间成本信息和设备公平性评估信息满足预定条件；发送模块，用于向与上述每个任务对应的目标设备集合发送与上述每个任务对应的全局模型，以便利用上述对应的目标设备集合训练与上述每个任务对应的全局模型；以及，训练模块，用于响应于接收到来自对应的目标设备集合的训练后模型，基于上述训练后模型更新对应的全局模型，完成上述当前学习周期。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1示意性示出了根据本公开实施例的可以应用联邦学习方法及装置的示例性系统架构；
[0012]图2示意性示出了根据本公开实施例的联邦学习方法的流程图；
[0013]图3示意性示出了根据本公开实施例的联邦学习的示例示意图；
[0014]图4示意性示出了根据本公开实施例的目标设备训练全局模型的示例示意图；
[0015]图5示意性示出了根据本公开实施例的联邦学习装置的框图；以及
[0016]图6示意性示出了根据本公开实施例的适于实现联邦学习方法的电子设备的框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]联邦学习的研究越来越受到关注。联邦学习的收敛效率和收敛精度的提高是联邦学习研究的较为重要的方面，但是大多数的研究都是在单任务情况下模型达到收敛的性能，有关多个任务的联邦学习的性能研究较少。如果存在多个任务需要训练，则如何为每个任务分配目标设备集合来更快地使全部任务的全局模型达到收敛，并且收敛效率和收敛精度满足要求是研究的主要问题。
[0019]为此，本公开实施例提出了一种联邦学习方案。在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与任务对应的多个备选设备各自的调度信息，确定与任务对应的目标设备集合。调度策略用于使得完成当前学习周期的任务的时间成本信息和设备公平性评估信息满足预定条件。向与每个任务对应的目标设备集合发送与每个任务对应的全局模型，以便利用对应的目标设备集合训练与每个任务对应的全局模型。响应于接收到来自对应的目标设备集合的训练后模型，基于训练后模型更新对应的全局模型，完成当前学习周期。
[0020]每个备选设备可以存储有与每个任务对应的训练数据，因此，数据与设备是关联的，由此，数据公平性可以体现用设备公平性表征。时间成本信息可以体现设备处理能力。调度策略是用于使得完成当前学习周期的任务的时间成本信息和设备公平性评估信息满足预定条件的策略，因此，不仅考虑了设备处理能力，而且还考虑了数据公平性，由此，基于调度策略能够为多个任务合理地确定各自的目标设备集合。在此基础上，利用与任务对应的目标设备集合对任务进行联邦学习，有效保证了多任务的全局模型的收敛精度和收敛效率。
[0021]图1示意性示出了根据本公开实施例的可以应用联邦学习方法及装置的示例性系统架构。
[0022]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、
系统、环境或场景。例如，在另一实施例中，可以应用联邦学习方法及装置的示例性系统架构可以包括设备，但设备可以无需与服务器进行交互，即可实现本公开实施例提供的联邦学习方法及装置。
[0023]如图1所示，根据该实施例的系统架构100可以包括设备101、102、103，网络104和服务器105。网络104用以在设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
[0024]用户可以使用设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
[0025]设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。此外，设备101、102、103可以是边缘设备。
[0026]服务器105可以是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，包括：在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，其中，所述调度策略用于使得完成所述当前学习周期的所述任务的时间成本信息和设备公平性评估信息满足预定条件；向与所述每个任务对应的目标设备集合发送与所述每个任务对应的全局模型，以便利用所述对应的目标设备集合训练与所述每个任务对应的全局模型；以及响应于接收到来自对应的目标设备集合的训练后模型，基于所述训练后模型更新对应的全局模型，完成所述当前学习周期。2.根据权利要求1所述的方法，还包括：针对与所述任务对应的多个备选设备中的每个备选设备，根据所述备选设备的资源信息，确定所述备选设备执行所述任务的时长信息；确定所述备选设备在所述当前学习周期之前的学习周期中执行所述任务的次数，作为调度次数；以及根据所述时长信息和所述调度次数，得到所述备选设备的调度信息。3.根据权利要求2所述的方法，其中，所述根据所述备选设备的资源信息，确定所述备选设备执行所述任务的时长信息，包括：根据所述备选设备的资源信息，确定所述备选设备的计算指标，其中，所述计算指标表征所述备选设备的计算能力；以及利用预定位移指数分布函数，根据所述计算指标和所述备选设备中存储的与所述任务对应的训练数据的数据量，确定所述备选设备执行所述任务的时长信息。4.根据权利要求2或3所述的方法，其中，与所述任务对应的时间成本信息是根据与所述任务对应的备选设备集合的时长信息和与全部或部分其他任务对应的目标设备集合的时长信息确定的，所述其他任务表征所述至少一个任务中除所述任务以外的任意一个任务；其中，与所述任务对应的设备公平性评估信息是根据与所述任务对应的备选设备集合的调度平衡方差和与全部或部分所述其他任务对应的目标设备集合的调度平衡方差确定的，所述调度平衡方差是根据设备集合包括的设备的调度次数确定的，所述设备集合包括所述备选设备集合或所述目标设备集合；其中，与所述任务对应的目标设备集合是在所述任务的时间成本信息和设备公平性评估信息满足预定条件的情况下的备选设备集合。5.根据权利要求4所述的方法，其中，所述基于调度策略，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，包括：基于所述调度策略，确定调度约束函数，其中，所述调度约束函数的参数项包括在所述当前学习周期的情况下，与所述每个任务的时间成本信息对应的时间成本项和与所述每个任务的设备公平性评估信息对应的设备公平性评估项；以及利用调度算法，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，其中，所述目标设备集合的调度信息使得所述调度约束函数的第一输出值满足所述预定条件。
6.根据权利要求5所述的方法，其中，所述调度算法包括至少一个第一调度算法、至少一个第二调度算法和第三调度算法；其中，所述利用调度算法，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，包括：利用所述至少一个第一调度算法中的每个第一调度算法处理所述多个备选设备的调度信息，得到与所述任务对应的第一备选设备集合，其中，所述第一备选设备集合的调度信息使得调度约束函数的第二输出值满足所述预定条件且所述第二输出值大于所述第一输出值；利用所述至少一个第二调度算法中的每个第二调度算法处理所述多个备选设备的调度信息，得到与所述至少一个任务中的每个任务对应的第二备选设备集合；以及利用所述第三调度算法处理至少一个所述第一备选设备集合和至少一个所述第二备选设备集合的调度信息，得到与所述任务对应的目标设备集合。7.根据权利要求6所述的方法，其中，所述至少一个第一调度算法包括以下至少一项：贝叶斯优化算法、强化学习算法、遗传算法和贪心算法；其中，所述至少一个第二调度算法包括以下至少一项：联邦平均算法和基于联邦学习的启发式设备选择算法。8.根据权利要求1～4中任一项所述的方法，其中，所述针对至少一个任务中的每个任务，基于调度策略，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，包括：并行执行以下操作，得到与所述每个任务对应的目标设备集合：基于所述调度策略，根据与所述每个任务对应的多个备选设备各自的调度信息，得到与所述每个任务对应的目标设备集合。9.一种联邦学习装置，包括：第一确定模块，用于在当前学习周期中，针对至少一个任务中的每个任务，基于调度策略，根据与所述任务对应的多个备选设备各自的调度信息，确定与所述任务对应的目标设备集合，其中，所述调度策略用于使得完成所述当前学...

【专利技术属性】
技术研发人员：刘吉，周晨娣，马北辰，周吉文，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：