多任务调度方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种多任务调度方法、装置、设备以及存储介质，涉及人工智能领域中的分布式计算技术。该方法包括：初始化候选调度方案列表，其中，候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；对于候选调度方案列表中的每个候选调度方案，对候选调度方案进行扰动，生成新的调度方案；基于候选调度方案的适应值以及新的调度方案的适应值，确定是否以新的调度方案替换候选调度方案，生成新的调度方案列表；基于新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案。本公开提供的多任务调度方法提高了服务调度的效率，也提高了多任务联邦学习的训练效率。联邦学习的训练效率。联邦学习的训练效率。

【技术实现步骤摘要】
多任务调度方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
中的分布式计算技术，尤其涉及多任务调度方法、装置、设备以及存储介质。

技术介绍

[0002]联邦学习是一种新的分布式机器学习技术，利用分布式的数据和计算资源在多个分布式边缘设备或服务器之间协作训练，并保护客户端的数据隐私。不同于传统的机器学习算法，联邦学习不需要共享设备的本地原始数据，能够有效地保证用户的隐私与安全。联邦学习只需要将待训练的全局模型分发给边缘设备，不同的设备从服务器下载模型并用本地数据训练模型，之后设备将更新的模型参数上传给服务器，最后服务器将聚合各个设备返回的模型参数并更新得到新的全局模型，如此迭代则可有效避免数据共享而导致的隐私的泄露。
[0003]虽然联邦学习中客户端不需要共享自己的本地数据，但由于不同设备的计算资源和能力有限，整个任务的训练效率会变得低下。

技术实现思路

[0004]本公开提供了一种多任务调度方法、装置、设备以及存储介质。
[0005]根据本公开的第一方面，提供了一种多任务调度方法，包括：初始化候选调度方案列表，其中，候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；对于候选调度方案列表中的每个候选调度方案，对候选调度方案进行扰动，生成新的调度方案；基于候选调度方案的适应值以及新的调度方案的适应值，确定是否以新的调度方案替换候选调度方案，生成新的调度方案列表；基于新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案。
[0006]根据本公开的第二方面，提供了一种多任务调度装置，包括：初始化模块，被配置成初始化候选调度方案列表，其中，候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；替换模块，被配置成对于候选调度方案列表中的每个候选调度方案，对候选调度方案进行扰动，生成新的调度方案；基于候选调度方案的适应值以及新的调度方案的适应值，确定是否以新的调度方案替换候选调度方案，生成新的调度方案列表；确定模块，被配置成基于新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
[0008]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是本公开可以应用于其中的示例性系统架构图；
[0013]图2是根据本公开的多任务调度方法的一个实施例的流程图；
[0014]图3是根据本公开的多任务调度方法的另一个实施例的流程图；
[0015]图4是根据本公开的多任务调度方法的又一个实施例的流程图；
[0016]图5是图4所示的多任务调度方法的候选调度方案生成步骤的分解流程图；
[0017]图6是根据本公开的多任务调度装置的一个实施例的结构示意图；
[0018]图7是用来实现本公开实施例的多任务调度方法的电子设备的框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0021]图1示出了可以应用本公开的多任务调度方法或多任务调度装置的实施例的示例性系统架构100。
[0022]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0023]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送信息等。终端设备101、102、103上可以安装有各种客户端应用。
[0024]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0025]服务器105可以提供各种服务。例如，服务器105可以对从终端设备101、102、103获取的候选调度方案进行分析和处理，并生成处理结果(例如目标调度方案)。
[0026]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0027]需要说明的是，本公开实施例所提供的多任务调度方法一般由服务器105执行，相应地，多任务调度装置一般设置于服务器105中。
[0028]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0029]继续参考图2，其示出了根据本公开的多任务调度方法的一个实施例的流程200。该多任务调度方法包括以下步骤：
[0030]步骤201，初始化候选调度方案列表。
[0031]在本实施例中，多任务调度方法的执行主体(例如图1所示的服务器105)可以初始化候选调度方案列表，其中，候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备。
[0032]其中，联邦学习是一种新的分布式机器学习技术，利用分布式的数据和计算资源在多个分布式边缘设备或服务器之间协作训练，并保护客户端的数据隐私。在多任务联邦学习中，联邦学习系统有多个需要训练的机器学习任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务调度方法，包括：初始化候选调度方案列表，其中，所述候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；对于所述候选调度方案列表中的每个候选调度方案，对所述候选调度方案进行扰动，生成新的调度方案；基于所述候选调度方案的适应值以及所述新的调度方案的适应值，确定是否以所述新的调度方案替换所述候选调度方案，生成新的调度方案列表；基于所述新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案。2.根据权利要求1所述的方法，其中，所述候选调度方案基于以下步骤生成：对于所述多个机器学习任务中的每个机器学习任务，获取用于训练的多个终端设备中的各个终端设备的资源状态；根据所述各个终端设备的资源状态，确定训练各个机器学习任务所需要的时间；根据所述训练各个机器学习任务所需要的时间，从所述多个终端设备中确定至少两个目标终端设备，生成该机器学习任务对应的候选调度方案。3.根据权利要求1所述的方法，其中，所述对所述候选调度方案进行扰动，生成新的调度方案，包括：随机将所述候选调度方案中的任一终端设备替换为不违反设备约束的新终端设备，生成新的调度方案。4.根据权利要求1所述的方法，其中，所述基于所述候选调度方案的适应值以及所述新的调度方案的适应值，确定是否以所述新的调度方案替换所述候选调度方案，生成新的调度方案列表，包括：将所述候选调度方案的适应值与所述新的调度方案的适应值进行比较；基于比较结果确定是否以所述新的调度方案替换所述候选调度方案，并生成新的调度方案列表。5.根据权利要求4所述的方法，其中，所述基于比较结果确定是否以所述新的调度方案替换所述候选调度方案，并生成新的调度方案列表，包括：响应于确定所述新的调度方案的适应值大于所述候选调度方案的适应值，以所述新的调度方案替换所述候选调度方案，生成新的调度方案列表。6.根据权利要求4所述的方法，其中，所述基于比较结果确定是否以所述新的调度方案替换所述候选调度方案，并生成的新的调度方案列表，还包括：响应于确定所述新的调度方案的适应值不大于所述候选调度方案的适应值，基于模拟退火算法计算所述新的调度方案被接受的概率值；响应于确定所述概率值满足预设条件，以所述新的调度方案替换所述候选调度方案，生成新的调度方案列表。7.根据权利要求6所述的方法，其中，所述基于模拟退火算法计算所述新的调度方案被接受的概率值，包括：基于所述候选调度方案的适应值、所述新的调度方案的适应值以及当前温度值，计算所述新的调度方案被接受的概率值。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述适应值是基于调度方案中的每台终端设备的通信时间以及计算时间计算得到的。
9.根据权利要求1
‑
8中任一项所述的方法，其中，所述基于所述新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案，包括：将所述新的调度方案列表中适应值最大的新的调度方案，确定为目标调度方案。10.一种多任务调度装置，包括：初始化模块，被配置成初始化候选调度方案列表，其中，所述候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；替换模块，被配置成对于所述候选调度方案列表中的每个候选调度方案，对所述候选调度方案进行扰动，生成新的调...

【专利技术属性】
技术研发人员：刘吉，马北辰，周景博，周瑞璞，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：