分布式机器学习方法、系统、服务器、设备及存储介质技术方案

本公开提供了一种分布式机器学习方法、系统、服务器、设备及存储介质，涉及机器学习等人工智能技术领域。具体实现方案为：基于延时信息，获取参与训练的数个边缘设备的最优调度队列；基于所述数个边缘设备的最优调度队列，调度所述数个边缘设备中各所述边缘设备对机器学习模型进行训练。本公开，能够有效地提高分布式机器学习的效率。布式机器学习的效率。布式机器学习的效率。

【技术实现步骤摘要】
分布式机器学习方法、系统、服务器、设备及存储介质


[0001]本公开涉及计算机
，具体涉及机器学习等人工智能
，尤其涉及一种分布式机器学习方法、系统、服务器、设备及存储介质。

技术介绍

[0002]随着人工智能技术的快速发展，深度学习技术作为其中最为重要的技术之一，需要十分庞大的数据作为基础。另外，现有的各种终端设备如智能手机、智能平板、智能手表等，在操作便利的同时，收集了大量的数据，这些数据对深度学习技术十分具有吸引力。传统的机器学习技术都是通过将终端设备上的数据收集起来，再集中进行训练，为终端设备上的数据的隐私性带来了巨大的威胁。
[0003]联邦学习是一种分布式机器学习技术，与以往的机器学习技术不同的是，联邦学习不用收集终端设备上的用户的数据，而是让这些数据留存在本地。而在终端设备本地训练机器学习模型，并将训练好的机器学习模型上传给服务器。通过这种方式，数据不离开本地，能够有效地保障了用户的数据隐私安全。

技术实现思路

[0004]本公开提供了一种分布式机器学习方法、系统、服务器、设备及存储介。
[0005]根据本公开的一方面，提供了一种分布式机器学习方法，包括：
[0006]基于延时信息，获取参与训练的数个边缘设备的最优调度队列；
[0007]基于所述数个边缘设备的最优调度队列，调度所述数个边缘设备中各所述边缘设备对机器学习模型进行训练。
[0008]根据本公开的另一方面，提供了一种服务器，包括：
[0009]队列获取模块，用于基于延时信息，获取参与训练的数个边缘设备的最优调度队列；
[0010]调度模块，用于基于所述数个边缘设备的最优调度队列，调度所述数个边缘设备中各所述边缘设备对机器学习模型进行训练。
[0011]根据本公开的再一方面，提供了一种分布式机器学习系统，包括服务器和多个边缘设备；所述服务器与各所述边缘设备通信连接；所述服务器采用如上所述的方面和任一可能的实现方式的服务器。
[0012]根据本公开的又一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
[0016]根据本公开的又另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存
储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
[0017]根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
[0018]根据本公开的技术，能够有效地提高分布式机器学习的效率。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开第一实施例的示意图；
[0022]图2是根据本公开第二实施例的示意图；
[0023]图3是根据本公开第三实施例的示意图；
[0024]图4是本公开的分布式系统的工作原理图；
[0025]图5是根据本公开第四实施例的示意图；
[0026]图6是根据本公开第五实施例的示意图；
[0027]图7是根据本公开第六实施例的示意图
[0028]图8是用来实现本公开实施例的上述方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0031]需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
[0032]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0033]在基于联邦学习的分布式机器学习架构中，可以包括一个服务器和多个终端设备对机器学习模型进行训练。多个终端设备位于服务器的周边，也可以称之为多个边缘设备。服务器可以控制多个边缘设备对机器学习模型进行训练，并将训练好的机器学习模型上传给服务器。
[0034]现有技术中，服务器在每一轮训练中，调度各个边缘设备时，可以按照边缘设备的
位置顺序，或者也可以按照边缘设备的标识由大到小或者由小到大的顺序，依次调度各个边缘设备采用其上的数据对机器学习模型进行训练。但是，由于每个边缘设备通常有着有限的资源，诸如电池、网络、算力等资源。不同的边缘设备之间的性能差距可能较大，便会出现在同一轮的训练中，快的边缘设备很早就训练完毕，而慢的边缘设备还在训练的现象，最终拖慢了当前一轮训练的速度，导致联邦学习的效率低下。
[0035]图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种分布式机器学习方法，可以应用在分布式机器学习系统的服务器侧，具体可以包括如下步骤：
[0036]S101、基于延时信息，获取参与训练的数个边缘设备的最优调度队列；
[0037]S102、基于数个边缘设备的最优调度队列，调度数个边缘设备中各边缘设备对机器学习模型进行训练。
[0038]例如，本实施例的分布式机器学习系统可以指的是联邦学习的系统。在该系统中，可以包括服务器与分布在服务器周围的多个边缘设备。各边缘设备上收集有一定的数据资源，这些数据资源可以对机器学习模型进行训练。
[0039]在联邦学习中，服务器可以控制多个边缘设备对机器学习模型进行多轮学习。本实施例的技术方案，可以应用在服务器控制多个边缘设备进行每一轮学习的场景中。
[0040]例如，在每一轮学习中，服务器可以基于延时信息，获取参与训练的数个边缘设备的最优调度队列。也就是说，在最优调度队列中，限定了本轮训练中，参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式机器学习方法，包括：基于延时信息，获取参与训练的数个边缘设备的最优调度队列；基于所述数个边缘设备的最优调度队列，调度所述数个边缘设备中各所述边缘设备对机器学习模型进行训练。2.根据权利要求1所述的方法，其中，基于延时信息，获取数个边缘设备的最优调度队列，包括：估算所述数个边缘设备中各所述边缘设备的计算延时和通信延时；基于预设的多个权重参数、各所述边缘设备的计算延时和通信延时，获取所述数个边缘设备的最优调度队列。3.根据权利要求2所述的方法，其中，基于预设的多个权重参数、各所述边缘设备的计算延时和通信延时，获取所述数个边缘设备的最优调度队列，包括：对于所述多个权重参数的各所述权重参数，基于各所述边缘设备的计算延时和通信延时，获取对应的候选调度队列，得到多个候选调度队列；计算各所述候选调度队列中的各所述边缘设备的总延时；基于各所述候选调度队列中的各所述边缘设备的总延时，从所述多个候选调度队列中，获取总延时最小的候选调度队列，作为所述最优调度队列。4.根据权利要求3所述的方法，其中，对于所述多个权重参数的各所述权重参数，基于各所述边缘设备的计算延时和通信延时，获取对应的候选调度队列，包括：对于各所述权重参数，基于各所述边缘设备的计算延时和通信延时，计算各所述边缘设备的优先数；基于各所述边缘设备的优先数，对所述数个边缘设备的标识进行排序，得到所述权重参数对应的所述候选调度队列。5.根据权利要求4所述的方法，其中，基于各所述边缘设备的优先数，对所述数个边缘设备的标识进行排序，得到所述权重参数对应的所述候选调度队列，包括：将所述数个边缘设备的标识按照对应的优先数由大到小的顺序排列，得到所述权重参数对应的所述候选调度队列。6.根据权利要求1
‑
5任一所述的方法，其中，基于延时，获取参与训练的数个边缘设备的最优调度队列之前，所述方法还包括：获取参与训练的所述数个边缘设备的、各所述边缘设备的标识。7.根据权利要求6所述的方法，其中，获取参与训练的所述数个边缘设备的、各所述边缘设备的标识，包括：根据各所述边缘设备的数据资源、计算资源、无线信道资源以及通信状态中的至少一个，获取参与训练的所述数个边缘设备的、各所述边缘设备的标识。8.一种服务器，包括：队列获取模块，用于基于延时信息，获取参与训练的数个边缘设备的最优调度队列；调度模块，用于基于所述数个边缘设备的最优调度队列，调度所述数个边缘设备中各所述边缘设备对机器学习模型进行训练。9.根据权利要求8所述的服务器，...

【专利技术属性】
技术研发人员：刘吉，章红，贾俊铖，周瑞璞，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：