一种慢节点检测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种慢节点检测方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及集群系统、分布式机器学习、节点故障检测等领域。具体实现方案为：感知模块向第一节点发起计时请求，其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；所述感知模块接收所述第一节点反馈的计时信息；所述感知模块根据所述计时信息检测出所述集群系统存在慢节点。采用本公开，可以在大规模的训练任务中检测出慢节点。模的训练任务中检测出慢节点。模的训练任务中检测出慢节点。

【技术实现步骤摘要】
一种慢节点检测方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及集群系统、分布式机器学习、节点故障检测等领域。

技术介绍

[0002]在集群系统的多个节点或一个节点下的多个电子设备(如终端设备或服务器等)中，可以基于人工智能技术，执行大规模的模型训练任务，以得到处理效率更高的模型，将训练得到的该模型部署于该集群系统中，可以提高集群系统的整体运行效率。
[0003]然而，在大规模的训练任务中，难以检测出造成训练任务执行故障或者性能下降的问题节点(即慢节点)，如何检测出该慢节点，成为需要解决的问题。

技术实现思路

[0004]本公开提供了一种慢节点检测方法、装置、电子设备以及存储介质。
[0005]根据本公开的一方面，提供了一种慢节点检测方法，包括：
[0006]感知模块向第一节点发起计时请求，其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；
[0007]所述感知模块接收所述第一节点反馈的计时信息；
[0008]所述感知模块根据所述计时信息检测出所述集群系统存在慢节点。
[0009]根据本公开的另一方面，提供了一种慢节点检测方法，包括：
[0010]第一节点接收感知模块发起的计时请求；其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；
[0011]所述第一节点基于所述计时请求进行集合通信操作，完成所述集群系统中的数据交换，得到计时信息；
[0012]所述第一节点向所述感知模块发送所述计时信息。
[0013]根据本公开的另一方面，提供了一种慢节点检测装置，包括感知模块，用于：
[0014]向第一节点发起计时请求，其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；
[0015]接收所述第一节点反馈的计时信息；
[0016]根据所述计时信息检测出所述集群系统存在慢节点。
[0017]根据本公开的另一方面，提供了一种慢节点检测装置，包括第一节点，用于：
[0018]接收感知模块发起的计时请求；其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；
[0019]基于所述计时请求进行集合通信操作，完成所述集群系统中的数据交换，得到计时信息；
[0020]向所述感知模块发送所述计时信息。
[0021]根据本公开的另一方面，提供了一种电子设备，包括：
[0022]至少一个处理器；以及
[0023]与该至少一个处理器通信连接的存储器；其中，
[0024]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
[0025]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
[0026]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
[0027]采用本公开，感知模块可以向第一节点发起计时请求，其中，该第一节点为一个或多个在集群系统中执行训练任务的训练节点，该感知模块接收该第一节点反馈的计时信息，可以根据该计时信息检测出该集群系统存在慢节点，从而可以在大规模的训练任务中检测出该慢节点。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是根据本公开实施例的分布式集群系统的场景图；
[0031]图2是根据本公开实施例的慢节点检测方法的流程示意图；
[0032]图3是根据本公开实施例的慢节点检测方法的流程示意图；
[0033]图4是应用于本公开实施例的一应用示例的集群系统架构示意图；
[0034]图5是应用于本公开实施例的一应用示例的实现感知流程的架构示意图；
[0035]图6是根据本公开实施例的慢节点检测装置的组成结构示意图；
[0036]图7是根据本公开实施例的慢节点检测装置的组成结构示意图；
[0037]图8是用来实现本公开实施例的慢节点检测方法的电子设备的框图。
具体实施方式
[0038]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
[0040]另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。
本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0041]在集群系统(如分布式集群系统)的多个节点或一个节点下的多个电子设备(如终端设备或服务器等)中可以采用中央处理器(Central Processing Unit，CPU)及图形处理器(Graphic Processing Unit，GPU)，随着深度学习技术的发展，CPU和GPU都可以通过深度学习技术进行模型训练，该分布式集群系统集群系统还可以是基于采样的分布式机器学习系统，以提高上述电子设备、节点的运行效率，从而使上述集群系统的运行效率、调度功能等软硬件能力更强。
[0042]以GPU为例，随着GPU训练规模的增长，已经迈向了千卡、万卡的级别，针对GPU大规模的训练任务对服务的稳定性和易用性提出了很高的要求。
[0043]首先，与传统的CPU训练相比，就GPU训练而言，存在一些特点，比如基础软硬件的迭代更快，但是存在无法预知的情况，需要在实践中应对；比如功耗散热压力更高，硬件会长期处于高压状态，容易导致故障，且高度集成化的硬件导致运维效率低；比如，训练规模快速扩张，给网络的部署和集群调度带来了很大的压力。这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种慢节点检测方法，包括：感知模块向第一节点发起计时请求，其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；所述感知模块接收所述第一节点反馈的计时信息；所述感知模块根据所述计时信息检测出所述集群系统存在慢节点。2.根据权利要求1所述的方法，其中，所述感知模块根据所述计时信息检测出所述集群系统存在慢节点，包括：所述感知模块在所述计时信息大于阈值的情况下，检测出所述集群系统存在慢节点。3.根据权利要求1所述的方法，还包括：所述感知模块向所述第一节点发起暂停训练任务的请求；所述感知模块运行慢节点检测程序，检测出所述慢节点在所述集群系统中的位置。4.根据权利要求3所述的方法，其中，所述感知模块运行慢节点检测程序，检测出所述慢节点在所述集群系统中的位置，包括：所述感知模块以单机检测、集群检测、二分法的方式循环执行集合通信检测中的至少一种检测模式运行所述慢节点检测程序，检测出所述慢节点在所述集群系统中的位置。5.根据权利要求1
‑
4中任一项所述的方法，还包括：所述感知模块将慢节点信息通知调度模块，所述慢节点信息用于表征所述慢节点在所述集群系统中的位置；其中，所述调度模块位于所述第一节点、或与所述第一节点存在通信交互的第二节点。6.一种慢节点检测方法，包括：第一节点接收感知模块发起的计时请求；其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；所述第一节点基于所述计时请求进行集合通信操作，完成所述集群系统中的数据交换，得到计时信息；所述第一节点向所述感知模块发送所述计时信息。7.根据权利要求6所述的方法，还包括：所述第一节点接收所述感知模块发起的暂停训练任务的请求；所述第一节点响应所述暂停训练任务的请求，暂停训练任务，存储所述训练任务的进度状态；所述第一节点通知所述感知模块运行慢节点检测程序。8.根据权利要求7所述的方法，还包括：调度模块接收所述感知模块发送的慢节点信息，所述慢节点信息用于表征所述慢节点在所述集群系统中的位置；所述调度模块位于所述第一节点的情况下，所述第一节点接受所述调度模块的调度控制，根据所述慢节点信息，将由所述慢节点执行的所述训练任务的进度状态替换到正常的备选节点，继续执行所述训练任务。9.根据权利要求7所述的方法，还包括：调度模块接收所述感知模块发送的慢节点信息，所述慢节点信息用于表征所述慢节点在所述集群系统中的位置；
所述调度模块位于与所述第一节点存在通信交互的第二节点的情况下，所述第一节点接收所述慢节点信息，所述慢节点信息为：所述第二节点接受所述调度模块的调度控制后转发给所述第一节点的信息；所述第一节点根据所述慢节点信息，将由所述慢节点执行的所述训练任务的进度状态替换到正常的备选节点，继续执行所述训练任务。10.根据权利要求8或9所述的方法，其中，所述备选节点，与所述慢节点存在主备倒换关系。11.一种慢节点检测装置，包括感知模块，用于：向第一节点发起计时请求，其中，所述第一节点为一个或多个在集群系统中执行训练任务的训练节点；接收所述第一节点反馈的计时信息；根据所述计时信息检测出所述集群系统存在慢节点。12...

【专利技术属性】
技术研发人员：付浩瀚，王雁鹏，黎世勇，孙鹏，张恒华，骆宝童，张建宇，王帅俭，刘伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：