分布式任务处理系统及方法、装置、存储介质以及设备制造方法及图纸

本说明书公开了一种分布式任务处理系统及方法、装置、存储介质以及设备，在对各任务进行处理的过程中，通过调度节点确定各任务的任务信息，并基于各任务信息，确定系统的负载情况，以及在负载情况过高时，确定需要终止的目标任务，将该目标任务的任务标识广播给计算节点。计算节点可根据接收到的目标任务的任务标识，判断自身是否在执行该目标任务，若是，则将该目标任务的状态更新为终止状态，并停止执行该目标任务。本说明书可对分布式处理系统的负载状态进行监控，并在监控到系统负载过高时，自动基于各任务的任务信息，确定需终止的目标任务来进行终止。在不需要增加计算资源的情况下，也可保证该系统的任务处理效率。也可保证该系统的任务处理效率。也可保证该系统的任务处理效率。

【技术实现步骤摘要】
分布式任务处理系统及方法、装置、存储介质以及设备


[0001]本说明书涉及计算机
，尤其涉及一种分布式任务处理系统及方法、装置、存储介质以及设备。

技术介绍

[0002]随着计算机技术的发展和业务融合的需要，使用分布式系统来执行任务处理过程，已经成为分布式系统最常见的应用场景之一。
[0003]一般的，分布式系统中包含调度节点和计算节点，其中，调度节点接收任务，并将任务信息发送给计算节点，由计算节点根据接收到的任务信息自动生成任务并执行。
[0004]但是，在分布式系统执行任务的过程中，存在系统负载过高的情况，在该情况下，只能通过增加系统计算资源的方式来避免分布式系统宕机，以此来保证分布式系统的任务处理效率。
[0005]基于此，本说明书提供一种分布式任务处理系统。

技术实现思路

[0006]本说明书提供一种分布式任务处理系统及方法、装置、存储介质以及设备，以部分的解决现有技术存在的上述问题。
[0007]本说明书采用下述技术方案：本说明书提供一种分布式任务处理系统，所述系统包括：调度节点和若干计算节点，各计算节点执行不同的任务；其中：所述调度节点，用于确定各计算节点执行的任务分别对应的任务信息，并根据各任务的任务信息确定所述系统的负载情况，当根据所述负载情况确定存在异常时，根据各任务分别对应的任务信息，确定目标任务，以及根据所述目标任务的任务标识生成终止指令，并广播；所述计算节点，用于接收调度节点发送的终止指令，并当根据所述终止指令中携带的目标任务的任务标识确定自身存储有所述目标任务及其对应的执行状态时，将所述目标任务的执行状态更新为终止状态，以及针对自身执行的每个任务，确定该任务对应的执行状态，若所述执行状态为终止状态，则停止执行该任务。
[0008]可选地，所述计算节点，用于向所述调度节点发送任务生成请求；接收所述调度节点返回的任务标识，并根据所述任务标识和任务信息，生成待执行任务，确定所述待执行任务的执行状态，以及根据所述任务标识将所述执行状态发送至所述调度节点；所述调度节点，用于根据接收到的任务生成请求，为所述任务生成请求对应的任务分配任务标识，所述各计算节点执行的任务对应于不同的任务标识；将所述任务标识根据所述任务生成请求返回给所述计算节点；接收所述计算节点发送的执行状态，根据所述执行状态更新所述任务标识对应的任务的状态，并存储。
[0009]可选地，所述调度节点，用于确定各计算节点分别执行的任务对应的任务信息，针
对每个任务，该任务的任务信息包含任务执行时长、任务优先级、任务占用线程数量中的至少一种；根据各任务分别对应的任务信息，确定所述系统的负载情况。
[0010]可选地，所述调度节点，用于根据各任务分别对应的任务信息，确定所述各任务分别对应的任务等级，并根据所述各任务分别对应的任务等级，确定所述任务等级低于预设阈值的任务，作为目标任务；其中，针对每个任务，该任务的任务信息包含任务执行时长、任务优先级、任务占用线程数量中的至少一种，该任务的任务等级与所述任务执行时长负相关，所述任务等级与所述任务优先级正相关，所述任务等级与所述任务占用线程数量负相关。
[0011]本说明书提供一种分布式任务处理方法，所述任务执行方法应用于分布式任务处理系统的调度节点，所述系统包括：调度节点和若干计算节点，各计算节点执行不同的任务；所述方法包括：确定所述各计算节点执行的任务分别对应的任务信息，并根据各任务的任务信息，确定所述系统的负载情况；当根据所述负载情况确定所述系统存在异常时，根据所述各任务分别对应的任务的任务信息，确定目标任务；根据所述目标任务的任务标识生成终止指令，并广播；以使接收到所述终止指令的计算节点根据所述目标任务的任务标识，终止执行所述目标任务。
[0012]可选地，根据各任务的任务信息确定所述系统的负载情况，具体包括：针对每个计算节点，接收该计算节点发送的任务信息，所述任务信息为该计算节点执行的任务对应的任务信息，其中，所述任务信息包括任务执行时长、任务优先级、任务占用线程数量中的至少一种；根据各任务分别对应的任务信息，确定所述系统的负载情况。
[0013]可选地，根据所述各任务分别对应的任务的信息，确定目标任务，具体包括：根据各任务分别对应的任务信息，确定所述各任务分别对应的任务等级，针对每个任务，该任务的任务信息包含任务执行时长、任务优先级、任务占用线程数量中的至少一种，该任务的任务等级与所述任务执行时长负相关，所述任务等级与所述任务优先级正相关，所述任务等级与所述任务占用线程数量负相关；根据所述各任务分别对应的任务等级，确定所述任务等级低于预设阈值的任务，作为目标任务。
[0014]本说明书提供一种分布式任务处理装置，所述装置应用于分布式任务处理系统中的调度节点，所述系统包括：调度节点和若干计算节点，各计算节点执行不同的任务，所述装置包括：负载确定模块，用于确定所述各计算节点执行的任务分别对应的任务信息，并根据各任务的任务信息确定所述系统的负载情况；目标确定模块，用于当根据所述负载情况确定所述系统存在异常时，根据所述各任务分别对应的任务的信息，确定目标任务；广播模块，用于根据所述目标任务的任务标识生成终止指令，并广播，以使接收到所述终止指令的计算节点根据所述任务标识终止执行所述目标任务。
[0015]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所
述计算机程序被处理器执行时实现上述一种分布式任务处理方法。
[0016]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种分布式任务处理方法。
[0017]本说明书采用的上述至少一个技术方案能够达到以下有益效果：在分布式任务处理系统对各任务进行处理的过程中，通过调度节点确定各任务的任务信息，并基于各任务信息，确定系统的负载情况，以及在负载情况过高时，确定需要终止的目标任务，将该目标任务的任务标识广播给计算节点。计算节点可根据接收到的目标任务的任务标识，判断自身是否在执行该目标任务，若是，则将该目标任务的状态更新为终止状态，并停止执行该目标任务。
[0018]本说明书可对分布式处理系统的负载状态进行监控，并在监控到系统负载过高时，自动基于各任务的任务信息，确定需终止的目标任务来进行终止。在不需要增加计算资源的情况下，也可保证该系统的任务处理效率。
附图说明
[0019]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：图1为本说明书提供的一种分布式任务处理系统的结构示意图；图2为本说明书提供的分布式任务处理方法的流程示意图；图3为本说明书提供的分布式任务处理方法的流程示意图；图4为本说明书提供的分布式任务处理方法的流程示意图；图5为本说明书提供的分布式任务处理方法的流程示意图；图6为本说明书提供的分布式任务处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式任务处理系统，其特征在于，所述系统包括：调度节点和若干计算节点，各计算节点执行不同的任务；其中：所述调度节点，用于确定各计算节点执行的任务分别对应的任务信息，并根据各任务的任务信息确定所述系统的负载情况，当根据所述负载情况确定存在异常时，根据各任务分别对应的任务信息，确定目标任务，以及根据所述目标任务的任务标识生成终止指令，并广播；所述计算节点，用于接收调度节点发送的终止指令，并当根据所述终止指令中携带的目标任务的任务标识确定自身存储有所述目标任务及其对应的执行状态时，将所述目标任务的执行状态更新为终止状态，以及针对自身执行的每个任务，确定该任务对应的执行状态，若所述执行状态为终止状态，则停止执行该任务。2.如权利要求1所述的系统，其特征在于，所述计算节点，用于向所述调度节点发送任务生成请求；接收所述调度节点返回的任务标识，并根据所述任务标识和任务信息，生成待执行任务，确定所述待执行任务的执行状态，以及根据所述任务标识将所述执行状态发送至所述调度节点；所述调度节点，用于根据接收到的任务生成请求，为所述任务生成请求对应的任务分配任务标识，所述各计算节点执行的任务对应于不同的任务标识；将所述任务标识根据所述任务生成请求返回给所述计算节点；接收所述计算节点发送的执行状态，根据所述执行状态更新所述任务标识对应的任务的状态，并存储。3.如权利要求1所述的系统，其特征在于，所述调度节点，用于确定各计算节点分别执行的任务对应的任务信息，针对每个任务，该任务的任务信息包含任务执行时长、任务优先级、任务占用线程数量中的至少一种；根据各任务分别对应的任务信息，确定所述系统的负载情况。4.如权利要求1所述的系统，其特征在于，所述调度节点，用于根据各任务分别对应的任务信息，确定所述各任务分别对应的任务等级，并根据所述各任务分别对应的任务等级，确定所述任务等级低于预设阈值的任务，作为目标任务；其中，针对每个任务，该任务的任务信息包含任务执行时长、任务优先级、任务占用线程数量中的至少一种，该任务的任务等级与所述任务执行时长负相关，所述任务等级与所述任务优先级正相关，所述任务等级与所述任务占用线程数量负相关。5.一种分布式任务处理方法，其特征在于，所述任务执行方法应用于分布式任务处理系统的调度节点，所述系统包括：调度节点和若干计算节点，各计算节点执行...

【专利技术属性】
技术研发人员：曾洪海，肖恒进，王超，王永恒，巫英才，连建晓，周春来，恽爽，路游，韩珺婷，王梦丝，杨亚飞，董子铭，郑黄河，沈镇方，鲁艺，
申请(专利权)人：之江实验室，
类型：发明
国别省市：