一种分布式系统的任务管理系统及方法技术方案

本发明专利技术公开了一种分布式系统的任务管理系统及方法，所述任务管理系统包括：派发节点，用于将任务派发至缓冲池中；缓冲池，用于存储待执行的任务；执行节点，用于从缓冲池中获取任务进行处理；单边操作模块，用于接收用户指令，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；任务跟踪模块：用于跟踪任务的任务状态以及任务所在执行节点的信息。从而克服了现有任务管理方法的灵活性不够，健壮性不足，以及资源浪费严重的缺陷。

【技术实现步骤摘要】
一种分布式系统的任务管理系统及方法
本专利技术涉及计算机应用
，尤其涉及一种分布式系统的任务管理系统及方法。
技术介绍
由于单系统能力有限，分布式系统的使用越来越普及。对于分布式系统来说，一个任务从派发到执行再到执行结果汇总的整个生命周期，可能分布于系统中不同的计算节点上。并且对于大型的作业系统来说，系统中可能包含有成千上万的计算资源，参与任务处理的计算节点数量极大。如何合理的协调计算资源，如何追踪任务执行情况是目前迫切需要解决的问题。而目前的分布式系统仍然存在以下问题：（1）任务的派发节点和执行节点的数量和运算能力不一定对等，可能出现派发任务过多导致饱和，此时如果继续派发任务则有可能使系统负载过重，导致宕机或者系统停摆。（2）分布式系统涉及的计算资源众多，由于功能升级或者运维等原因可能需要对某些功能节点进行停机维护，但是并不希望整个系统停止运行，从而减少升级或者运维的成本。（3）由于参与任务执行的节点是分布式的，一个任务具体被哪个节点执行不能确定，当任务执行出错时不能尽快定位出错的具体节点，并进行后续的处理流程。
技术实现思路
针对上述技术问题，本专利技术提供了一种分布式系统的任务管理系统及方法，利用单边操作模块来完善分布式系统的任务管理，提高系统资源的利用率和任务管理的健壮性和灵活性。本专利技术采用如下方法来实现：一种分布式系统的任务管理系统，包括：派发节点，用于将任务派发至缓冲池中；缓冲池，用于存储待执行的任务；执行节点，用于从缓冲池中获取任务进行处理；单边操作模块，用于接收用户指令，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；任务跟踪模块，用于跟踪任务的任务状态以及任务所在执行节点的信息。进一步，任务跟踪模块中所述任务状态可以包括：任务已派发、任务被领取、任务开始执行、任务执行中、任务已超时、任务执行异常、任务已完成或者任务执行失败。其中，任务状态中所述的任务已超时包括从任务已派发到任务被领取的全局超时，或者从任务被领取到任务开始执行的执行超时。其中，任务跟踪模块中对所述任务状态进行更新的同时更新时间戳。进一步，任务跟踪模块中，所述任务所在执行节点的信息可以通过MAC地址或者IP地址来标识。优选地，该任务管理系统还可以包括：预警模块，用于监控缓冲池中的任务数量，当缓冲池中的任务数量达到预设阈值时触发预警；进一步，预警模块具体完成：监控缓冲池中的任务数量，当缓冲池中的任务数量等于或高于预设阈值时触发预警，并暂停派发节点向缓冲池中派发新任务；或者当缓冲池中的任务数量等于或低于预设阈值时触发预警，并关闭部分执行节点。其中，当暂停派发节点向缓冲池中派发新任务时，允许执行节点获取缓冲池中的任务进行处理；当关闭部分执行节点时，允许派发节点继续向缓冲池中派发任务。优选地，该任务管理系统还包括：任务管理嵌套模块，利用扩展接口完成任务管理的嵌套；即在一个大的任务管理器中嵌套一些小的任务管理器，从而更好地完成对于子任务的处理控制，达到对于分布式系统中任务的细粒度控制。更为优选地，该任务管理系统还包括：自定义处理模块，针对所述任务状态，利用扩展接口自定义后续处理流程。进一步，自定义处理模块可以利用回调函数定义所述任务状态的后续处理流程。一种分布式系统的任务管理方法，在派发节点将任务派发至缓冲池中，执行节点从缓冲池中获取任务进行处理的过程中，如果接收到用户指令或者缓冲池中的任务数量接近某一阈值时，则进入单边模式，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；所述方法还包括跟踪任务的任务状态以及任务所在执行节点的信息。进一步，所述任务状态可以包括：任务已派发、任务被领取、任务开始执行、任务执行中、任务已超时、任务执行异常、任务已完成或者任务执行失败。其中，所述任务已超时包括从任务已派发到任务被领取的全局超时，或者从任务被领取到任务开始执行的执行超时。进一步，对所述任务状态进行更新的同时更新时间戳。进一步，所述任务所在执行节点的信息通过MAC地址或者IP地址来标识。执行节点获取任务时的反馈信息中包括该任务的信息，其中包括任务所在执行节点的位置或者任务状态的标识，其中，任务所在执行节点的位置可以由MAC地址或者IP地址或者进程号来唯一标识，而任务状态的更新可通过以下方法来完成，例如，当执行节点获取到任务后，将任务状态置为任务被领取，当任务执行完成后将任务状态置为任务已完成。优选地，该任务管理方法还包括：预警机制，监控缓冲池中的任务数量，当缓冲池中的任务数量达到预设阈值时触发预警；进一步，所述预警机制包括：监控缓冲池中的任务数量，当缓冲池中的任务数量等于或高于预设阈值时触发预警，并暂停派发节点向缓冲池中派发新任务；或者当缓冲池中的任务数量等于或低于预设阈值时触发预警，并关闭部分执行节点。其中，当暂停派发节点向缓冲池中派发新任务时，允许执行节点获取缓冲池中的任务进行处理；当关闭部分执行节点时，允许派发节点继续向缓冲池中派发任务。优选地，该任务管理方法还包括：任务管理嵌套，利用扩展接口完成任务管理的嵌套；一个任务可能衍生出n个子任务，那么此时可以利用任务管理嵌套对该任务和所述子任务进行同时管理，该子任务的管理和原任务的管理可以使用同一个任务管理框架，属于任务管理嵌套任务管理的做法。更为优选地，该任务管理方法还包括：后续处理流程的自定义，针对所述任务状态，利用扩展接口自定义后续处理流程。进一步，利用回调函数定义所述任务状态的后续处理流程。综上所述，本专利技术提供了一种分布式系统的任务管理系统及方法，首先派发节点负责将任务派发至缓冲池中，执行节点从缓冲池中获取任务并进行处理，此时可以根据用户指令来选择进入单边消费模式或者单边生产模式，这样有利于在进行系统升级和维护时，提高系统资源的利用率；并且对于任务的任务状态及任务所在执行节点的信息进行跟踪，利用如上所述方案，使得分布式系统中的各计算节点有序执行任务，增强了系统的健壮性，降低资源消耗，任务管理的嵌套使得用户可以根据应用模型对系统进一步划分，完成分布式系统的细粒度控制；扩展接口可以使得任务管理更灵活。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的分布式系统的任务管理方法中单边模式实施例的流程图；图2为本专利技术提供的分布式系统的任务管理方法中预警机制实施例1的流程图；图3为本专利技术提供的分布式系统的任务管理方法中预警机制实施例2的流程图；图4为本专利技术提供的分布式系统的任务管理方法中预警机制实施例3的流程图。具体实施方式本专利技术给出了一种分布式系统的任务管理系统及方法，为了使本领域的技术人员更好地理解本专利技术实施例中的技术方案，并使本专利技术的上述目的、本文档来自技高网...

【技术保护点】
一种分布式系统的任务管理系统，其特征在于，包括：派发节点，用于将任务派发至缓冲池中；缓冲池，用于存储待执行的任务；执行节点，用于从缓冲池中获取任务进行处理；单边操作模块，用于接收用户指令，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；任务跟踪模块，用于跟踪任务的任务状态以及任务所在执行节点的信息。

【技术特征摘要】
1.一种分布式系统的任务管理系统，其特征在于，包括：派发节点，用于将任务派发至缓冲池中；缓冲池，用于存储待执行的任务；执行节点，用于从缓冲池中获取任务进行处理；单边操作模块，用于接收用户指令，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；任务跟踪模块，用于跟踪任务的任务状态以及任务所在执行节点的信息；其中，所述任务状态包括：任务已派发、任务被领取、任务开始执行、任务执行中、任务已超时、任务执行异常、任务已完成或者任务执行失败。2.如权利要求1所述的系统，其特征在于，还包括预警模块：用于监控缓冲池中的任务数量，当缓冲池中的任务数量达到预设阈值时触发预警。3.如权利要求2所述的系统，其特征在于，所述预警模块具体用于：监控缓冲池中的任务数量，当缓冲池中任务数量等于或高于预设阈值时触发预警，并暂停派发节点向缓冲池中派发新任务；或者当缓冲池中的任务数量等于或低于预设阈值时触发预警，并关闭部分执行节点。4.如权利要求1所述的系统，其特征在于，所述任务已超时包括从任务已派发到任务被领取的全局超时，或者从任务被领取到任务开始执行的执行超时。5.如权利要求1所述的系统，其特征在于，对所述任务状态进行更新的同时更新时间戳。6.如权利要求1所述的系统，其特征在于，任务跟踪模块中所述任务所在执行节点的信息通过MAC地址或者IP地址来标识。7.如权利要求1所述的系统，其特征在于，还包括任务管理嵌套模块，用于利用扩展接口完成任务管理的嵌套。8.如权利要求1所述的系统，其特征在于，还包括自定义处理模块，针对所述任务状态，利用扩...

【专利技术属性】
技术研发人员：关进中，王维，
申请(专利权)人：北京安天电子设备有限公司，
类型：发明
国别省市：