一种分布式任务调度运维监控系统及方法技术方案

本发明专利技术公开了一种分布式任务调度运维监控系统及方法，涉及信息监控技术领域，该系统包括：管理服务系统，用于进行任务配置，并通过消息队列将任务配置信息通知给中控集群；中控集群，用于根据预设的任务均衡策略，在均衡调度服务器上将任务标记给选定的任务服务节点，并形成标记事件；均衡调度服务器，用于提供任务均衡策略；任务服务集群，用于监听所述标记事件，然后将所述任务在所述任务服务节点上加载运行；本发明专利技术通过均衡调度服务器和消息队列，实现了系统的集群自由扩容、高度容灾，监控任务的智能调度、监控任务服务节点的负载均衡。

【技术实现步骤摘要】

本专利技术涉及信息监控
，尤其涉及一种分布式任务调度运维监控系统及方法。
技术介绍
对于一个互联网项目来说，拥有数十台服务器是很正常的事，然而要想向用户提供平稳的服务，这些服务器必须是健康运行在线上环境，否则一旦某台核心服务器出现异常情况(内存饱满、线程耗尽、服务假死等等)，很可能导致用户无法正常访问，从而给予用户十分不好的使用体验，降低了用户黏性，这对于互联网项目可以说是致命的。所以关注线上服务器实时运行情况，监控服务器的异常指标，提前预警运维人员，是非常有必要的，运维监控系统也就因此孕育而生。通常一个企业，少则拥有几个项目，多则数十上百个项目，换算成服务器数量，则是几百上千台，甚至更多；如此多的服务器需要监控，仅靠单节点的监控系统是远远无法满足需求的，但是若使用集群监控服务，则任务调度以及负载均衡又成为一个大问题，如何设计出一个自由扩容、高度容灾、负载均衡的分布式运维监控系统，是本专利技术需要解决的问题。
技术实现思路
本专利技术的主要目的在于提出一种分布式任务调度运维监控系统及方法，通过均衡调度服务器和消息队列，实现了系统的集群自由扩容、高度容灾，监控任务的智能调度、监控任务服务节点的负载均衡。为实现上述目的，本专利技术提供的一种分布式任务调度运维监控系统，包括：管理服务系统、中控集群、均衡调度服务器和任务服务集群，其中，所述任务服务集群包括若干个任务服务节点；所述管理服务系统，用于进行任务配置，并通过消息队列将任务配置信息通知给中控集群；所述中控集群，用于接收管理服务系统发来的任务配置信息，并根据预设的任务均衡策略，在均衡调度服务器上将所述任务标记给根据所述预设的任务均衡策略选定的任务服务节点，并形成标记事件；所述均衡调度服务器，用于提供任务均衡策略，并提供一个预先注册的参与任务调度的唯一标示；所述任务服务集群，用于监听所述标记事件，并将所述标记事件内的标记与所述唯一标示进行匹配，然后将所述任务在所述任务服务节点上加载运行。可选地，所述中控集群还用于：周期性监控任务服务集群的运行状况；当有任务服务节点发生宕机事件时，中控集群检测到所述宕机事件，并将属于所述任务服务节点的任务重新指派给所述任务服务集群中的其他任务服务节点；当任务服务集群增加一个新的任务服务节点时，中控集群检测到所述新的任务服务节点，根据预设的任务均衡策略，将所述任务服务集群中其他任务服务节点的部分任务迁移给所述新的任务服务节点，使得所述任务服务集群中各个任务服务节点在所述预设的任务均衡策略下保存任务均衡。可选地，所述预设的任务均衡策略包括：分类任务量均衡策略：任务服务集群中各个任务服务节点执行的相同类型的任务个数均衡；分类任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的相同类型的任务次数均衡；总任务量均衡策略：任务服务集群中各个任务服务节点执行的任务个数均衡；总任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的任务次数均衡。可选地，所述在管理服务系统中进行任务配置具体为：在管理服务系统中配置新增任务或删除任务。可选地，所述唯一标示为均衡调度服务器的主节点的身份标示。作为本专利技术的另一个方面，提供的一种分布式任务调度运维监控方法，包括：在管理服务系统中进行任务配置，通过消息队列将任务配置信息通知给中控集群；中控集群根据预设的任务均衡策略，在均衡调度服务器上将所述任务标记给根据所述预设的任务均衡策略选定的任务服务节点，并形成标记事件；通过任务服务集群监听所述标记事件，并将所述标记事件内的标记与均衡调度服务器上预先注册的唯一标示进行匹配；将所述任务在所述任务服务节点上加载运行。可选地，所述将所述任务在所述任务服务节点上加载运行之后还包括：中控集群周期性监控任务服务集群的运行状况；当有任务服务节点发生宕机事件时，中控集群检测到所述宕机事件，并将属于所述任务服务节点的任务重新指派给所述任务服务集群中的其他任务服务节点；当任务服务集群增加一个新的任务服务节点时，中控集群检测到所述新的任务服务节点，根据预设的任务均衡策略，将所述任务服务集群中其他任务服务节点的部分任务迁移给所述新的任务服务节点，使得所述任务服务集群中各个任务服务节点在所述预设的任务均衡策略下保存任务均衡。可选地，所述预设的任务均衡策略包括：分类任务量均衡策略：任务服务集群中各个任务服务节点执行的相同类型的任务个数均衡；分类任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的相同类型的任务次数均衡；总任务量均衡策略：任务服务集群中各个任务服务节点执行的任务个数均衡；总任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的任务次数均衡。可选地，所述在管理服务系统中进行任务配置具体为：在管理服务系统中配置新增任务或删除任务。可选地，所述唯一标示为均衡调度服务器的主节点的身份标示，用于参与任务调度。本专利技术提出的一种分布式任务调度运维监控系统及方法，该系统包括：管理服务系统、中控集群、均衡调度服务器和任务服务集群，其中，所述任务服务集群包括若干个任务服务节点；所述管理服务系统，用于进行任务配置，并通过消息队列将任务配置信息通知给中控集群；所述中控集群，用于接收管理服务系统发来的任务配置信息，并根据预设的任务均衡策略，在均衡调度服务器上将所述任务标记给根据所述预设的任务均衡策略选定的任务服务节点，并形成标记事件；所述均衡调度服务器，用于提供任务均衡策略，并提供一个预先注册的参与任务调度的唯一标示；所述任务服务集群，用于监听所述标记事件，并将所述标记事件内的标记与所述唯一标示进行匹配，然后将所述任务在所述任务服务节点上加载运行；本专利技术通过均衡调度服务器和消息队列，实现了系统的集群自由扩容、高度容灾，监控任务的智能调度、监控任务服务节点的负载均衡。附图说明图1为实现本专利技术各个实施例的移动终端的硬件结构示意图；图2为如图1所示的移动终端的无线通信系统示意图；图3为本专利技术实施例一提供的一种分布式任务调度运维监控系统示范性结构框图；图4为本专利技术实施例一提供的均衡调度服务器的节点树示意图；图5为本专利技术实施例二提供的一种分布式任务调度运维监控方法流程图；图6为本专利技术实施例三提供的一种分布式任务调度运维监控方法流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现在将参考附图描述实现本专利技术各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身并没有特定的意义。因此，\模块\与\部件\可以混合地使用。移动终端可以以各种形式来实施。例如，本专利技术中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本专利技术的实施方式的构造也能够应用于固定类型的终端。图1为实现本专利技术各个实施例一个可选的移动本文档来自技高网...

【技术保护点】
一种分布式任务调度运维监控系统，其特征在于，包括：管理服务系统、中控集群、均衡调度服务器和任务服务集群，其中，所述任务服务集群包括若干个任务服务节点；所述管理服务系统，用于进行任务配置，并通过消息队列将任务配置信息通知给中控集群；所述中控集群，用于接收管理服务系统发来的任务配置信息，并根据预设的任务均衡策略，在均衡调度服务器上将所述任务标记给根据所述预设的任务均衡策略选定的任务服务节点，并形成标记事件；所述均衡调度服务器，用于提供任务均衡策略，并提供一个预先注册的参与任务调度的唯一标示；所述任务服务集群，用于监听所述标记事件，并将所述标记事件内的标记与所述唯一标示进行匹配，然后将所述任务在所述任务服务节点上加载运行。

【技术特征摘要】
2016.09.05 CN 20161080291911.一种分布式任务调度运维监控系统，其特征在于，包括：管理服务系统、中控集群、均衡调度服务器和任务服务集群，其中，所述任务服务集群包括若干个任务服务节点；所述管理服务系统，用于进行任务配置，并通过消息队列将任务配置信息通知给中控集群；所述中控集群，用于接收管理服务系统发来的任务配置信息，并根据预设的任务均衡策略，在均衡调度服务器上将所述任务标记给根据所述预设的任务均衡策略选定的任务服务节点，并形成标记事件；所述均衡调度服务器，用于提供任务均衡策略，并提供一个预先注册的参与任务调度的唯一标示；所述任务服务集群，用于监听所述标记事件，并将所述标记事件内的标记与所述唯一标示进行匹配，然后将所述任务在所述任务服务节点上加载运行。2.根据权利要求1所述的一种分布式任务调度运维监控系统，其特征在于，所述中控集群还用于：周期性监控任务服务集群的运行状况；当有任务服务节点发生宕机事件时，中控集群检测到所述宕机事件，并将属于所述任务服务节点的任务重新指派给所述任务服务集群中的其他任务服务节点；当任务服务集群增加一个新的任务服务节点时，中控集群检测到所述新的任务服务节点，根据预设的任务均衡策略，将所述任务服务集群中其他任务服务节点的部分任务迁移给所述新的任务服务节点，使得所述任务服务集群中各个任务服务节点在所述预设的任务均衡策略下保存任务均衡。3.根据权利要求1或2所述的一种分布式任务调度运维监控系统，其特征在于，所述预设的任务均衡策略包括：分类任务量均衡策略：任务服务集群中各个任务服务节点执行的相同类型的任务个数均衡；分类任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的相同类型的任务次数均衡；总任务量均衡策略：任务服务集群中各个任务服务节点执行的任务个数均衡；总任务单位时间执行量均衡策略：任务服务集群中各个任务服务节点在单位时间内执行的任务次数均衡。4.根据权利要求1所述的一种分布式任务调度运维监控系统，其特征在于，所述在管理服务系统中进行任务配置具体为：在管理服务系统中配...

【专利技术属性】
技术研发人员：邹炜，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东;44