一种分布式任务处理系统及其使用方法技术方案

本发明专利技术涉及计算机系统领域，公开了一种分布式任务处理系统及其使用方法，通过流程优化设计，采用智能分布式任务分布组件，可以根据服务器运行情况，选用同步执行或拆分执行，实现服务器的资源负载均衡；经过合理设计的分布式任务处理系统，任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。

A distributed task processing system and its usage

The invention relates to the field of computer systems, and discloses a distributed task processing system and its use method. Through process optimization design, intelligent distributed task distribution component is adopted, and synchronous execution or split execution can be selected according to the operation of the server to realize resource load balancing of the server. Task processing cluster solves the problems of high single point CPU occupancy, high IO occupancy and the task can not be guaranteed to execute on time and efficiently.

【技术实现步骤摘要】
一种分布式任务处理系统及其使用方法
本专利技术涉及计算机系统领域，特别是一种分布式任务处理系统及其使用方法。
技术介绍
目前工业用控制系统，也就是所谓的可程序逻辑控制系统(ProgrammableLogicController，PLC)，其相当于是由电脑所构成，并且其可搭配不同的输入/输出模块(I/OModule)来进行接收(输入)及发送(输出)多种型态的电气或电子信号，以达到通过数字或模拟输入/输出模块来控制机器设备、制造处理流程及其它控制模块的电子系统。而在上述控制系统的架构上，由于公知的输入/输出模块并没有设计任何处理器而仅为硬件线路，因此是采用所谓的集中式处理架构来设计，以利用电脑的中央处理器来整合及控制所有连接的输入/输出模块。具体来讲，电脑必须针对所有输入/输出模块来安装特定的驱动程序，使中央处理器所搭配的固件程序得以支持输入/输出模块，以在整个控制系统进行运作时，由电脑的中央处理器来先扫描目前所有连接的输入/输出模块，并完成驱动联机。接着中央处理器再依控制操作程序的需求而来询问所欲控制的输入/输出模块，并要求回传所需数据。最后，中央处理器再针对输入/输出模块所回传的数据来进行运算处理，以完成控制系统的控制操作程序。然而，随着电脑所支持的输入/输出模块越来越多，中央处理器所搭配的固件程序也就随着驱动程序的安装而变得越来越庞大且复杂。而另一方面，中央处理器也由于必须肩负运算所有输入/输出模块所回传的数据，以致于整体运算量变得十分庞大，进而导致整个控制系统的效率会大幅地降低。
技术实现思路
本专利技术的目的在于提供一种分布式任务处理系统及其使用方法，以任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。为实现上述技术目的，达到上述技术效果，本专利技术公开了一种分布式任务处理系统，包括了任务分发组件；任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，任务查看组件和管理WEB组件用于查看和配置任务信息，任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。其中，任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。优选的，任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。其中，分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。优选的，分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。其中，任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。其中，管理WEB组件用B/S架构，基于MySQL数据库和开放API实现任务管理界面，根据任务需求去配置任务、删除任务、执行任务、暂停任务，查看任务分布情况、执行状态和日志，实时查看job服务器运行状态。本专利技术还公开了一种分布式任务处理系统的使用方法，采用上述处理系统，具体包括以下步骤：任务配置：在任务配置界面，配置任务执行需要的参数，执行时间、次数、CPU占用百分比、内存大小、业务参数；任务分发：把创建的任务分发到job执行服务器，包括单任务分发或多任务批量分发，分发过程根据job服务器的数量及资源占用情况进行选择发送，使服务器资源负载均衡；任务执行：基于Zookeeper注册中心，注册的任务根据分配的服务器去执行，任务的执行包括同步执行或拆分执行，拆分执行为将任务拆分为n个独立的任务子项，由分布式的服务器并行执行各自分配到的分片项；任务查看：实时查看任务的执行状态，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。优选的，还包括有任务管理，任务管理：对于已分发的任务可以进行人工干预，包括暂停任务、重启任务、删除任务、重新分发任务。优选的，还包括有服务器监控，服务器监控：监控job服务器资源的利用情况，包括CPU使用率、内存剩余情况、磁盘IO、磁盘剩余空间，并根据监控情况，增减服务器数量。本专利技术具有以下有益效果：1.本专利技术通过流程优化设计，采用智能分布式任务分布组件，可以根据服务器运行情况，选用同步执行或拆分执行，实现服务器的资源负载均衡。2.经过合理设计的分布式任务处理系统，任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。附图说明图1为本专利技术的逻辑示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。实施例1如图1所示，本专利技术公开了一种分布式任务处理系统，包括了任务分发组件；任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，任务查看组件和管理WEB组件用于查看和配置任务信息，任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。其中，任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。其中，分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。其中，任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。其中，管理WEB组件用B/S架构，基于MySQL数据库和开放API实现任务管理界面，根据任务需求去配置任务、删除任务、执行任务、暂停任务，查看任务分布情况、执行状态和日志，实时查看job服务器运行状态。本专利技术还公开了一种分布式任务处理系统的使用方法，采用上述处理系统，具体包括以下步骤：任务配置：在任务配置界面，配置任务执行需要的参数，执行时间、次数、CPU占用百分比、内存大小、业务参数；任务分发：把创建的任务分发到job执行服务器，包括单任务分发或多任务批量分发，分发过程根据job服务器的数量及资源占用情况进行选择发送，使服务器资源负载均衡；任务执行：基于Zookeeper注册中心，注册的任务根据分配的服务器去执行，任务的执行包括同步执行或拆分执行，拆分执行为将任务拆分为n个独立的任务子项，由分布式的服务器并行执行各自分配到的分片项；任务查看：实时查看任务的执行状态，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。任务管理：对于已分发的任务可以进行人工干预，包括暂停任务、重启任务、删除任务、重新分发任务。服务器监控：监控job服务器资源的利用情况，包括CPU使用率、内存剩余情况、磁盘IO、磁盘剩余空间，并根据监本文档来自技高网...

【技术保护点】
1.一种分布式任务处理系统，其特征在于，包括了任务分发组件；所述的任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，所述的任务查看组件和管理WEB组件用于查看和配置任务信息，所述的任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。

【技术特征摘要】
1.一种分布式任务处理系统，其特征在于，包括了任务分发组件；所述的任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，所述的任务查看组件和管理WEB组件用于查看和配置任务信息，所述的任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。2.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。3.如权利要求2所述的一种分布式任务处理系统，其特征在于：所述的任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。4.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。5.如权利要求4所述的一种分布式任务处理系统，其特征在于：所述的分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。6.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。7.如权利要求1所述的一种分布式任务处理系统，其特征在于...

【专利技术属性】
技术研发人员：陈碧勇，方敏，吕晔，
申请(专利权)人：厦门南讯软件科技有限公司，
类型：发明
国别省市：福建,35