一种分布式任务调度系统及方法技术方案

本发明专利技术公开了一种分布式任务调度系统及方法，该系统包括提交模块、调度模块、数据存储模块、执行模块和监视模块，所述分布式任务调度方法为：监视模块获取执行模块的使用信息；提交模块将文件解析任务提交给调度模块后，调度模块为每一个文件解析任务生成与之对应任务标识，并将文件解析任务放入到数据存储模块中进行存储，获取监视模块中存储的执行模块的使用信息，得到可用的执行模块，将文件解析任务分别发送至所述执行模块；执行模块对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。通过本发明专利技术解决了任务执行分发时的低实时性和用户感知较低的问题。

A distributed task scheduling system and method

The invention discloses a distributed task scheduling system and method, which comprises a submission module, a scheduling module, a data storage module, an execution module and a monitoring module. The distributed task scheduling method is as follows: the monitoring module obtains the use information of the execution module; the submission module submits the file parsing task to the scheduling module. After the block, the scheduling module generates the corresponding task identification for each file parsing task, and puts the file parsing task into the data storage module for storage, obtains the usage information of the execution module stored in the monitoring module, obtains the available execution module, and sends the file parsing task to the execution module separately. The execution module executes the tasks accordingly and feeds the execution results back to the scheduling module. The invention solves the problem of low real-time performance and low user perception when task execution is distributed.

【技术实现步骤摘要】
一种分布式任务调度系统及方法
本专利技术涉及任务调度
，特别是涉及一种基于硬件资源的分布式任务调度系统及方法.
技术介绍
最近几年，随着移动互联网技术的高速发展和网络的不断升级，相应的网络用户的数量也逐渐增多并且网络设备不断升级。这样用户在网络通信过程中，随之产生的话单和LET数据等也成倍增加，运行商服务器上的文件数量也会相应地增长。针对服务器上的大而多的数据文件，现有的方式是单台服务器开启多个线程对同类型的文件进行解析，并通过线程对文件进行分发解析。但是，这种方式会造成单台服务器资源负载过高以及解析不及时等问题，从而降低了用户的认可度和感知度。如何解决上述问题，已成为目前研究的重点。
技术实现思路
针对于上述问题，本专利技术提供一种分布式任务调度系统和方法，解决了任务执行的低实时性和用户感知较低的问题。为了实现上述目的，根据本专利技术的第一方面，提供了一种分布式任务调度系统，该系统包括：提交模块、调度模块、数据存储模块、执行模块和监视模块，其中，所述监视模块，用于对所述执行模块进行监视，获取所述执行模块的使用信息；所述提交模块，用于将文件解析任务提交给所述调度模块；所述调度模块，本文档来自技高网...

【技术保护点】
1.一种分布式任务调度系统，其特征在于，该系统包括：提交模块、调度模块、数据存储模块、执行模块和监视模块，其中，所述监视模块，用于对所述执行模块进行监视，获取所述执行模块的使用信息；所述提交模块，用于将文件解析任务提交给所述调度模块；所述调度模块，用于接收到文件解析任务后，为每一个文件解析任务生成与之对应任务标识，并将所述文件解析任务放入到数据存储模块中进行存储，获取所述监视模块中存储的执行模块的使用信息，得到可用的执行模块，将所述文件解析任务分别发送至所述执行模块；所述数据存储模块，用于存储所述文件解析任务的相关数据；所述执行模块，用于接收到所述文件解析任务后，对所述任务进行相应的执行处理，...

【技术特征摘要】
1.一种分布式任务调度系统，其特征在于，该系统包括：提交模块、调度模块、数据存储模块、执行模块和监视模块，其中，所述监视模块，用于对所述执行模块进行监视，获取所述执行模块的使用信息；所述提交模块，用于将文件解析任务提交给所述调度模块；所述调度模块，用于接收到文件解析任务后，为每一个文件解析任务生成与之对应任务标识，并将所述文件解析任务放入到数据存储模块中进行存储，获取所述监视模块中存储的执行模块的使用信息，得到可用的执行模块，将所述文件解析任务分别发送至所述执行模块；所述数据存储模块，用于存储所述文件解析任务的相关数据；所述执行模块，用于接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。2.根据权利要求1所述的系统，其特征在于，所述执行模块包括存储单元和询问单元，在所述执行模块接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块之后，所述存储单元，用于当所述调度模块出现故障时，存储所述文件解析任务和所述文件解析任务对应的执行结果；所述询问单元，用于当将执行结果反馈给所述调度模块时，询问所述调度模块是否有新的文件解析任务需要执行。3.根据权利要求1所述的系统，其特征在于，所述调度模块包括日志生成单元和判断单元，当所述执行模块将执行结果反馈给所述调度模块后，所述日志生成单元，用于根据所述执行结果生成任务执行日志，并将所述任务执行日志存储至所述数据存储模块；所述判断单元，用于根据所述执行结果判断是否要将所述执行结果反馈给所述提取模块，如果否，则将所述执行结果删除，如果是，则将所述执行结果发送至所述提取模块。4.根据权利要求3所述的系统，其特征在于，所述提取模块还包括处理单元，当所述判断单元将所述执行结果发送至所述提取模块时，所述处理单元，用于根据所述执行结果进行相应的响应。5.一种分布式任务调度方法，其...

【专利技术属性】
技术研发人员：周莅涛，谢绍光，秦伟，陈天立，陈立志，
申请(专利权)人：深圳市优网科技有限公司，
类型：发明
国别省市：广东,44