一种基于数据处理的任务智能调度引擎设计方法技术

技术编号:16874881 阅读:183 留言:0更新日期:2017-12-23 12:33
本发明专利技术公开了一种基于数据处理的任务智能调度引擎设计方法,包括如下步骤:S1:任务配置管理,S2:任务执行条件管理,S3:任务依赖关系管理,S4:任务后续处理,S5:任务执行情况监控,S6:任务异常情况处理,S7:查看队列中的任务,S8:任务调度服务程序。本发明专利技术以自动化的方式解决电信业务支撑部门每天人工取数、数据处理的一系列繁重过程,现在通信行业三大运营商都采用数据集中存储,建立数据仓库,而各地市分公司要取数据进行分析都要到省公司的数据仓库中抽取数据,抽取数据后还需要对数据进行清洗加工,获得地市自己需要的数据再进行经营分析。

A design method of task intelligent scheduling engine based on data processing

The invention discloses an intelligent task scheduling engine design method based on data processing, which comprises the following steps: S1: S2: configuration management tasks, task execution management, task dependency management, S3: S4: S5: follow-up treatment, task execution monitor, S6: the task of exception handling, see: S7 in the job queue, task scheduling service program: S8. The present invention in an automated way to solve the telecom business support department every day, take the number of artificial data processing of a series of arduous process, now the communications industry, the three operators with centralized data storage, data warehouse building, and branches around the city to take data analysis to the data warehouse, data extraction, data extraction it also need cleaning processing of data, then you need to get the business analysis data.

【技术实现步骤摘要】
一种基于数据处理的任务智能调度引擎设计方法
本专利技术涉及数据处理
,尤其涉及一种基于数据处理的任务智能调度引擎设计方法。
技术介绍
在企业级应用中,经常会制定一些“计划任务”,即在某个时间点做某件事情,核心是以时间为关注点,即在一个特定的时间点,系统执行指定的一个操作,任务调度涉及多线程并发、线程池维护、运行时间规则解析、运行现场的保护以恢复等方面。电信运营商每天在后台数据库中执行成百上千的数据抽取、统计任务,对这些任务的执行情况缺乏智能调度及监控,导致用户急需的事项往往需要等待,对统计出来的结果不能在第一时间发现问题。为了提升电信公司对营销数据的及时掌握,同时为了更高效率、高质量的保障对数据信息化的应用,电信部门需要从其它数据平台抽取数据,经过清洗加工整理,再经过一系列的数据处理才能得到业务部门所需要的数据进行展现,通过任务智能调度,及时获取数据,结合报表需求,为决策提供准确的、完整的、全面的数据分析。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点,而提出的一种基于数据处理的任务智能调度引擎设计方法。为了实现上述目的,本专利技术采用了如下技术方案:一种基于数据处本文档来自技高网...
一种基于数据处理的任务智能调度引擎设计方法

【技术保护点】
一种基于数据处理的任务智能调度引擎设计方法,其特征在于:包括如下步骤:S1:任务配置管理,定义任务并发数,配置任务属性,对新建任务定义任务优先级、任务对应的后台处理过程、执行周期等,可定义日任务、周任务、月任务、年任务及一次性任务,对周任务需指定开始时间是周几,对一次性任务需指定数据开始时间与截止时间;S2:任务执行条件管理,配置任务的执行条件,只有条件满足时任务才会被执行,可以配置任务执行的时间点、配置任务执行前进行的检查条件,只有当条件满足时任务才启动执行;S3:任务依赖关系管理,定义任务的依赖关系,一个任务可以依赖很多任务,也可以被很多任务依赖,任务只有当其所依赖的任务执行完成后才可以被...

【技术特征摘要】
1.一种基于数据处理的任务智能调度引擎设计方法,其特征在于:包括如下步骤:S1:任务配置管理,定义任务并发数,配置任务属性,对新建任务定义任务优先级、任务对应的后台处理过程、执行周期等,可定义日任务、周任务、月任务、年任务及一次性任务,对周任务需指定开始时间是周几,对一次性任务需指定数据开始时间与截止时间;S2:任务执行条件管理,配置任务的执行条件,只有条件满足时任务才会被执行,可以配置任务执行的时间点、配置任务执行前进行的检查条件,只有当条件满足时任务才启动执行;S3:任务依赖关系管理,定义任务的依赖关系,一个任务可以依赖很多任务,也可以被很多任务依赖,任务只有当其所...

【专利技术属性】
技术研发人员:娄必伟张起荣欧莹元
申请(专利权)人:贵州工程应用技术学院
类型:发明
国别省市:贵州,52

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1