【技术实现步骤摘要】
一种分布式作业调度处理方法
本专利技术涉及调度处理领域,尤其涉及一种分布式作业调度处理方法。
技术介绍
作业调度是一种比较常见的软件功能,往往用于定时任务或者间歇性执行的任务,比如售票系统的定时放票任务,金融交易电子合约的到期处理任务,电子商务平台的整点秒杀任务,这些任务的可靠性都非常重要。传统的定时任务软件是属于业务系统的一部分,往往由每个业务系统自行开发作业调度功能,这就存在几个弊端,一是作业调度功能和业务功能耦合在一起,业务系统的运维可能影响作业调度功能的执行;二是每个作业调度需要自行开发,比如并发控制、分片处理、作业监控、任务启停这些功能容易浪费资源投入,功能质量也不如统一开发的完善;三是作业任务分散在每个业务系统中,给系统运维管理造成很大的困难;四是有些业务系统为了避免并发执行带来的问题,往往采用单点任务调度,这会对软件可靠性带来很大的影响,如果这个单点任务调度由于某种原因停止,则后续定时任务将无法执行,这将对业务运营带来不可估量的损失。
技术实现思路
本专利技术提供的一种分布式作业调度处理方法 ...
【技术保护点】
1.一种分布式作业调度处理方法,其特征在于,包括注册中心、调度器、执行器、日志处理器和管理平台;/n启动所述执行器和所述调度器并将节点信息注册到所述注册中心,将注册信息保存到数据库,在所述注册中心订阅执行器信息,通过集群选举决定主调度器和从调度器,对所述主调度器进行并发检测,通过所述并发检测后根据路由策略选择相应的执行器,进行分片并行执行;/n将所述调度器和所述执行器的运行信息保存到消息中间件,根据所述消息中间件获取运行数据并保存到数据库,所述日志处理器发现异常运行信息则进行预警;/n读取数据库中节点注册信息并由所述管理平台进行管理,将数据发送给所述注册中心对所述调度器和所 ...
【技术特征摘要】 【专利技术属性】
1.一种分布式作业调度处理方法,其特征在于,包括注册中心、调度器、执行器、日志处理器和管理平台;
启动所述执行器和所述调度器并将节点信息注册到所述注册中心,将注册信息保存到数据库,在所述注册中心订阅执行器信息,通过集群选举决定主调度器和从调度器,对所述主调度器进行并发检测,通过所述并发检测后根据路由策略选择相应的执行器,进行分片并行执行;
将所述调度器和所述执行器的运行信息保存到消息中间件,根据所述消息中间件获取运行数据并保存到数据库,所述日志处理器发现异常运行信息则进行预警;
读取数据库中节点注册信息并由所述管理平台进行管理,将数据发送给所述注册中心对所述调度器和所述执行器进行启停控制。
2.根据权利要求1所述的一种分布式作业调度处理方法,其特征在于,所述调度器和所述执行器之间采用异步通讯,并且调度信息保存在消息中间件中,所述执行器接受所述调度器的调度通知,对所述调度器制定的作业进行执行并在执行过程中记录相应的执行信息,将执行信息保存到消息中间件中。
3.根据权利要求1所述的一种分布式作业调度处理方法,其特征在于,所述管理平台包括:调度器管理、应用管理、应用节点管理、任务管理、日志查询、统计报表,所述管理平台可对所述调度器调度作业过程进行人工干预,所述管理平台控制所述调度器、所述执行器和所述执行器中执行的作业。
技术研发人员:郑光明,黄书东,郭子林,
申请(专利权)人:浙江电子口岸有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。