【技术实现步骤摘要】
一种分布式任务调度方法及系统
本专利技术涉及计算机
，特别涉及一种分布式任务调度方法及系统。
技术介绍
分布式任务调度，是指将一个应用或者业务划分为多个任务交由多个服务器进行处理。分布式任务调度可解决单个服务器资源不足等问题，达到大规模数据处理的目的。分布式框架有很多，其中传统的Zookeeper分布式应用程序协调服务，其对数据进行分片，分配给多个应用服务器去执行处理，实现并行执行，从而提升了处理速度。但是由于Zookeeper需要管理很多应用服务器，每个任务开始及结束的记录也都需要写入Zookeeper，造成Zookeeper的负担比较重，而且如果要加入新的应用服务器，也需要在Zookeeper上进行操作，进一步加大了其负担，且不能实现应用服务器的动态扩充。专利号为CN106993019A的中国专利公布的分布式任务调度方法和系统，虽然减少了Zookeeper的负担，实现了动态扩充应用服务器。但是，其任务调度引擎集成在应用服务器(即客户端)中，服务端只负责任务的监控、客户端任务集群的协调工作，这种方式的缺点是任务之间的依赖关系难以维护，难以扩展新功能。专利技...
【技术保护点】
1.一种分布式任务调度方法，其特征在于，所述方法包括如下步骤：S1：客户端服务器启动后自动扫描所有任务，与中间服务器建立链接，将自身信息及任务信息上报给中间服务器；S2：所述中间服务器获取客户端服务器信息和任务信息，并根据任务配置信息，将一个任务拆分为多个独立的子任务后分配给各客户端服务器；S3：所述客户端服务器执行所述中间服务器分配的子任务。
【技术特征摘要】
1.一种分布式任务调度方法，其特征在于，所述方法包括如下步骤：S1：客户端服务器启动后自动扫描所有任务，与中间服务器建立链接，将自身信息及任务信息上报给中间服务器；S2：所述中间服务器获取客户端服务器信息和任务信息，并根据任务配置信息，将一个任务拆分为多个独立的子任务后分配给各客户端服务器；S3：所述客户端服务器执行所述中间服务器分配的子任务。2.根据权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S2还包括：所述中间服务器获取任务信息后，根据任务间的前后关系，对多个任务进行流程编排，形成一个有向无环图类型的任务流程。3.根据权利要求2所述的分布式任务调度方法，其特征在于，所述步骤S3还包括：在所述客户端服务器执行所述中间服务器分配的子任务前，所述中间服务器判断所述子任务对应的任务是否是流程任务，若是，则生成相应的有向无环执行图，按照所述有向无环执行图顺序依次向相应客户端服务器发送子任务执行请求，若不是，则直接向相应客户端服务器发送子任务执行请求。4.根据权利要求3所述的分布式任务调度方法，其特征在于，所述向相应客户端服务器发送子任务执行请求前，还包括：先判断当前子任务在哪台中间服务器上，然后向该子任务所在的中间服务器发送子任务执行请求，再将子任务执行请求转发到相应的客户端服务器。5.根据权利要求2至4任意一项所述的分布式任务调度方法，其特征在于，所述步骤S3还包括：所述客户端服务器执行所述中间服务器分配的子任务后，所述客户端服务器将子任务执行状态上报给当前中间服务器，若子任务的调用方是当前中间服务器，则所述当前中间服务器接收到子任务执行状态后，根据任务配置以及有向无环执行图状态确定流程任务状态、以及是否执行下一层子任务，若子任务的调用方不是当前中间服务器，则所述当前中间服务器将子任务执行状态路由到目标中间服务器，所述目标中间服务器接收到子任务执行状态后，根据任务配置以及有向无环执行图状态确定流程任务状态、以及是否执行下一层子任务。6.根据权利要求1至4任意一项所述的分布式任务调度方法，其特征在于，所述步骤S2还包括：所述中间服务器获取客户端服务器信息和任务信息后，所述中间服务器将具有相同任务信息的客户端服务器划分为一个任务群组进行管理。7.根据权利要求6所述的分布式任务调度方法，其特征在于，所述步骤S2还包括：所述中间服务器监听所述任务群组中的客户端服务器，当有新的客户端服务器上线，或现有客户端服务器下...
【专利技术属性】
技术研发人员：熊杰，付本成，
申请(专利权)人：众安在线财产保险股份有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。