基于拓扑排序的任务编排方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，具体为一种基于拓扑排序的任务编排方法、装置、设备及存储介质，包括：启动跑批业务，并进行统一处理；统一处理包括：构建跑批业务的拓扑结构；根据拓扑结构，处理业务：当一个业务正常完成后，根据拓扑结构，判断是否存在依赖于该业务的下一业务，若存在，则触发该下一业务启动，直至完成跑批；在处理一个业务时，当一个业务中的任一子任务完成后，根据拓扑结构，判断是否存在依赖该子任务的下一子任务，若存在，则触发该下一子任务启动；在过程中进行异常监控。本方案以拓扑排序将跑批业务中的各业务以及其子任务进行串联，控制运行的过程和可视化操作，降低出错异常的概率。低出错异常的概率。低出错异常的概率。

【技术实现步骤摘要】
基于拓扑排序的任务编排方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，具体为一种基于拓扑排序的任务编排方法、装置、设备及存储介质。

技术介绍

[0002]使用计算机处理跑批业务，早在计算机诞生之初，便有相关的处理，早期计算机没有现代计算机的输入和输出设备，只能通过在纸带上打孔的方式进行输入输出，一笔一笔地处理数据，需要不停地打孔，读孔，既费时又费力。为了提高效率，渐渐形成了将要处理的数据积攒成“批”，在指定时间一次性进行处理，极大地减少了频繁打孔读孔的操作，提高了效率，这种处理方法，被称为批处理。现代计算机中跑批已经是一种很常见的处理业务的方式，例如：银行的计算机每天都会进行一次跑批，银行将所有分行还有办事处的信息录入到总的计算机内，进行处理、运算，再将第二天需要做的事情发布出去，比如：打印卡函，答应账单等。
[0003]因为跑批业务中存在大量数据需要在预期的时间内执行完毕，这些数据需要有数据视图来进行运行情况的监控，由于现有任务编排方法不能体现跑批业务中各任务之间存在的依赖关系，因此现有的数据视图对跑批业务中各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于拓扑排序的任务编排方法，其特征在于：包括如下内容：启动跑批业务，并进行统一处理；所述跑批业务中包含若干业务，每个业务中包含若干子任务；所述统一处理包括：构建跑批业务的拓扑结构；根据拓扑结构，处理业务：当一个业务正常完成后，通过消息推送机制进行进度的更新，根据拓扑结构，判断是否存在依赖于该业务的下一业务，若存在，则触发该下一业务启动，直至完成跑批；在处理一个业务时，当一个业务中的任一子任务完成后，通过消息推送机制进行进度的更新，并根据拓扑结构，判断是否存在依赖该子任务的下一子任务，若存在，则触发该下一子任务启动；在统一处理过程中，若发生异常，则通过消息推送机制进行进度更新，并进行人工主动重试；若人工主动重试失败，则通过告警机制进行告警。2.根据权利要求1所述的基于拓扑排序的任务编排方法，其特征在于：所述统一处理包括两种处理模式：自动模式和人工模式。3.根据权利要求1所述的基于拓扑排序的任务编排方法，其特征在于：所述构建跑批业务的拓扑结构是基于跑批业务的邻接表数据结构进行构建拓扑结构，且拓扑结构中每一节点为跑批业务中一业务或者业务中一子任务。4.根据权利要求3所述的基于拓扑排序的任务编排方法，其特征在于：所述根据拓扑结构，处理业务，包括：根据拓扑结构获取每个节点的入度；查询现有业务以及其子任务的执行情况，更新拓扑结构，并将入度为零的节点，判定为可执行的业务实例，通过消息推送机制进行进度的更新；根据业务实例的数据情况，进行子任务的数据的捞取和子任务消费的消息的分发，通过缓存机制进行统计数据的原子更新；完成消息的分发后，开启守护线程，进行进度的维护管理；若收到子任务消费的消息，则对子任务进行处理，并通过消息推送机制更新统计数据；若守护线程获取到业务已经完成的消息，根据拓扑结构，判断是否存在依赖于该业务的下一业务，若存在，则通过消息推送机制触发该下一业务启动，直至完成跑批。5.根据权利要求4所述的基于拓扑排序的任务编排方法，其特征在于：所述构建跑批业务的拓扑结构前，还包括在统一消息处理入口采用分布式锁机制，所述统一消息入口为所有消息进行分发均经过的入口。6.基于拓扑排序的任务编排装置，其特征在于：包括：跑批任务触发模块、控制模块、数据处理模块、预警模块和管理模块；跑批任务触发模块，用于启动跑批业务；所述控制模块，用于进行进度更新；所述数据处理模块，用于对业务以及其子任务进行统一处理，包括：构建跑批业务的拓扑结构；根据拓扑结构，处理业务，其中当一个业务正常完成后，通过消息推送机制触...

【专利技术属性】
技术研发人员：罗元卿，向豪，刘宁，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：