一种优化批量任务调度依赖的方法技术

本发明专利技术一种优化批量任务调度依赖的方法，包括：A.在调度系统实现中，在系统内置一个标准的持久化任务信息消息系统；B.支持依赖任务对消息系统内的消息进行订阅配置；C.被依赖任务运行结束后，调度器向数据库层写入该任务的消息信息；D.调度器检查被依赖任务是否已发布消息信息；E.依赖任务订阅被依赖任务信息，信息发布后接收订阅信息执行本任务。本发明专利技术内置标准化消息存储，解决跨工作流、跨项目依赖，可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务。从而简化了跨工作流依赖配置，工作流配置更加简单明了，提高了工作流运行效率。

【技术实现步骤摘要】
一种优化批量任务调度依赖的方法
本专利技术涉及计算机
，尤其涉及一种优化批量任务调度依赖的方法。
技术介绍
工作流是对工作流程及工作流程中各业务之间如何前后组织在一起的逻辑规则的抽象、概括、描述。工作流概念起源于生产组织和办公自动化领域，是针对日常工作中具有固定程序活动而提出的一个概念，目的是通过将工作分解成定义良好的流程或角色，按照一定的规则和过程来执行这些流程并对其进行监控，达到提高工作效率、更好的控制过程、增强对客户的服务、有效管理业务流程等目的。任务调度平台是一个集群系统，包括管理节点、计算节点、登录节点等多类节点。任务调度平台通过管理软件提供集群资源管理、集群资源监控、任务调度、任务运行和任务监控等功能。任务调度平台主要应用于高性能计算、网格计算和并行计算等领域，为计算任务提供自动化调度管理，通过各种资源管理策略使大量任务共享集群资源来提高整体资源利用率。任务调度平台为计算任务提供自动化调度管理，在自动化办公领域，许多工作流系统的业务需要调用任务调度平台来实现大规模的计算任务。当前任务调度系统中，任务间的依赖关系主要通过工作流DAG(有向无环图)描述任务间的依赖关系。依赖关系也仅限于工作流内部，跨工作流依赖、跨项目依赖处理起来只能通过文件检测、数据库检测等方式进行，内部实现复杂且有诸多不便。
技术实现思路
本专利技术提供了一种优化批量任务调度依赖的方法，将工作流外部依赖标准化，简化跨工作流依赖配置，能够使处理工作流配置变得更加简单明了。本专利技术一种优化批量任务调度依赖的方法，包括：A.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置，其中任务主题即消息发布任务C，任务业务时间和消息状态根据工作流a运行时的状态而产生；B.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；C.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；D.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息，由此继续执行消息订阅任务F;若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；E.消息订阅任务F申请订阅消息发布任务C的消息信息后，若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息的工作流b,工作流b继续执行工作任务。本专利技术通过将任务执行状态及其配置参数存储标准化，将工作流核心任务信息暴露至标准信息存储中并提供可编程API将工作流外部依赖标准化，从而简化了跨工作流依赖配置处理，使工作流配置更加简单明了。进一步的，步骤B包括：消息订阅任务F依赖于步骤A所述工作流a中的消息发布任务C，即消息发布任务C运行结束后才能运行消息订阅任务F。本专利技术处理的是不同工作流之间的任务依赖问题，一工作流中的一任务必须依赖于另一工作流中的一任务执行完成后才能开始执行。本专利技术将任务执行状态及其配置参数存储标准化，将工作流核心任务信息暴露至标准信息存储中并提供可编程API，将工作流外部依赖标准化从而了简化跨工作流依赖配置处理，使工作流配置更加简单明了。由于可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务，从而提高任务系统运行效率。以下结合实施例的具体实施方式，对本专利技术的上述内容再作进一步的详细说明。但不应将此理解为本专利技术上述主题的范围仅限于以下的实例。在不脱离本专利技术上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本专利技术的范围内。附图说明图1为本专利技术一种优化批量任务调度依赖的方法的流程图。具体实施方式如图1所示本专利技术一种优化批量任务调度依赖的方法，包括：A.在调度系统实现中，在系统内置一个标准的持久化任务信息消息系统，消息系统需要记录以下信息：任务主题、任务业务时间和消息状态；A1.对工作流a中的被依赖任务C定义为消息发布任务，在消息发布任务C运行结束后，支持该任务对本任务的消息进行发布，本任务的消息包括：任务主题、任务业务时间和消息状态，任务主题即本消息发布任务C,任务业务时间和消息状态的数据则由工作流运行时状态产生。B.在配置过程中，支持依赖任务对消息系统内的消息进行订阅配置；B1.对工作流b中的依赖任务F定义为消息订阅任务，支持消息订阅任务对消息系统内消息发布任务C消息的订阅；B2.消息订阅任务订阅的消息包括：消息发布任务的任务主题、任务业务时间和消息状态，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息。C.当工作流a中的消息发布任务C运行结束后，调度器向数据库层写入该任务的消息信息，并唤醒已订阅该主题及其对应业务时间/系统时间的工作流。D.调度器检查消息发布任务C是否已发布消息；D1.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息，由此继续执行消息订阅任务F。若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息的工作流b,工作流b继续执行工作任务。E.消息订阅任务F接收到订阅消息，开始执行本任务。本专利技术将任务执行状态及其配置参数存储标准化，内置标准化消息存储，解决跨工作流、跨项目依赖，可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务。从而简化了跨工作流依赖配置，工作流配置更加简单明了，提高了工作流运行效率。本文档来自技高网...

【技术保护点】
1.一种优化批量任务调度依赖的方法，其特征包括：/nA.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置；/nB.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；/nC.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；/nD.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息信息，由此继续执行消息订阅任务F;若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；/nE.若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息信息的工作流b,工作流b继续执行工作任务。/n...

【技术特征摘要】
1.一种优化批量任务调度依赖的方法，其特征包括：
A.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置；
B.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；
C.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；
D.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅...

【专利技术属性】
技术研发人员：陈卫，谭巍，李烨，张川，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：四川;51