任务调度方法、系统、电子设备及计算机可读存储介质技术方案

本申请公开了一种任务调度方法、系统、电子设备及计算机可读存储介质，涉及任务调度领域，应用于任务调度平台中的主服务节点，任务调度平台还包括用于存储任务指令的数据库和至少一个用于下发任务指令的队列，任务调度方法包括：在当前查询周期，查询各个队列中的任务指令对应的任务数量；判断是否存在任务数量小于预设数量的目标队列；若是，从数据库中读取任务指令，并将任务指令写入目标队列，以便目标队列将任务指令下发到任务调度平台中对应的工作服务节点。本申请能够避免因对数据库频繁读取所造成的网络通信故障以及数据丢失等问题，保证大量任务存在时的高频读写的稳定性。性。性。

【技术实现步骤摘要】
任务调度方法、系统、电子设备及计算机可读存储介质


[0001]本申请涉及任务调度领域，特别涉及任务调度方法、系统、电子设备及计算机可读存储介质。

技术介绍

[0002]Dolphinscheduler是一个分布式去中心化、易扩展的可视化DAG(Directed Acyclic Graph，有向无环图)工作流任务调度平台。现有的Dolphinscheduler的整体架构图参照图1所示，其任务分发流程如下：UI层将任务指令发送到API层，API层将任务指令持久化存储在传统的关系型数据库DB中，然后主服务节点Master server扫描关系型数据库中的任务指令，并将扫描到的任务指令发送至工作服务节点Worker server。在现有的dolphinscheduler的持久化存储的结构设计下，执行少量任务时可以满足稳定性的要求，当大量任务并发执行时，Master server的监控线程需要频繁读写关系型数据库以保证任务指令的正常下发，而频繁读写数据库会造成网络通信故障以及数据丢失。
[0003]因此，如何提供一种解决上述技术问题的方案是本领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，应用于任务调度平台中的主服务节点，所述任务调度平台还包括用于存储任务指令的数据库和至少一个用于下发所述任务指令的队列，所述任务调度方法包括：在当前查询周期，查询各个所述队列中的所述任务指令对应的任务数量；判断是否存在所述任务数量小于预设数量的目标队列；若是，从所述数据库中读取所述任务指令，并将所述任务指令写入所述目标队列，以便所述目标队列将所述任务指令下发到所述任务调度平台中对应的工作服务节点。2.根据权利要求1所述的任务调度方法，其特征在于，所述判断是否存在所述任务数量小于预设数量的目标队列之后，该任务调度方法还包括：若判定存在所述目标队列，确定所述目标队列对应的当前指令写入数量；从所述数据库中读取所述任务指令的过程包括：从所述数据库中读取所述当前指令写入数量的所述任务指令。3.根据权利要求1所述的任务调度方法，其特征在于，所述判断是否存在所述任务数量小于预设数量的目标队列之后，该任务调度方法还包括：若存在多个所述目标队列，确定各个所述目标队列的读取优先级；从所述数据库中读取所述任务指令的过程包括：按所述读取优先级由高到低的顺序，从所述数据库中读取每一所述目标队列对应的所述任务指令。4.根据权利要求1所述的任务调度方法，其特征在于，从所述数据库中读取所述任务指令的过程包括：从所述数据库中读取设有待执行标识的任务指令。5.根据权利要求1
‑
4任意一项所述的任务调度方法，其特征在于，所述任务调度方法还包括：获取各个所述工作服务节点反馈的所述任务指令的响应信息，将所述响应信息存储到预设暂存空间；当满足存储条件，将所述预设暂存空间中存储的各个所述...

【专利技术属性】
技术研发人员：董开元，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：