【技术实现步骤摘要】
本申请实施例涉及大数据，尤其涉及一种分布式任务调度方法、装置、电子设备及存储介质。
技术介绍
1、在大数据时代，随着企业体量的增大，业务多元化的发展，企业内部大数据应用的需求不断增强，数据已经成为了企业的核心资产。同时，企业数字化转型带来的效率提高、成本降低、竞争获利等优点也推动了数据中台的普及。而大数据任务调度系统负责数据领域所有上线任务的编排调度，是数据中台的重要组成部分。任务调度可以保证数据中台的各个模块和组件能够按照一定的顺序执行相应的任务，确保数据中台的稳定和高效运行。目前，已有多种任务调度系统被开发出来，例如hadoop、airflow、celery等。但传统的调度系统通常存在调度效率低、容错性差、易于出现死锁的问题。
2、如何在任务流转环节多，系统协作关系复杂，任务依赖性强的情况下，研究分析影响任务调度的各种因素，实现高效的任务调度是当前遇到面临的一个技术问题难点。
技术实现思路
1、本申请提供一种任务调度方法、装置、电子设备及存储介质，可以在任务流转环节多，系统协作关系复杂，任务依赖性强的情况下，实现高效的任务调度，从而可以提升数据利用率、保障任务稳定性、提高任务灵活性。
2、第一方面，本申请实施例提供了一种分布式任务调度方法，应用于数据中台，所述方法包括：
3、接收用户在可视化显示界面的任务类型中通过拖动操作所添加的待调度任务相关的信息；
4、根据所述待调度任务相关的信息，构建所述待调度任务对应的有向无环图dag模型
5、将所述dag模型发送至任务调度集群中的主服务器，使得所述主服务器基于所述dag模型将所述待调度任务分解为多个子任务，并将各个子任务分别提交至所述任务调度集群中对应的工作服务器，由所述工作服务器对接收到的子任务进行调度；其中，所述主服务器和各个工作服务器分别部署：任务调度器、任务管理器、任务执行器、任务监控器和数据传输器。
6、第二方面，本申请实施例还提供了一种分布式任务调度方法，应用于任务调度集群中的主服务器，所述方法包括：
7、接收数据中台发送的待调度任务对应的dag模型；
8、基于所述dag模型将所述待调度任务分解为多个子任务；
9、将各个子任务分别提交至所述任务调度集群中对应的工作服务器，使得所述工作服务器对接收到的子任务进行调度。
10、第三方面，本申请实施例还提供了一种分布式任务调度装置，所述装置包括：第一接收模块、构建模块和第一发送模块；其中，
11、所述第一接收模块，用于接收用户在可视化显示界面的任务类型中通过拖动操作所添加的待调度任务相关的信息；
12、所述构建模块，用于根据所述待调度任务相关的信息，构建所述待调度任务对应的dag模型；
13、所述第一发送模块，用于将所述dag模型发送至任务调度集群中的主服务器，使得所述主服务器基于所述dag模型将所述待调度任务分解为多个子任务，并将各个子任务分别提交至所述任务调度集群中对应的工作服务器，由所述工作服务器对接收到的子任务进行调度；其中，所述主服务器和各个工作服务器分别部署：任务调度器、任务管理器、任务执行器、任务监控器和数据传输器。
14、第四方面，本申请实施例还提供了一种分布式任务调度装置，所述装置包括：第二接收模块、分解模块和第二发送模块；其中，
15、所述第二接收模块，用于接收数据中台发送的待调度任务对应的有向无环图dag模型；
16、所述分解模块，用于基于所述dag模型将所述待调度任务分解为多个子任务；
17、所述第二发送模块，用于将各个子任务分别提交至所述任务调度集群中对应的工作服务器，使得所述工作服务器对接收到的子任务进行调度。
18、第五方面，本申请实施例提供了一种电子设备，包括：
19、一个或多个处理器；
20、存储器，用于存储一个或多个程序，
21、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的分布式任务调度方法。
22、第六方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的分布式任务调度方法。
23、本申请实施例提出了一种分布式任务调度方法、装置、电子设备及存储介质，数据中台先接收用户在可视化显示界面的任务类型中通过拖动操作所添加的待调度任务相关的信息；然后根据待调度任务相关的信息，构建待调度任务对应的dag模型；再将dag模型发送至任务调度集群中的主服务器，使得主服务器基于dag模型将待调度任务分解为多个子任务，并将各个子任务分别提交至任务调度集群中对应的工作服务器，由工作服务器对接收到的子任务进行调度。也就是说，在本申请的技术方案中，可以由主服务器基于dag模型对待调度任务进行分解，由工作服务器对子任务进行调度。而在现有技术中，传统的调度系统通常存在调度效率低、容错性差、易于出现死锁的问题。因此，和现有技术相比，本申请实施例提出的分布式任务调度方法、装置、电子设备及存储介质，可以在任务流转环节多，系统协作关系复杂，任务依赖性强的情况下，实现高效的任务调度，从而可以提升数据利用率、保障任务稳定性、提高任务灵活性；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
本文档来自技高网...【技术保护点】
1.一种分布式任务调度方法，其特征在于，应用于数据中台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待调度任务相关的信息，构建所述待调度任务对应的有向无环图DAG模型，包括：
3.根据权利要求1所述的方法，其特征在于，根据所述多个子流程节点以及所述多个子流程节点之间的依赖关系构建所述DAG模型，包括：
4.一种分布式任务调度方法，其特征在于，应用于任务调度集群中的主服务器，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，基于所述DAG模型将所述待调度任务分解为多个子任务，包括：
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
7.一种分布式任务调度装置，其特征在于，所述装置包括：第一接收模块、构建模块和第一发送模块；其中，
8.一种分布式任务调度装置，其特征在于，所述装置包括：第二接收模块、分解模块和第二发送模块；其中，
9.一种电子设备，其特征在于，包括：
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行
...【技术特征摘要】
1.一种分布式任务调度方法，其特征在于，应用于数据中台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待调度任务相关的信息，构建所述待调度任务对应的有向无环图dag模型，包括：
3.根据权利要求1所述的方法，其特征在于，根据所述多个子流程节点以及所述多个子流程节点之间的依赖关系构建所述dag模型，包括：
4.一种分布式任务调度方法，其特征在于，应用于任务调度集群中的主服务器，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，基于所述dag模型将所述待...
【专利技术属性】
技术研发人员：谢海琴，张莹，闵成波，
申请(专利权)人：海尔数字科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。