一种任务调度方法及系统技术方案

技术编号:24573068 阅读:31 留言:0更新日期:2020-06-21 00:00
本发明专利技术涉及一种任务调度方法,包括以下步骤:获取当前任务以及对应当前任务的所有依赖任务;根据每个依赖任务在线编辑对应依赖任务的脚本数据;根据预设触发条件执行对应依赖任务的脚本数据;所有依赖任务执行完成后,执行当前任务。在本发明专利技术的技术方案中,解决了DAG任务内部依赖的限制,所有任务之间都能进行依赖,并且任务支持在线实时编辑。

A task scheduling method and system

【技术实现步骤摘要】
一种任务调度方法及系统
本专利技术涉及任务调度
,尤其涉及一种任务调度方法及系统。
技术介绍
随着近年来互联网技术的迅速发展,由于有些数据需要定时计算,人们对任务调度系统的依赖越来越大。但是大部分任务调度系统都是无法进行任务之间的细粒度依赖和无法在线实时编辑,导致任务开发者把大量的子任务写到一个任务中或者使用定时的方式实现。这样做的话增加了使用者的维护与开发成本,并且对任务的准确性也有影响。目前较出名的airflow调度以及azkaban都对于任务的依赖都是使用硬编码实现,每次任务的编辑都需要重新发布系统,难以动态维护。并且由于其硬编码的特性,只能支持到DAG内部任务之间的依赖,如果想要跨DAG之间的任务依赖,就需要升级到最新版本和编写更加复杂的代码,更新和维护成本巨大。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此,本专利技术的目的在于提供一种任务调度方法及系统,解决了DAG任务内部依赖的限制,所有任务之间都能进行依赖,并且任务支持在线实时编辑。为实现上述目本文档来自技高网...

【技术保护点】
1.一种任务调度方法,其特征在于,包括以下步骤:/n获取当前任务以及对应所述当前任务的所有依赖任务;/n根据每个所述依赖任务在线编辑对应所述依赖任务的脚本数据;/n根据预设触发条件执行对应所述依赖任务的所述脚本数据;/n所有所述依赖任务执行完成后,执行所述当前任务。/n

【技术特征摘要】
1.一种任务调度方法,其特征在于,包括以下步骤:
获取当前任务以及对应所述当前任务的所有依赖任务;
根据每个所述依赖任务在线编辑对应所述依赖任务的脚本数据;
根据预设触发条件执行对应所述依赖任务的所述脚本数据;
所有所述依赖任务执行完成后,执行所述当前任务。


2.根据权利要求1所述的任务调度方法,其特征在于:所述预设触发条件为定时触发、依赖触发和手动触发中的至少一种。


3.根据权利要求1或2所述的任务调度方法,其特征在于,根据预设触发条件执行对应所述依赖任务的所述脚本数据,包括以下步骤:
将所述脚本数据存入mysql数据库;
根据所述预设触发条件获取所述mysql数据库中对应所述依赖任务的最新所述脚本数据;
利用执行工具执行对应所述依赖任务的最新所述脚本数据。


4.根据权利要求3所述的任务调度方法,其特征在于:执行工具执行最新所述脚本数据为将最新所述脚本数据写入所述执行工具的执行文件上。


5.根据权利要求1或2所述的任务调度方法,其特征在于:采用dos2unix命令使所述脚本数据兼容win系统/linux系统/mac系统。


6.一种任务调度系统,其特征在于,包括:
获取模块,被设置为用于获取当前任务...

【专利技术属性】
技术研发人员:苏承祥
申请(专利权)人:杭州涂鸦信息技术有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1