【技术实现步骤摘要】
一种基于airflow调度系统的DAG依赖配置工具
[0001]本专利技术属于信息
,具体涉及一种DAG依赖关系的页面配置工具,及airflow的一些增强功能。
技术介绍
[0002]21世纪以来,我国的科技不断发展进步,互联网的出现产生了大量的数据信息,人类已进入“大数据”时代。在这样一个时代背景下,依靠大数据展开的数据挖掘、机器学习等算法应用于各行各业,那么各个数据、算法逻辑之间的调用关系及调用时间点等存在着紧密的关系。传统的通过crontab等计算机系统自带的定时工具已无法满足需求,并严重影响生产效率,于是出现了一些调度系统,但是这些调度系统往往需要使用人员要有较高的软件开发能力才能很好定义调度依赖。那么如何快速的定义调度中的任务以及各个任务之间的关系显得尤为重要。调度系统实际使用者往往并不是开发人员,而是数据分析师、项目经理等非软件开发人员,所以降低使用者的技术门槛也很显得非常迫切。
技术实现思路
[0003]基于airflow调度系统使用门槛高的现状,结合使用人群包含非技术人员等特点,本专利技 ...
【技术保护点】
【技术特征摘要】
1.一种基于airflow调度系统的DAG依赖配置工具,其特征在于包括DAG图渲染模块、DAG图数据格式检查模块、DAG图编辑模块、数据结果校验模块、后台接口管理模块和DAG图的多版本管理模块;DAG图数据格式检查模块用于检查用户输入的配置数据,是否满足定义规则,是否为所支持的类型;其中支持的类型能够根据实际使用场景进行动态扩展;DAG图编辑模块包括图和全局配置页面、主机配置页面、点配置页面、边配置页面、点校验配置页面;数据结果校验模块实现了校验节点执行结果准确性的功能;该功能通过给每个节点附加一个或多个数据校验任务,为数仓或测试团队提供校验入口。2.根据权利要求1所述的一种基于airflow调度系统的DAG依赖配置工具,其特征在于DAG图编辑模块中页面配置流程实现如下:步骤1:创建DAG图Ⅰ;在“图和全局配置”页面新增图Ⅰ,配置图信息,具体包括租户ID、图名称、执行超时时间、任务开始时间;步骤2:配置主机信息;在“主机配置页面”填写任务标签、主机IP、主机账号、主机密码和主机指令路径;步骤3:配置节点信息;在“节点”配置页面配置该点所属图的名称、节点的名称、节点的任务类型、节点的任务标签、节点的实例化参数、节点的执行超时阈值;步骤4:配置边信息;“边”即任务与任务之间的一条有向的连线,用以表示两者间的执行顺序;在“边配置”页面通过填写边的入点名称和出点名称即可完成一条边的新增;步骤5:配置节点的校验配置;输入校验任务名称、校验任务类型、校验任务标签、校验任务行为、校验任务实例化。3.根据权利要求2所述的一种基于airflow调度系统的DAG依赖配置工具,其特征在于数据结果校验模块具体流程实现如下:在图中的每个节点后面添加与之对应的任务,设节点任务A添加了一个数据校验任务A',当节点任务A执行完毕后,会执行数据校验任务A'进行数据准确性检查;数据校验任务按行为类型分为阻塞型和通知型:阻塞型数据检验任务A
’
在执行失败后不再往下执行,同时会发出警告通知;通知型数据检验任务A
’
在执行失败后仍会继续往下执行,同时发出警告通知;数据校验任务按调用方式类型分为脚本型和服务型:脚本型数据检验任务是指,校验任务为具体的某个脚本;服务型数据校验任务是,校验任务为具体配置好的某个平台所提供的API服务。4.根据权利要求3所述的一种基于airflow调度系统的DAG依赖配置工具,其特征在于DAG图渲染模块具体流程实现如下:步骤(1):从数据库中读取之前在页面配置的图信息、主机信息、点信息、边信息;步骤(2):使用DAG图数据格式检查模块对步骤(1)读取到的数据按照模块中定义好的规则进行校验,具体校验规则如下:
①
图名称是否重复;
②
主机信息是否符合规则,如ip、用户名、密码不能为空,任务标签是否在规定好的标签集合中;
③
主机名称是否重复;
④
节点名称是否重复;
⑤
节点所引用主机信息是否有定义;
⑥
边所定义的入点名称和出点名称是否都有定义;
⑦
边名称是否重复;入点名称和出点名称组合后不能同时重复;
⑧
所有的边合在一起是否成环;步骤(3):规则校验通过后,根据节点的配置信息以及图的配置信息,确定单个节点的最终配置参数;步骤(4):生成对应的任务执行命令。5.根据权利要求4所述的一种基于airflow调度系统的DAG依赖配置工具,其特征在于节点的配置信息和图的配置信息关系如下:设图的配置为{k1:v1,k2:v2,...,kn:vn}:1)当节点的配置为NULL时,则节点的配置信息和图的配置信息最终填充为{k1:v1,k2:v2,...,kn:vn},即引用全...
【专利技术属性】
技术研发人员:陈灿,王一君,陈佳慧,王光华,
申请(专利权)人:杭州览众数据科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。