DAG任务编排的方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种DAG任务编排的方法、装置、电子设备和存储介质，其中DAG任务编排的方法包括：定义DAG调度依赖图；定义DAG对象，通过DAG调度依赖图，实例化DAG对象；构建图链的DAG图，从图链的DAG图的根节点开始遍历，将每条遍历路径切割成若干个上下文链，切割条件为以下三个任意之一：当前节点的入度为1并且当前上下文的链的最后一个节点的出度为1；当前节点的入度为0；当前节点的入度为1且出度为0；定义线程池，为每个上下文链分配线程池；基于线程池，定义异步任务；提交任务给线程池执行，并获取最终结果。取最终结果。取最终结果。

【技术实现步骤摘要】
DAG任务编排的方法、装置、电子设备和存储介质


[0001]本专利技术涉及有向无环图(DAG)任务领域。

技术介绍

[0002]有向无环图(DAG)任务可以应用于多个场景，例如在搜索推荐场景中可以用DAG图来执行策略，在算法平台任务调度中可以用算子之间拼接成的DAG图来调度执行、在人群圈选任务中，Query也可解析成DAG图的方式，每个节点就是具体的交、并、补执行逻辑。
[0003]目前业界很少有返回依赖的DAG调度框架，现有的方式集中在每个线程处理一个节点，一般的步骤为：
[0004]1.定义DAG调度流程图，如图1所示，共有13个节点；
[0005]2.基于每个节点定义计算逻辑，形成异步执行方法；
[0006]3.定义线程池；
[0007]4.通过解析节点之间的关系，基于线程池，为每个阶段分配一个线程执行，13个节点分配13个线程池；
[0008]5.组织返回依赖，同步生成最终结果。
[0009]现有技术的缺点主要在于以下几个方面：
[0010]第一：每个节点都利用一个线程，导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DAG任务编排的方法，其特征在于，包括：定义DAG调度依赖图；定义DAG对象，通过DAG调度依赖图，实例化DAG对象；构建图链的DAG图，从图链的DAG图的根节点开始遍历，将每条遍历路径切割成若干个上下文链，切割条件为以下三个任意之一：当前节点的入度为1并且当前上下文的链的最后一个节点的出度为1；当前节点的入度为0；当前节点的入度为1且出度为0；定义线程池，为每个上下文链分配线程池；基于线程池，定义异步任务；提交任务给线程池执行，并获取最终结果。2.根据权利要求1所述的DAG任务编排的方法，其特征在于，还包括：用Guava来定义异步任务。3.根据权利要求1所述的DAG任务编排的方法，其特征在于，还包括：把所有上下文链按照原有的上下游关系填充到一开始构建的图链的DAG图。4.根据权利要求1所述的DAG任务编排的方法，其特征在于，还包括：循环遍历所有的根节点，直至遍历完所有根节点，形成新的图链的DAG图。5.根据权利要求1所述的DAG任务编排的方法，其特征在于，还包括：采用拓扑排序的方式把图链遍历出来。6.根据权利要求1所述的DAG任务编排的方法，其特征在于，还包括：基于遍历的结果，不停异步提交任务。7.一种DAG任务编排的装置，其特征在于，包括：DAG图切割模块，被配置为：定义DAG调度依赖图；定义DAG对象，通过DAG调度依赖图，实例化DAG对象；构建图链的DAG图，从图链的DAG图的根节点开始遍历，将每条遍历路径切割成若干个上下文链，...

【专利技术属性】
技术研发人员：宋亚恒，
申请(专利权)人：武汉紫阑信息技术有限公司，
类型：发明
国别省市：