一种基于数据的任务依赖方法及装置制造方法及图纸

本发明专利技术提出了一种基于数据的任务依赖方法及装置，其中，所述基于数据的任务依赖方法包括：S1：记录数据仓库中各个元任务的数仓表的元信息；S2：确定编写的新任务所依赖的依赖信息和所输出的新输出信息；以及S3：响应于所述依赖信息与所述数仓表的元信息之间存在关联，建立所述新任务和所述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务之间的依赖关系。的依赖关系。的依赖关系。

【技术实现步骤摘要】
一种基于数据的任务依赖方法及装置


[0001]本专利技术涉及一种计算机
，特别涉及一种基于数据的任务依赖方法 及装置。

技术介绍

[0002]在大数据平台中，随着业务发展，每天承载着成千上万的ETL(Extract
‑ꢀ
Transform
‑
Load数据抽取，转换，装载)任务调度，这些任务互相会有着各种 各样的依赖关系，执行先后顺序，每当上线新任务时，与已有的庞大的任务链 融合是对于数据研发人员很大的挑战，最棘手的就是梳理任务依赖关系。目前 现有的方案，更多的是对数据研发人员有较高的要求，需要非常了解整条任务 链的组成，精准的将任务集成进正确的位置，这个过程要求研发人员对于整体 要很了解，甚至对不是自己负责的任务也要了解才能完成这个工作，极大的消 耗了不必要的精力。
[0003]为解决现用技术问题的上述缺陷，有必要提出一种基于数据的任务依赖方 法及装置。

技术实现思路

[0004]有鉴于此，本专利技术提出了一种基于数据的任务依赖方法及装置，以至少部 分解决现有技术的问题或提出一种备选的基于数据的任务依赖方法。
[0005]为实现上述目的，本专利技术的第一方面提出了一种基于数据的任务依赖方法， 其中，所述基于数据的任务依赖方法包括：
[0006]S1：记录数据仓库中各个元任务的数仓表的元信息；
[0007]S2：确定编写的新任务所依赖的依赖信息和所输出的新输出信息；以及
[0008]S3：响应于所述依赖信息与所述数仓表的元信息之间存在关联，建立所述 新任务和所述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务 之间的依赖关系。
[0009]如上所述的基于数据的任务依赖方法，其中，在步骤S2和步骤S3之间 包括：
[0010]S22：分析所述依赖信息与所述数仓表的元信息之间是否关联。
[0011]如上所述的基于数据的任务依赖方法，其中，在步骤S2和步骤S22之间 包括：
[0012]S21：提交保存所述新任务，响应于所述新输出信息与所述数仓表的元信 息不重复，则执行步骤S22。
[0013]如上所述的基于数据的任务依赖方法，其中，在步骤S21中，响应于所述 新输出信息与所述数仓表的元信息重复，保存所述新任务失败。
[0014]如上所述的基于数据的任务依赖方法，其中，在步骤S3中，响应于所述 依赖信息与所述数仓表的元信息之间存在关联，且所述新任务的执行频率和所 述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务的执行频率 一致，建立所述新任务和所述依赖信息与所述数仓表的元信息之间存在关联所 对应的元任务之间的依赖关系。
[0015]如上所述的基于数据的任务依赖方法，其中，响应于所述依赖信息与所述 数仓表
的元信息之间存在关联，且所述新任务的执行频率和所述依赖信息与所 述数仓表的元信息之间存在关联所对应的元任务的执行频率不一致，保存所述 新任务失败。
[0016]如上所述的基于数据的任务依赖方法，其中，所述元信息包括表名、字段 名、字段类型、字段注释以及分区信息中的一种或多种。
[0017]本专利技术的第二方面提出了一种基于数据的任务依赖装置，其中，包括：
[0018]记录模块，用于记录数据仓库中各个元任务的数仓表的元信息；
[0019]确定模块，用于确定编写的新任务所依赖的依赖信息和所输出的新输出信 息；以及
[0020]建立模块，用于响应于所述依赖信息与所述数仓表的元信息之间存在关联， 建立所述新任务和所述依赖信息与所述数仓表的元信息之间存在关联所对应 的元任务之间的依赖关系。
[0021]本专利技术的第三方面提出了一种终端设备，包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理 器执行所述计算机程序时实现如上所述的基于数据的任务依赖方法的步骤。
[0022]本专利技术的第四方面提出了一种计算机可读存储介质，所述计算机可读存储 介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如 上所述的基于数据的任务依赖方法的步骤。
[0023]上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要 能够达到本专利技术的目的。
附图说明
[0024]图1为本专利技术实施例的一种基于数据的任务依赖方法的流程图；
[0025]图2为本专利技术实施例的基于数据的任务依赖方法的流程图；
[0026]图3为本专利技术实施例的基于数据的任务依赖方法的示意图；
[0027]图4为本专利技术实施例的基于数据的任务依赖装置的结构示意图；以及
[0028]图5为本专利技术实施例提供的终端设备的结构示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例， 并参照附图，对本专利技术进一步详细说明。
[0030]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能 解释为对本专利技术的限制。
[0031]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、
ꢀ“
一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们 称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元 件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包 括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的 列出项的全部或任一单元和全部组合。
[0032]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是 为了区分
两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二
”ꢀ
仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再 一一说明。
[0033]下面结合附图详细说明本专利技术实施例的技术方案。
[0034]如图1所示，本专利技术提出了一种基于数据的任务依赖方法，其中，本专利技术 的基于数据的任务依赖方法包括：
[0035]S1：记录数据仓库中各个元任务的数仓表的元信息。
[0036]具体地，元数据管理模块用于记录数据仓库中各个元任务的数仓表的元信 息，元信息诸如包括表名、字段名、字段类型、字段注释、分区信息等等。其 中表名在任务依赖中会使用到，标识每个任务依赖的表，以及产出的表。
[0037]S2：确定编写的新任务所依赖的依赖信息和所输出的新输出信息。
[0038]具体地，任务管理模块用于记录任务基本信息：包括任务名称、任务说明、 负责人、任务级别；执行信息：包括任务脚本、cron表达式、重试次数、报警 通知人；表信息：包括依赖表(即包含依赖信息的表)、产出表(即包含新输 出信息的表)。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据的任务依赖方法，其特征在于，所述基于数据的任务依赖方法包括：S1：记录数据仓库中各个元任务的数仓表的元信息；S2：确定编写的新任务所依赖的依赖信息和所输出的新输出信息；以及S3：响应于所述依赖信息与所述数仓表的元信息之间存在关联，建立所述新任务和所述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务之间的依赖关系。2.根据权利要求1所述的基于数据的任务依赖方法，其特征在于，在步骤S2和步骤S3之间包括：S22：分析所述依赖信息与所述数仓表的元信息之间是否关联。3.根据权利要求2所述的基于数据的任务依赖方法，其特征在于，在步骤S2和步骤S22之间包括：S21：提交保存所述新任务，响应于所述新输出信息与所述数仓表的元信息不重复，则执行步骤S22。4.根据权利要求3所述的基于数据的任务依赖方法，其特征在于，在步骤S21中，响应于所述新输出信息与所述数仓表的元信息重复，保存所述新任务失败。5.根据权利要求3所述的基于数据的任务依赖方法，其特征在于，在步骤S3中，响应于所述依赖信息与所述数仓表的元信息之间存在关联，且所述新任务的执行频率和所述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务的执行频率一致，建立所述新任务和所述依赖信息与所述数仓表的元信息之间存在关联所对应的元任务...

【专利技术属性】
技术研发人员：裴瑜，
申请(专利权)人：上海童渠信息技术有限公司，
类型：发明
国别省市：