一种调度平台的工作调度流程生成方法和装置制造方法及图纸

本申请公开了一种调度平台的工作调度流程生成方法和装置。获取工作调度统计表格，所述工作调度统计表格是预先生成的，所述工作调度统计表格包括工作节点、所述工作节点的输入和所述工作节点的输出；根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据；根据所述工作调度格式数据生成调度平台的工作调度流程。可见，利用预设规则引擎解析表格，可以自动生成调度平台内所使用的工作调度流程。如此，减少了人工干预，可以快速高效地自动化生成调度平台上系统内数据接入，系统间数据交互，数据清洗，ETL数据处理及核心计量整套复杂的工作调度流程。复杂的工作调度流程。复杂的工作调度流程。

【技术实现步骤摘要】
一种调度平台的工作调度流程生成方法和装置


[0001]本申请涉及数据处理
，特别是涉及一种调度平台的工作调度流程生成方法和装置。

技术介绍

[0002]在大数据时代，数据处理流程调度平台是一个为用户提供处理工作流程的控制平台。可以理解为，系统间或者系统内数据处理的交互节点均需要通过该数据处理流程调度平台来处理完成。但是相关技术中数据处理流程调度平台处理节点时需要不同的管理人员手工逐节点地配置节点且控制各节点的输入与输出，其存在工作量巨大且出错率较高的情况，并且进一步影响了处理调度平台的工作调度流程的时效性。
[0003]因此，如何快速自动化地生成调度平台的工作调度流程是本领域技术人员关注的重点问题。

技术实现思路

[0004]基于上述问题，本申请提供了一种调度平台的工作调度流程生成方法和装置，以实现快速自动化地生成调度平台的工作调度流程。本申请实施例公开了如下技术方案：
[0005]第一方面，本申请公开了一种调度平台的工作调度流程生成方法，包括：
[0006]获取工作调度统计表格，所述工作调度统计表格是预先生成的，所述工作调度统计表格包括工作节点、所述工作节点的输入和所述工作节点的输出；
[0007]根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据；
[0008]根据所述工作调度格式数据生成调度平台的工作调度流程。
[0009]可选的，在所述根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据之前，还包括：
[0010]获得所述工作调度统计表格中的节点描述信息；
[0011]根据所述节点描述信息确定待生成的工作调度流程所应用的调度平台类型。
[0012]可选的，在所述根据所述工作调度格式数据生成调度平台的工作调度流程之后，还包括：
[0013]根据所述调度平台类型调用对应调度平台的导入接口，将所述工作调度流程导入到所述调度平台中。
[0014]可选的，所述预设规则引擎包括第一规则引擎和第二规则引擎，所述根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据，包括：
[0015]若所述调度平台类型为第一调度平台类型，则根据第一规则引擎解析所述工作调度统计表格，获得第一工作调度格式数据；
[0016]或者；
[0017]若所述调度平台类型为第二调度平台类型，则根据第二规则引擎解析所述工作调度统计表格，获得第二工作调度格式数据；其中，所述第一调度平台类型所对应调度平台识
别所述第一工作调度格式数据，所述第二调度平台类型所对应调度平台识别所述第二工作调度格式数据。
[0018]可选的，还包括：
[0019]接收已生成的工作调度流程，所述已生成的工作调度流程所应用的调度平台类型为目标调度平台类型，所述目标调度平台类型为所述第一调度平台类型和第二调度平台类型中的任意一个；
[0020]响应于接收将所述目标调度平台类型更改为除所述目标调度平台类型之外的调度平台类型的操作，将所述已生成的工作调度流程对应的工作调度格式数据，调整为所述除所述目标调度平台类型之外的调度平台类型所对应调度平台识别的工作调度格式数据；
[0021]根据所述所对应调度平台识别的工作调度格式数据，生成所述除所述目标调度平台类型之外的调度平台类型对应调度平台的工作调度流程。
[0022]可选的，所述第一调度平台类型包括DolphinScheduler，若所述第一调度平台类型为DolphinScheduler，则所述第一工作调度格式数据为Json格式的工作调度格式数据。
[0023]可选的，所述第二调度平台类型包括Dataworks，若所述第二调度平台类型为Dataworks，则所述第二工作调度格式数据为XML格式的工作调度格式数据。
[0024]第二方面，本申请公开了一种调度平台的工作调度流程生成装置，包括：
[0025]统计表格获取单元，用于获取工作调度统计表格，所述工作调度统计表格是预先生成的，所述工作调度统计表格包括工作节点、所述工作节点的输入和所述工作节点的输出；
[0026]统计表格解析单元，用于根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据；
[0027]调度流程生成单元，用于根据所述工作调度格式数据生成调度平台的工作调度流程。
[0028]可选的，所述装置还包括：
[0029]描述信息获取单元，用于获得所述工作调度统计表格中的节点描述信息；
[0030]平台类型确定单元，用于根据所述节点描述信息确定待生成的工作调度流程所应用的调度平台类型。
[0031]可选的，所述装置还包括：
[0032]调度流程导入单元，用于根据所述调度平台类型调用对应调度平台的导入接口，将所述工作调度流程导入到所述调度平台中。
[0033]可选的，所述统计表格解析单元，具体用于：
[0034]若所述调度平台类型为第一调度平台类型，则根据第一规则引擎解析所述工作调度统计表格，获得第一工作调度格式数据；
[0035]或者；
[0036]若所述调度平台类型为第二调度平台类型，则根据第二规则引擎解析所述工作调度统计表格，获得第二工作调度格式数据；其中，所述第一调度平台类型所对应调度平台识别所述第一工作调度格式数据，所述第二调度平台类型所对应调度平台识别所述第二工作调度格式数据。
[0037]可选的，所述装置还包括：
[0038]调度流程接收单元，用于接收已生成的工作调度流程，所述已生成的工作调度流程所应用的调度平台类型为目标调度平台类型，所述目标调度平台类型为所述第一调度平台类型和第二调度平台类型中的任意一个；
[0039]格式数据调整单元，用于响应于接收将所述目标调度平台类型更改为除所述目标调度平台类型之外的调度平台类型的操作，将所述已生成的工作调度流程对应的工作调度格式数据，调整为所述除所述目标调度平台类型之外的调度平台类型所对应调度平台识别的工作调度格式数据；
[0040]其余调度流程生成单元，用于根据所述所对应调度平台识别的工作调度格式数据，生成所述除所述目标调度平台类型之外的调度平台类型对应调度平台的工作调度流程。
[0041]可选的，所述装置还包括：
[0042]第一确定单元，用于所述第一调度平台类型包括DolphinScheduler，若所述第一调度平台类型为DolphinScheduler，则所述第一工作调度格式数据为Json格式的工作调度格式数据。
[0043]可选的，所述装置还包括：
[0044]第二确定单元，用于所述第二调度平台类型包括Dataworks，若所述第二调度平台类型为Dataworks，则所述第二工作调度格式数据为XML格式的工作调度格式数据。
[0045]相较于现有技术，本申请具有以下有益效果：
[0046]本申请首先获取工作调度统计表格，其中工作调度统计表格是预先生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度平台的工作调度流程生成方法，其特征在于，包括：获取工作调度统计表格，所述工作调度统计表格是预先生成的，所述工作调度统计表格包括工作节点、所述工作节点的输入和所述工作节点的输出；根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据；根据所述工作调度格式数据生成调度平台的工作调度流程。2.根据权利要求1所述的方法，其特征在于，在所述根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据之前，还包括：获得所述工作调度统计表格中的节点描述信息；根据所述节点描述信息确定待生成的工作调度流程所应用的调度平台类型。3.根据权利要求2所述的方法，其特征在于，在所述根据所述工作调度格式数据生成调度平台的工作调度流程之后，还包括：根据所述调度平台类型调用对应调度平台的导入接口，将所述工作调度流程导入到所述调度平台中。4.根据权利要求2所述的方法，其特征在于，所述预设规则引擎包括第一规则引擎和第二规则引擎，所述根据预设规则引擎解析所述工作调度统计表格，获得工作调度格式数据，包括：若所述调度平台类型为第一调度平台类型，则根据第一规则引擎解析所述工作调度统计表格，获得第一工作调度格式数据；或者；若所述调度平台类型为第二调度平台类型，则根据第二规则引擎解析所述工作调度统计表格，获得第二工作调度格式数据；其中，所述第一调度平台类型所对应调度平台识别所述第一工作调度格式数据，所述第二调度平台类型所对应调度平台识别所述第二工作调度格式数据。5.根据权利要求4所述的方法，其特征在于，还包括：接收已生成的工作调度流程，所述已生成的工作调度流程所应用的调度平台类型为目标调度平台类型，所述目标调度平台类型为所述第一调度平台类型和第二调度平台类型中的任意一个；响应于接收将所述目标调度平台类型更改为除所述目标调度平台类型之...

【专利技术属性】
技术研发人员：张喆，吕浩，马超，张剑，李敏，
申请(专利权)人：太保科技有限公司，
类型：发明
国别省市：