一种基于广度优先搜索算法的ETL作业流程分析方法技术
A ETL job flow analysis method based on breadth first search algorithm
A first search algorithm ETL process analysis method based on the breadth of the breadth first search algorithm to parse the ETL operation flow chart, according to the dependency of each node, the calculation of each node and the node number assignments were stratified by number; ETL workflow engine in accordance with the lower level to the high level execution path in order to run each layer of ETL operations, ETL ETL finally completed all work in the implementation of the operation flow chart.
【技术实现步骤摘要】
一种基于广度优先搜索算法的ETL作业流程分析方法
本申请一般涉及ETL作业流程分析方法，特别地，本申请涉及一种基于广度优先搜索算法的ETL作业流程分析方法。
技术介绍
大数据的爆发性增长，给大数据应用带来了挑战和新的机遇。大数据应用离不开海量数据加工，在有限的时间窗口内，将数据来源多、数据量大、数据到达时点不一、数据之间存在加工逻辑关系的数据加工到目标应用库，是一个巨大的挑战。在大数据加工过程中，为了满足复杂、灵活多变的ETL作业流程，我们借助ETL工具软件或开发专门的ETL调度软件，来定义ETL作业流程，并解析ETL作业流程、调度和执行各ETL作业。通常情况下，ETL工具软件或者ETL调度软件具有ETL作业流程引擎，该引擎构建的方法使用传统方法，包含两部分内容：1、流程模型，满足复杂、灵活多变的流程定制，用来定义有多个ETL作业节点的ETL作业流程，或者一个ETL作业内部的数据加工流程；流程模型保存整个流程的属性，包括节点、节点类型（开始节点、ETL作业节点、分支节点、聚合节点、结束节点等）、流向、节点之间的依赖关系等，以模型化、参数化来体现数据加工逻辑和数据处...
【技术保护点】
一种基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：依据各作业之间的先后加工逻辑关系，构造一个有向无环图，该有向无环图由一组节点和一组有方向的边构成，每个节点代表一个ETL作业或者是一个作业中的一步，每一条边代表从一个节点到另一个节点的数据流，使用广度优先搜索算法遍历整个ETL作业工作流定义的有向无环图，根据ETL作业节点的依赖关系，对每个ETL作业节点进行拓扑排序，并对ETL作业节点进行分层，然后根据具体的运行环境来决定同一层中的ETL作业节点是并行执行还是根据拓扑排序的结果串行执行。
【技术特征摘要】
1.一种基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：依据各作业之间的先后加工逻辑关系，构造一个有向无环图，该有向无环图由一组节点和一组有方向的边构成，每个节点代表一个ETL作业或者是一个作业中的一步，每一条边代表从一个节点到另一个节点的数据流，使用广度优先搜索算法遍历整个ETL作业工作流定义的有向无环图，根据ETL作业节点的依赖关系，对每个ETL作业节点进行拓扑排序，并对ETL作业节点进行分层，然后根据具体的运行环境来决定同一层中的ETL作业节点是并行执行还是根据拓扑排序的结果串行执行。2.根据权利要求1所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：基于广度优先搜索算法的分析方法分成三个步骤:（1）分析计算；（2）分层；（3）分层执行。3.根据权利要求2所述的基于广度优先搜索算法的ETL作业流程分析方法，其特征在于：步骤（1）中的分析计算是将根节点的层设置成1，从根节点出发，每经过一个节点层数加1，遍历所有路径，保留每...
【专利技术属性】
技术研发人员：陈涛，黄卓凡，张志聪，李笋，林志广，
申请(专利权)人：广东奡风科技股份有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。