一种hadoop大数据任务DAG依赖智能分析系统及方法技术方案

本发明专利技术公开了一种hadoop大数据任务DAG依赖智能分析系统及方法，系统根据任务创建过程中用户填写的任务信息，后续无需额外的配置，即可很简单、很灵活地解析任务间的关联关系，获得任务的DAG图。通过任务的智能依赖解析，可以方便灵活地控制任务的上线、下线，无需人工干预，智能地得到任务的上下游关系，并执行相应的动作。应的动作。

【技术实现步骤摘要】
一种hadoop大数据任务DAG依赖智能分析系统及方法


[0001]本专利技术涉及大数据
，具体涉及一种hadoop大数据任务DAG依赖智能分析系统及方法。
[0002]
技术介绍

[0003]随着大数据系统的持续使用，任务数量也在持续增加，任务间的依赖关系日益复杂，如何智能地解析任务间的依赖关系，成为亟待解决的问题。面对日益增加的任务数量，通过手动拖拽或者编写配置文件的简单直接方式会造成日后任务的不准确及任务管理的不便，因此需要一种简单的、灵活的方式解析任务间的依赖关系。
[0004]
技术实现思路

[0005]针对现有技术的不足，本专利技术旨在提供一种hadoop大数据任务DAG依赖智能分析系统及方法。
[0006]为了实现上述目的，本专利技术采用如下技术方案：一种hadoop大数据任务DAG依赖智能分析系统，包括任务创建模块、任务信息解析模块、任务依赖关系分析模块；所述任务创建模块用于供用户编写并创建任务，以及输入任务的类型、输入源、输入表、输出源、输出表；所述任务信息解析模块用于对用户输入的任务信息进行解析，获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种hadoop大数据任务DAG依赖智能分析系统，其特征在于，包括任务创建模块、任务信息解析模块、任务依赖关系分析模块；所述任务创建模块用于供用户编写并创建任务，以及输入任务的类型、输入源、输入表、输出源、输出表；所述任务信息解析模块用于对用户输入的任务信息进行解析，获得任务的输入表和输出表信息；任务依赖关系分析模块用于分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；用于解析任务链，获得任务之间的依赖关系；用于通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。2.根据权利要求1所述的系统，其特征在于，所述任务依赖关系分析模块进行拓扑排序的过程为：a)在任务链中选择一个没有上游任务的节点输出；b...

【专利技术属性】
技术研发人员：于洋，高经郡，袁军，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：