任务节点管理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种任务节点管理方法及装置，所述方法包括：在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合，确定所述任务集合中任务节点之间的上下游依赖关系，利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构，根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点，在所有所述参考任务节点的下游链路上构建虚拟节点，建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系，并更新所述拓扑结构。本发明专利技术能够提高对上游特定拓扑任务的管理的效率，实现对特定任务实现逻辑划分，虚拟节点可以充当任务节点的索引功效，进而提升数据管理效率。

Method and device for managing task node

The embodiment of the invention provides a device and a task node management method, the method includes: in the default tasks selected from the same business logo contains at least two task node task set, determine the tasks in the task set between the upstream and downstream node dependent relations, construct the topology task dependencies the structure between the set of task nodes using the upstream and downstream, according to the topological structure from the task set is determined to satisfy at least one reference node preset task conditions, in all the reference task node downstream link virtual node, the upstream and downstream dependencies established between each of the reference task node with the virtual node, and updating the topology. The invention can improve the management efficiency of the specific topological task of the upstream, realize the logical division of the specific task, and the virtual node can act as the indexing function of the task node, thereby improving the efficiency of data management.

【技术实现步骤摘要】
任务节点管理方法及装置
本专利技术涉及计算机
，尤其涉及一种任务节点管理方法及装置。
技术介绍
数据仓库(Extraction-Transformation-Loading，ETL)中的处理过程包括数据抽取、转换、加载、数据集市生成、数据立方生成过程，数据仓库管理的更新、归档过程以及应用报表生成程序等。对于企业级数据仓库系统，其中的ETL程序成千上万。当ETL工作人员想要对数据仓库中的某一批任务节点进行批量管理的时候，一种方式是对该批任务中的每个作为父任务节点、中间结点以及叶子节点的任务节点分别进行管理，另一种方式是通过只对作为叶子节点的任务节点进行管理。然而，采用第一种方式的缺点是当要管理的任务节点比较多时，或者待管理的任务节点的拓扑结构比较扁平时，逐一手动的管理所有任务节点的效率非常低；采用第二种方式的缺点是当作为叶子节点的任务节点的较多时，对于所有作为叶子节点的任务节点的管理效率也非常低下。
技术实现思路
为克服相关技术中存在的问题，本专利技术提供一种任务节点管理方法及装置。根据本专利技术实施例的第一方面，提供一种任务节点管理方法，所述方法包括：在预设任务集中选取包含具有相同本文档来自技高网...

【技术保护点】
一种任务节点管理方法，其特征在于，所述方法包括：在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合，所述业务标识用于标识任务节点实现的业务功能；确定所述任务集合中任务节点之间的上下游依赖关系，利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构；根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点；在所有所述参考任务节点的下游链路上构建虚拟节点，所述虚拟节点与所述参考任务节点的业务标识相同；建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系，并更新所述拓扑结构，以便通过管理虚拟节点，实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的...

【技术特征摘要】
1.一种任务节点管理方法，其特征在于，所述方法包括：在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合，所述业务标识用于标识任务节点实现的业务功能；确定所述任务集合中任务节点之间的上下游依赖关系，利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构；根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点；在所有所述参考任务节点的下游链路上构建虚拟节点，所述虚拟节点与所述参考任务节点的业务标识相同；建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系，并更新所述拓扑结构，以便通过管理虚拟节点，实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。2.根据权利要求1所述的任务节点管理方法，其特征在于，所述根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点，包括：根据所述拓扑结构获取作为叶子节点的任务节点；将作为叶子节点的任务节点确定为参考任务节点。3.根据权利要求1所述的任务节点管理方法，其特征在于，所述建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系包括：获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息；将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数，以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系；将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数，以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。4.一种任务节点管理方法，其特征在于，包括：获取多个如权利要求1至3任意一项构建的包含虚拟节点和至少两个任务节点的拓扑结构；在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点；获取所述虚拟节点以及包含所述虚拟节点的拓扑结构；通过管理虚拟节点，管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。5.根据权利要求4所述的任务节点管理方法，其特征在于，所述通过管理虚拟节点，管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点，包括：检测是否接收到对所述虚拟节点进行管理的管理操作；当接收到对所述虚拟节点进行管理的管理操作时，根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点；控制查找的任务节点执行所述管理操作。6.一种任务节点管理装置，其特征在于，所述装置包括：...

【专利技术属性】
技术研发人员：张世晶，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY