一种Oozie工作流程中尾端任务节点的处理方法技术

本发明专利技术特别涉及一种Oozie工作流程中尾端任务节点的处理方法。该Oozie工作流程中尾端任务节点的处理方法，在所有尾端任务节点之后，结束节点之前设置一个尾端任务处理节点；当所有尾端任务节点完成之后，尾端任务处理节点才会触发结束节点，从而保证所有的尾端任务节点全部执行之后才会结束Oozie进程。该Oozie工作流程中尾端任务节点的处理方法，不仅能够保证所有的尾端任务节点全部执行之后才会结束Oozie进程，还能够兼容Oozie原有功能，保证原有的Oozie工作流程正常执行，解决了Oozie组建的工作流程中多个尾端任务中的一个任务执行成功或失败Oozie工作流程直接结束，导致其他任务将无法正常执行的问题。

【技术实现步骤摘要】
一种Oozie工作流程中尾端任务节点的处理方法
本专利技术涉及大数据数据处理
，特别涉及一种Oozie工作流程中尾端任务节点的处理方法。
技术介绍
Oozie是基于工作流引擎的服务组件，是专门为通过流程编排方式执行HadoopMap/Reduce任务或者Pig作业而设计的。Oozie通过将众多的可执行任务(Map/Reduce、Pig等)以DAG方式组建为工作流程以实现任务的流程执行。Oozie的工作流程是通过hPDL语言(一种类似于JBOSSJBPM的XML流程定义语言)定义。当Oozie执行任务时，会将任务提交到远端系统(如Hadoop集群等)进行执行；当任务执行完毕之后，通过远端系统的回调(callback)获取任务执行的情况；然后，Oozie将继续执行下一个流程任务。在Oozie的工作流程中有两类节点：一个是控制流程的控制节点，一个是执行任务的动作节点。其中，控制节点定义工作流程的开始、结束，并可以提供分支判断、Fork/Join等功能。动作节点会触发计算/处理任务执行，Oozie原生提供众多的可执本文档来自技高网...

【技术保护点】
1.一种Oozie工作流程中尾端任务节点的处理方法，其特征在于：在所有尾端任务节点之后，结束节点之前设置一个尾端任务处理节点；当所有尾端任务节点完成之后，尾端任务处理节点才会触发结束节点，从而保证所有的尾端任务节点全部执行之后才会结束Oozie进程。/n

【技术特征摘要】
1.一种Oozie工作流程中尾端任务节点的处理方法，其特征在于：在所有尾端任务节点之后，结束节点之前设置一个尾端任务处理节点；当所有尾端任务节点完成之后，尾端任务处理节点才会触发结束节点，从而保证所有的尾端任务节点全部执行之后才会结束Oozie进程。


2.根据权利要求1所述的Oozie工作流程中尾端任务节点的处理方法，其特征在于：所述尾端任务处理节点内部设有计数器，计数器用于统计未执行的尾端任务节点的数量；当计数器计数为0时，表示尾端任务节点全部执行完成，尾端任务处理节点触发结束节点，即可结束Oozie进程。


3.根据权利要求2所述的Oozie工作流程中尾端任务节点的处理方法，其特征在于：所述尾端任务节点执行完毕后，则删除该尾端任务节点连接到尾端任务处理节点的接入路径，所述尾端任务处理节点无法获取该尾端任务节点的信息，计数器减1。


4.根据权利要求1、2或3所述的Oozie工作流程中尾端任务节点的处理方法，其特征在于：所述尾端任务处理节点采用轻量的代码侵入方式设置，能够兼容Oozie原有功能...

【专利技术属性】
技术研发人员：张旭，赵志宏，周庆勇，王建华，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东;37