【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种工作流的调用方法和装置。其中,该工作流的调用方法包括:在主Shell脚本中设置多个子Shell脚本的调用方式;获取多个子Shell脚本对应的Hadoop作业;按照调用方式调用多个子Shell脚本以执行Hadoop作业,直至多个子Shell脚本调用完毕,得到调用结果,其中,调用结果包括第一结果和第二结果;在调用结果为第一结果时,执行第一Hadoop作业;以及在调用结果为第二结果时,执行第二Hadoop作业。通过本专利技术,解决了现有技术中单独安装工作流工具在执行时占用大量内存的问题,达到了减少工作流调用所占用的内存的效果。【专利说明】工作流的调用方法和装置
本专利技术涉及互联网领域,具体而言,涉及一种工作流的调用方法和装置。
技术介绍
随着大数据分析的广泛应用,很多数据分析需要在大数据计算平台上进行,例如,Hadoop。基于这些计算平台的计算作业,有些需要并行执行,有些需要顺序执行,这就需要有一个方法来调用这些计算作业,以按照需要的方式来执行计算作业。 目前调用工作流在调用时可以采用oozie和Azkaban ...
【技术保护点】
一种工作流的调用方法,其特征在于,包括:在主Shell脚本中设置多个子Shell脚本的调用方式;获取所述多个子Shell脚本对应的Hadoop作业;按照所述调用方式调用所述多个子Shell脚本以执行所述Hadoop作业,直至所述多个子Shell脚本调用完毕,得到调用结果,其中,所述调用结果包括第一结果和第二结果;在所述调用结果为所述第一结果时,执行第一Hadoop作业;以及在所述调用结果为所述第二结果时,执行第二Hadoop作业。
【技术特征摘要】
【专利技术属性】
技术研发人员:谢宁,
申请(专利权)人:北京国双科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。