一种高自由度高度可配置的工作流的实现方法技术

本发明专利技术公开了一种高自由度高度可配置的工作流的实现方法，包括自定义任务调度属性、任务间依赖、跨度周期依赖、消息配置、任务重跑等功能。通过hadoop、spark技术对数据进行分析和采集，实现复杂离线计算调度，为工作流调度方法提供了高效、便捷的支持。便捷的支持。便捷的支持。

【技术实现步骤摘要】
一种高自由度高度可配置的工作流的实现方法


[0001]本专利技术涉及计算机领域，具体涉及一种高自由度高度可配置的工作流的实现方法。

技术介绍

[0002]随着人们生活的数字化、智能化程度提高，数据分析工作也扮演着越来越重要的角色，由于业务的多样性、复杂性，经常需要把多个数据分析任务组合成一个更大的分析任务，即以工作流的方式执行。
[0003]数据分析工作流的调度执行受到数据大小、储存位置、业务流程、计算机运算、数据传输等多个因素的影响，直接关系整个任务的稳定、可靠、高效性，要对该过程进行有效优化，就需要综合多个方面的因素，设计一种科学合理的调度优化方法。
[0004]目前流行的调度方法普遍具有简单易理解的优点，但是也存在以下不足之处：
[0005](1)目前的调度方法中往往由一个主节点管理各个节点的任务执行，一旦一个节点程序运行出错，会导致整个数据分析任务执行失败。
[0006](2)任务失败不能及时告警，任务在运行失败的条件下，不能及时通过邮件方式或其它手段通知相关人员，反应不及时，效率低。
[0007本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高自由度高度可配置的工作流的实现方法，其特征在于，包括以下步骤：S1、基于大数据计算框架新建工作流数据分析任务；S2、在步骤S1工作流数据分析任务创建成功后，能够看到任务属性的基本信息以及任务的历史版本提交信息；S3、设置工作流任务调度属性，所述工作流任务调度属性包含调度属性、任务间依赖、跨周期依赖；所述调度属性包含有工作流的生效时间、调度周期和具体运行时间，用于控制工作流在规定的时间内，周期性运行；S4、查看工作流任务依赖视图；S5、工作流的消息配置，可设置该工作流的消息是否发送，其中包括任务的超时时间，告警间隔时间，以及发送通知的方式，在任务运行失败的情况下，用于及时发送通知给相关人员，对任务进行监控；S6、工作流任务保存并运行；S7、工作流节点失败任务重跑。2.根据权利要求1所述的一种高自由度高度可配置的工作流的实现方法，其特征在于，步骤S6中工作流任务保存并运行后，在监控页面中，能够看到工作流调度的运行状态，其中运行的状态为等待运行、运行中、运行成功、运行失败。3.根据权利要求1所述的一种高自由度高度可配置的工作流的实现方法，其特征在于，步骤S7中，工作流节点失败任务重跑：工作流任务运行的过程中，由于网络波动或服务端系统异常时导致失败，后期网络或服务端系统正常的情况下，能够重新触发任务重新运行。4.根据权利要求1所述的一种高自由度高...

【专利技术属性】
技术研发人员：刘鹏飞，涂泽，谢汶达，赵音龙，陈丰生，郭强，李亚运，史志前，
申请(专利权)人：海纳致远数字科技上海有限公司，
类型：发明
国别省市：