一种大数据平台调度管理方法和系统技术方案

本发明专利技术涉及数据处理技术领域，尤其是一种大数据平台调度管理方法和系统。该系统由四个模块组成：调度服务模块、实例管理模块、回溯与参数配置模块、以及策略管理模块。调度服务模块用于执行不同频率的触发调度，以适应多样化的数据处理需求。实例管理模块控制并发执行的任务调度实例，并提供实例执行情况的监控与管理。回溯与参数配置模块使任务能够进行回溯处理，并管理调度任务中的变量和参数。策略管理模块则管理执行优先级和任务失败的处理策略。此系统的设计可以增强大数据平台的调度能力，确保高效和稳定的数据处理流程。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其是一种大数据平台调度管理方法和系统。

技术介绍

1、随着大数据技术的迅速发展，企业内部数据量急剧膨胀，数据处理的复杂性不断上升，数据调度和数据治理的重要性愈加突显。

2、目前市场上的调度平台和数据治理平台多为独立部署和执行的系统。虽然存在多种开源的调度工具，但这些工具往往难以适应快速变化的业务需求，尤其是在大型企业环境中，其功能的局限性逐渐凸显，例如，企业往往需要将多种工具组合使用，以满足复杂的业务场景。这不仅增加了工具间耦合性，提高了维护难度，并导致数据调度效率低下。

技术实现思路

1、本专利技术的目的是提供一种大数据平台调度管理系统，提高调度效率。

2、本专利技术提供的基础方案：一种大数据平台调度管理系统，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块；所述调度服务模块，用于实现不同频率的触发调度；所述实例管理模块，用于控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；所述回溯与参数配置模块，用于实现任务回溯处理和管理调度本文档来自技高网...

【技术保护点】

1.一种大数据平台调度管理系统，其特征在于，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块；所述调度服务模块，用于实现不同频率的触发调度；所述实例管理模块，用于控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；所述回溯与参数配置模块，用于实现任务回溯处理和管理调度任务中变量与参数的设置；所述策略管理模块，管理任务的执行优先级以及任务失败时的处理。

2.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述调度服务模块的调度频率类型包括CRONTAB表达式、固定间隔、指定日期时间单次及手动触发。

3.根据权利要求2所述的大数据平...

【技术特征摘要】

1.一种大数据平台调度管理系统，其特征在于，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块；所述调度服务模块，用于实现不同频率的触发调度；所述实例管理模块，用于控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；所述回溯与参数配置模块，用于实现任务回溯处理和管理调度任务中变量与参数的设置；所述策略管理模块，管理任务的执行优先级以及任务失败时的处理。

2.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述调度服务模块的调度频率类型包括crontab表达式、固定间隔、指定日期时间单次及手动触发。

3.根据权利要求2所述的大数据平台调度管理系统，其特征在于，所述实例管理模块基于任务依赖性和资源限制动态调整实例并发度；所述实例管理模块还使用甘特图对调度实例进行监控。

4.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述回溯与参数配置模块包括回溯单元，所述回溯单元按照指定时间周期进行任务回溯。

5.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述回溯与参数配置模块还包括参数配置单...

【专利技术属性】
技术研发人员：郭慧蓉，吴广，屈春花，柏世豪，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：