一种大数据任务调度的系统以及方法技术方案

本发明专利技术公开了一种大数据任务调度的系统以及方法，通过任务配置模块获取任务配置指令，根据任务配置指令配置任务参数；任务调度中心节点根据任务参数生成可执行任务，统计任务运行节点以及数据源上运行的任务数量，根据任务数量以及预设阈值，控制任务的并发度，使任务数量小于所述预设阈值；在任务的并发度在预设阈值范围内且满足依赖时，进行任务分发，任务运行节点运行任务调度中心节点分发的可执行任务。统计得出当前任务的并发度，判断运行的任务数量是否超出预设阈值，确定是否继续下发可执行任务，避免同时运行的任务数量过多，从而导致系统负载过高。可见，本申请对大数据任务的并发度进行控制，保证了大数据任务的运行效率。

【技术实现步骤摘要】

本专利技术涉及大数据领域，特别是涉及一种大数据任务调度的系统以及方法。
技术介绍
随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的数海量数据集合，这种数据集合也称为大数据。大数据具有海量的数据规模以及多样的数据类型，使用大数据系统来对大数据进行加工处理，挖掘出海量数据的数据价值。为了更好地对大数据进行处理分析，可以对大数据的处理任务进行相应的调度，保证大数据任务的高效运行。大数据系统包括用于调度大数据任务的任务调度系统，现有的大数据任务调度系统一般是基于工作流来管理任务。通过设置任务之间的依赖关系，构建任务的有向无环图模型，以完成对大数据任务的调度管理。现有技术中的大数据任务调度系统没有提供任务的并发度控制，任务的并发度可以是指同时运行的任务数量。由于没有提供任务的并发度控制，可能会使得同时运行的任务过多，导致系统负载过高，从而降低任务运行的效率，或者是大量的任务被堆积。如何避免系统的负载过高，提高大数据任务的运行效率是本领域亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种大数据任务调度的系统，目的在于解决现有技术中系统负载过高从而本文档来自技高网...

【技术保护点】
一种大数据任务调度的系统，其特征在于，包括：任务配置模块，用于获取任务配置指令，根据所述任务配置指令配置任务参数；任务调度中心节点，与所述任务配置模块相连，用于根据所述任务参数生成可执行任务，统计任务运行节点以及数据源上运行的任务数量，根据所述任务数量以及预设阈值，控制任务的并发度，使所述任务数量小于或等于所述预设阈值；任务运行节点，与所述任务调度中心节点相连，用于运行所述任务调度中心节点分发的所述可执行任务。

【技术特征摘要】
1.一种大数据任务调度的系统，其特征在于，包括：任务配置模块，用于获取任务配置指令，根据所述任务配置指令配置任务参数；任务调度中心节点，与所述任务配置模块相连，用于根据所述任务参数生成可执行任务，统计任务运行节点以及数据源上运行的任务数量，根据所述任务数量以及预设阈值，控制任务的并发度，使所述任务数量小于或等于所述预设阈值；任务运行节点，与所述任务调度中心节点相连，用于运行所述任务调度中心节点分发的所述可执行任务。2.如权利要求1所述的系统，其特征在于，所述任务配置模块为任务配置网页界面，所述任务配置网页界面用于获取用户输入的所述任务参数，根据所述任务参数进行任务配置。3.如权利要求2所述的系统，其特征在于，所述任务配置网页界面包括：任务运行节点配置单元，用于获取所述用户输入的所述任务运行节点的数量，根据所述数量相应地增减所述任务运行节点。4.如权利要求1所述的系统，其特征在于，所述任务调度中心节点包括；优先级控制单元，用于将所述可执行任务划分至对应的任务主题，根据预设的任务优先级，对同一任务主题的所述可执行任务进行分发。5.如权利要求1所述的系统，其特征在于，所述任务运行节点包括：任务类型配置单元，...

【专利技术属性】
技术研发人员：区健灵，王永强，刘幸，舒靖，莫建安，谢培丰，李绪邦，
申请(专利权)人：广发证券股份有限公司，
类型：发明
国别省市：广东;44