大数据平台的任务调度方法技术

本发明专利技术公开了一种大数据平台的任务调度方法，其包括：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；数据库接收目标任务实例，并将目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；任务运行集群接收到目标任务实例后，运行目标任务实例。本发明专利技术生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，提升了处理速率。

【技术实现步骤摘要】
大数据平台的任务调度方法
本专利技术涉及大数据处理
，尤其涉及一种大数据平台的任务调度方法。
技术介绍
随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。大数据具有海量的数据规模以及多样的数据类型，使用大数据系统对大数据加工处理，挖掘出海量数据的数据价值。为了更好地对大数据进行处理分析，可以对大数据的处理任务进行相应的调度，保证大数据任务的高效运行。大数据系统包括调度大数据任务的任务调度系统，现有的大数据任务调度系统一般是基于工作流来管理任务。通过设置任务之间的依赖关系，构建任务的有向无环图模型，以完成对大数据任务的调度管理。但是，现有的大数据任务调度系统的数据库的读操作与写操作之间存在相互影响，从而影响了大数据任务调度系统的处理速率。
技术实现思路
本专利技术的目的在于提供一种大数据平台的任务调度方法，以解决现有的大数据任务调度系统的处理速率。为了解决上述问题，本专利技术提供了一种大数据平台的任务调度方法，其包括如下步骤：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任本文档来自技高网...

【技术保护点】
一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；数据库接收所述目标任务实例，并将所述目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例。

【技术特征摘要】
1.一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；数据库接收所述目标任务实例，并将所述目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例。2.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述根据所述任务参数生成目标任务实例和通知消息的步骤之后，还包括：所述控制终端从所述数据库获取所有第一任务运行状态数据信息，并根据所述所有第一任务运行状态数据信息分析得到运行的任务数量；所述控制终端判断所述任务数量是否超过预设阈值；若所述任务数量超过所述预设阈值，则所述控制终端不发送通知消息至所述任务代理节点。3.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例的步骤包括：所述控制终端获取用户在多个预设任务模板中选中的目标任务模板；所述控制终端获取用户输入的所述任务参数，并根据所述任务参数和所述目标任务模板生成所述目标任务实例。4.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务运行集群包括多个任务运行节点，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息的步骤之前，还包括：所述控制终端获取用户输入的所需所述任务运行节点的数量，并根据所述数量增加或减少所述任务运行...

【专利技术属性】
技术研发人员：杨博，
申请(专利权)人：深圳索信达数据技术股份有限公司，
类型：发明
国别省市：广东,44