大数据平台的任务调度方法技术

本发明专利技术公开了一种大数据平台的任务调度方法，其包括：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；数据库接收目标任务实例，并将目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；任务运行集群接收到目标任务实例后，运行目标任务实例。本发明专利技术生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，提升了处理速率。

【技术实现步骤摘要】
大数据平台的任务调度方法
本专利技术涉及大数据处理
，尤其涉及一种大数据平台的任务调度方法。
技术介绍
随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。大数据具有海量的数据规模以及多样的数据类型，使用大数据系统对大数据加工处理，挖掘出海量数据的数据价值。为了更好地对大数据进行处理分析，可以对大数据的处理任务进行相应的调度，保证大数据任务的高效运行。大数据系统包括调度大数据任务的任务调度系统，现有的大数据任务调度系统一般是基于工作流来管理任务。通过设置任务之间的依赖关系，构建任务的有向无环图模型，以完成对大数据任务的调度管理。但是，现有的大数据任务调度系统的数据库的读操作与写操作之间存在相互影响，从而影响了大数据任务调度系统的处理速率。
技术实现思路
本专利技术的目的在于提供一种大数据平台的任务调度方法，以解决现有的大数据任务调度系统的处理速率。为了解决上述问题，本专利技术提供了一种大数据平台的任务调度方法，其包括如下步骤：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；数据库接收目标任务实例，并将目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；任务运行集群接收到目标任务实例后，运行目标任务实例。作为本专利技术的进一步改进，根据任务参数生成目标任务实例和通知消息的步骤之后，还包括：控制终端从数据库获取所有第一任务运行状态数据信息，并根据所有第一任务运行状态数据信息分析得到运行的任务数量；控制终端判断任务数量是否超过预设阈值；若任务数量超过预设阈值，则控制终端不发送通知消息至任务代理节点。作为本专利技术的进一步改进，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例的步骤包括：控制终端获取用户在多个预设任务模板中选中的目标任务模板；控制终端获取用户输入的任务参数，并根据任务参数和目标任务模板生成目标任务实例。作为本专利技术的进一步改进，任务运行集群包括多个任务运行节点，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息的步骤之前，还包括：控制终端获取用户输入的所需任务运行节点的数量，并根据数量增加或减少任务运行节点。作为本专利技术的进一步改进，任务代理节点包括监控模块，运行目标任务实例的步骤之后，还包括：监控模块监控目标任务实例的执行，以获得第二任务运行状态数据信息，并将第二任务运行状态数据信息传输至数据库。作为本专利技术的进一步改进，监控模块监控目标任务实例的执行的步骤之后，还包括：监控模块检测当前任务代理节点的运行状态；监控模块根据运行状态判断当前任务代理节点是否宕机；若根据运行状态判定当前任务代理节点宕机时，则发送反馈信息至控制终端；控制终端选择出替代任务代理节点，替换当前任务代理节点，以继续执行目标任务实例。作为本专利技术的进一步改进，监控模块监控目标任务实例的执行，以获得第二任务运行状态数据信息，并将第二任务运行状态数据信息传输至数据库的步骤之后，还包括：目标任务实例执行完成后，任务代理节点生成第一日志文件，并将第一日志文件传输至Hadoop分布式文件系统进行存储。作为本专利技术的进一步改进，该方法还包括：控制终端获取用户输入的任务停止指令，并将任务停止指令发送至任务代理节点；任务代理节点接收到任务停止指令后，发送任务停止请求至任务运行集群；任务运行集群接收到任务停止请求后，停止目标任务实例的执行；目标任务实例停止执行后，任务代理节点生成第二日志文件和删除目标任务实例，并将第二日志文件传输至Hadoop分布式文件系统进行存储。与现有技术相比，控制终端生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，因此，提升了处理速率。附图说明图1为本专利技术大数据平台的任务调度系统一个实施例的框架结构示意图；图2为本专利技术大数据平台的任务调度方法第一个实施例的流程示意图；图3为本专利技术大数据平台的任务调度方法第二个实施例的流程示意图；图4为本专利技术大数据平台的任务调度方法第三个实施例的流程示意图；图5为本专利技术大数据平台的任务调度方法第四个实施例的流程示意图；图6为本专利技术大数据平台的任务调度方法第五个实施例的流程示意图；图7为本专利技术大数据平台的任务调度方法第六个实施例的流程示意图；图8为本专利技术大数据平台的任务调度方法第七个实施例的流程示意图；图9为本专利技术大数据平台的任务调度方法第八个实施例的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用来限定本专利技术。图2展示了本专利技术大数据平台的任务调度方法的一个实施例。在本实施例中，参见图1，该大数据平台的任务调度方法应用于大数据平台的任务调度系统，该大数据平台的任务调度系统包括控制终端1、数据库2、任务代理集群3和任务运行集群4，其中，数据库2分别与控制终端1、任务代理集群3电性连接，任务代理集群3分别与控制终端1、任务运行集群4电性连接，任务代理集群3包括多个任务代理节点31，任务运行集群4包括多个任务运行节点41。具体地，参见图2，该大数据平台的任务调度方法包括如下步骤：步骤S1，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息。需要说明的是，本实施例中的任务参数包括任务名、任务生效时间、任务类型、任务周期以及任务的扩展信息等。步骤S2，数据库接收目标任务实例，并将目标任务实例写入至任务例表。步骤S3，包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群。步骤S4，任务运行集群接收到目标任务实例后，运行目标任务实例。本实施例的控制终端生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，因此，提升了处理速率。将本专利技术的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要智能避免负载过高，以致降低大数据任务的运行速率。因此，在上述实施例的基础上，其他实施例中，参见图3，步骤S4之后，还包括：步骤S10，控制终端从数据库获取所有第一任务运行状态数据信息，并根据所有第一任务运行状态数据信息分析得到运行的任务数量。步骤S11，控制终端判断任务数量是否超过预设阈值；若任务数量超过预设阈值，则执行步骤S12。步骤S12，控制终端不发送通知消息至任务代理节点。本实施例根据运行状态判定运行的任务数量过多时，智能延迟当前的目标任务实例的运行，从而达到任务的并发度控制，避免了负载过高，以致大数据任务的运行速率的降低。将本专利技术的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要根据用户的需本文档来自技高网...

【技术保护点】
一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；数据库接收所述目标任务实例，并将所述目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例。

【技术特征摘要】
1.一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；数据库接收所述目标任务实例，并将所述目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例。2.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述根据所述任务参数生成目标任务实例和通知消息的步骤之后，还包括：所述控制终端从所述数据库获取所有第一任务运行状态数据信息，并根据所述所有第一任务运行状态数据信息分析得到运行的任务数量；所述控制终端判断所述任务数量是否超过预设阈值；若所述任务数量超过所述预设阈值，则所述控制终端不发送通知消息至所述任务代理节点。3.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例的步骤包括：所述控制终端获取用户在多个预设任务模板中选中的目标任务模板；所述控制终端获取用户输入的所述任务参数，并根据所述任务参数和所述目标任务模板生成所述目标任务实例。4.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务运行集群包括多个任务运行节点，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息的步骤之前，还包括：所述控制终端获取用户输入的所需所述任务运行节点的数量，并根据所述数量增加或减少所述任务运行...

【专利技术属性】
技术研发人员：杨博，
申请(专利权)人：深圳索信达数据技术股份有限公司，
类型：发明
国别省市：广东,44