分布式并行任务调度方法、装置、计算机设备和存储介质制造方法及图纸

本申请实施例提供了分布式并行任务调度方法、装置、计算机设备和存储介质，涉及计算机网络技术领域，该方法利用接收数据任务的处理请求时，通过分布式节点中的主节点响应处理请求；通过主节点将数据任务分配至各个数据节点进行数据处理；其中主节点与数据节点采用相同的配置；当主节点出现宕机时，从数据节点中选举出新的主节点，并通过新的主节点响应新的数据任务的处理请求，从而避免了若主节点出现宕机导致数据任务响应中断的问题。本方案基于线程间内核调度以进行数据处理，能够快速从数据节点中选举出新的主节点，提高了分布式系统的作业效率，同时各分布式节点配置相同，降低了开发成本，实现轻量级开发。

Distributed parallel task scheduling method, device, computer equipment and storage medium

【技术实现步骤摘要】
分布式并行任务调度方法、装置、计算机设备和存储介质
本专利技术涉及计算机网络
，具体而言，本专利技术涉及一种分布式并行任务调度方法、装置、计算机设备和存储介质。
技术介绍
现有的任务调度技术，如基于Azkaban和quartz等技术的任务调度系统采用进程间通讯的方式进行业务系统中具体业务的调度，用户发出的操作指令经任务调度系统中的任务服务器和执行服务器的处理后经通讯网络传输至业务系统进行任务调度。由于任务服务器、执行服务器和业务系统均属于进程级别，且任务服务器、执行服务器和业务系统中数据空间的独立性决定了任务调度需要依赖于外部调度的方式来实现。因此，在任务调度过程中，各个进程之间的通信需要耗费大量资源，影响了任务调度处理效率，特别是当出现单点故障时，导致系统难以恢复。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一，特别是进程间的任务调度影响任务调度效率，单点故障导致系统难以恢复的问题，提供一种分布式并行任务调度方法、装置、计算机设备和存储介质。第一方面，本实施例提供了一种分布式并行任务调度本文档来自技高网...

【技术保护点】
1.一种分布式并行任务调度方法，其特征在于，包括以下步骤：/n接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；/n通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；/n在数据处理过程中，监控所述主节点和数据节点的运行状态；/n当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。/n

【技术特征摘要】
1.一种分布式并行任务调度方法，其特征在于，包括以下步骤：
接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；
通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；
在数据处理过程中，监控所述主节点和数据节点的运行状态；
当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。


2.根据权利要求1所述的分布式并行任务调度方法，其特征在于，所述通过分布式节点中的主节点响应所述处理请求的步骤之前还包括：
遍历所述节点，寻找出预先配置有主节点标识的目标节点，将所述目标节点确定为主节点。


3.根据权利要求1所述的分布式并行任务调度方法，其特征在于，通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理的步骤包括：
获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量；
通过所述主节点将所述数据任务按照所述任务量分配至对应的数据节点进行数据处理。


4.根据权利要求3所述的分布式并行任务调度方法，其特征在于，所述获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量的步骤包括：
获取所述数据任务的拓扑关系和依赖关系，确定处理所述数据任务的数据节点；
计算所述数据节点的性能状态信息和任务执行信息；所述性能状态信息包括CPU使用率、内存使用率和I/O资源使用率，所述任务执行信息包括所执行任务的数量、所执行任务的执行进度和已执行时间；
根据所述性能状态信息和任务执行信息，以均衡方式确定所述数据节点的任务量。


5.根据权利要求3所述的分布式并行任务调度方法，其特征在于，所述通过所述主节点将所述数据...

【专利技术属性】
技术研发人员：钟泽峰，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44