分布式并行任务调度方法、装置、计算机设备和存储介质制造方法及图纸

本申请实施例提供了分布式并行任务调度方法、装置、计算机设备和存储介质，涉及计算机网络技术领域，该方法利用接收数据任务的处理请求时，通过分布式节点中的主节点响应处理请求；通过主节点将数据任务分配至各个数据节点进行数据处理；其中主节点与数据节点采用相同的配置；当主节点出现宕机时，从数据节点中选举出新的主节点，并通过新的主节点响应新的数据任务的处理请求，从而避免了若主节点出现宕机导致数据任务响应中断的问题。本方案基于线程间内核调度以进行数据处理，能够快速从数据节点中选举出新的主节点，提高了分布式系统的作业效率，同时各分布式节点配置相同，降低了开发成本，实现轻量级开发。

Distributed parallel task scheduling method, device, computer equipment and storage medium

【技术实现步骤摘要】
分布式并行任务调度方法、装置、计算机设备和存储介质
本专利技术涉及计算机网络
，具体而言，本专利技术涉及一种分布式并行任务调度方法、装置、计算机设备和存储介质。
技术介绍
现有的任务调度技术，如基于Azkaban和quartz等技术的任务调度系统采用进程间通讯的方式进行业务系统中具体业务的调度，用户发出的操作指令经任务调度系统中的任务服务器和执行服务器的处理后经通讯网络传输至业务系统进行任务调度。由于任务服务器、执行服务器和业务系统均属于进程级别，且任务服务器、执行服务器和业务系统中数据空间的独立性决定了任务调度需要依赖于外部调度的方式来实现。因此，在任务调度过程中，各个进程之间的通信需要耗费大量资源，影响了任务调度处理效率，特别是当出现单点故障时，导致系统难以恢复。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一，特别是进程间的任务调度影响任务调度效率，单点故障导致系统难以恢复的问题，提供一种分布式并行任务调度方法、装置、计算机设备和存储介质。第一方面，本实施例提供了一种分布式并行任务调度方法，包括步骤：接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；在数据处理过程中，监控所述主节点和数据节点的运行状态；当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。在一实施例中，所述通过分布式节点中的主节点响应所述处理请求的步骤之前还包括：遍历所述节点，寻找出预先配置有主节点标识的目标节点，将所述目标节点确定为主节点。在一实施例中，通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理的步骤包括：获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量；通过所述主节点将所述数据任务按照所述任务量分配至对应的数据节点进行数据处理。在一实施例中，所述获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量的步骤包括：获取所述数据任务的拓扑关系和依赖关系，确定处理所述数据任务的数据节点；计算所述数据节点的性能状态信息和任务执行信息；所述性能状态信息包括CPU使用率、内存使用率和I/O资源使用率，所述任务执行信息包括所执行任务的数量、所执行任务的执行进度和已执行时间；根据所述性能状态信息和任务执行信息，以均衡方式确定所述数据节点的任务量。在一实施例中，所述通过所述主节点将所述数据任务按照所述任务量分配至对应的数据节点进行数据处理的步骤包括：解析分配至所述数据节点的数据任务，得到所述数据任务的处理信息；根据所述处理信息，通过所述数据节点并行进行数据处理。在一实施例中，所述从所述数据节点中选举出新的主节点的步骤包括：获取所述数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和所述任务执行信息竞选出目标数据节点；将所述目标数据节点作为新的主节点，并替换出现宕机的主节点。在一实施例中，所述在数据任务处理过程中，监控所述主节点和数据节点的运行状态的步骤包括：监控通过所述主节点发送至各所述数据节点的心跳消息；若所述数据节点接收所述心跳消息出现异常，则判定所述主节点出现宕机。第二方面，本实施例提供一种分布式并行任务调度装置，包括：处理请求响应模块，用于接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；数据任务分配模块，用于通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；运行状态监控模块，用于在数据处理过程中，监控所述主节点和数据节点的运行状态；新主节点选举模块，用于当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。第三方面，本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面任一实施例所述的分布式并行任务调度方法。第四方面，本实施例提供一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一实施例所述的分布式并行任务调度方法。上述实施例提供的分布式并行任务调度方法、装置、计算机设备和存储介质，通过将主节点和数据节点采用相同的配置，由主节点响应数据任务的处理请求，将数据任务分配至各个数据节点进行数据处理，若主节点出现宕机，则从与该主节点配置相同的数据节点中选举出新的主节点，由新的主节点响应新的数据任务的处理请求。本技术方案的分布式任务调度方法是基于同一业务系统内的线程间通信来实现，各分布式节点执行一个线程，避免了多进程间通信对业务系统资源的耗费，能够提高任务调度处理的效率，同时，当主节点出现宕机时，由于各分布式节点配置相同，能够快速从数据节点中选举出新的主节点，能够提升宕机的恢复效率，提高了分布式系统的作业效率。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是一实施例提供的分布式并行任务调度方法的流程图；图2是一实施例步骤S120的详细流程图；图3是一实施例步骤S120的另一详细流程图；图4在一实施例步骤S130的详细流程图；图5在一实施例步骤S140的详细流程图；图6是常用的任务调度方法所采用的系统框架；图7是本方案中提供的分布式并行任务调防方法所采用的系统框架；图8是一实施例提供的分布式并行任务调度装置的结构示意图；图9是一实施例提供的分布式并行任务调度装置的另一结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。在本申请的说明书和权利要求书及本文档来自技高网...

【技术保护点】
1.一种分布式并行任务调度方法，其特征在于，包括以下步骤：/n接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；/n通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；/n在数据处理过程中，监控所述主节点和数据节点的运行状态；/n当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。/n

【技术特征摘要】
1.一种分布式并行任务调度方法，其特征在于，包括以下步骤：
接收数据任务的处理请求时，通过分布式节点中的主节点响应所述处理请求；
通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理；其中，所述主节点与数据节点采用相同的配置；
在数据处理过程中，监控所述主节点和数据节点的运行状态；
当所述主节点出现宕机时，从所述数据节点中选举出新的主节点，并通过所述新的主节点响应新的数据任务的处理请求。


2.根据权利要求1所述的分布式并行任务调度方法，其特征在于，所述通过分布式节点中的主节点响应所述处理请求的步骤之前还包括：
遍历所述节点，寻找出预先配置有主节点标识的目标节点，将所述目标节点确定为主节点。


3.根据权利要求1所述的分布式并行任务调度方法，其特征在于，通过所述主节点将处理请求中的数据任务分配至各个数据节点进行数据处理的步骤包括：
获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量；
通过所述主节点将所述数据任务按照所述任务量分配至对应的数据节点进行数据处理。


4.根据权利要求3所述的分布式并行任务调度方法，其特征在于，所述获取各个数据节点的性能状态信息和任务执行信息，根据所述性能状态信息和任务执行信息确定各个所述数据节点分配的任务量的步骤包括：
获取所述数据任务的拓扑关系和依赖关系，确定处理所述数据任务的数据节点；
计算所述数据节点的性能状态信息和任务执行信息；所述性能状态信息包括CPU使用率、内存使用率和I/O资源使用率，所述任务执行信息包括所执行任务的数量、所执行任务的执行进度和已执行时间；
根据所述性能状态信息和任务执行信息，以均衡方式确定所述数据节点的任务量。


5.根据权利要求3所述的分布式并行任务调度方法，其特征在于，所述通过所述主节点将所述数据...

【专利技术属性】
技术研发人员：钟泽峰，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44