本发明专利技术涉及一种分布式任务调度方法、装置、终端设备及存储介质，分布式任务调度装置包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，节点规划模块用于负责节点的管理及任务分配功能。本发明专利技术能够实现对分布式任务的自动化科学调度，大大降低了系统管理人员的工作负担。大大降低了系统管理人员的工作负担。大大降低了系统管理人员的工作负担。
【技术实现步骤摘要】
一种分布式任务调度方法、装置、终端设备及存储介质
[0001]本专利技术涉及分布式系统领域，具体地涉及一种分布式任务调度方法、装置、终端设备及存储介质。
技术介绍
[0002]资源利用率关系到分布式系统性能的优劣，为作业选取合适的节点有利于提高分布式系统的资源利用率。目前，主流的调度器，例如公平调度器，计算能力调度器等，在资源规划方面，主要是根据分布式系统中节点的资源量，包括CPU资源和内存资源，进行分配，但是并未对客户端提交的作业进行规划。在节点负载处理上，默认的任务分配和副本放置策略主要针对同构环境，未考虑节点间的异构问题，因此在异构的环境下，由于节点性能的差异，会导致分布式系统负载不均衡。
[0003]近几年，随着计算机硬件的发展，机器学习领域再次呈现出一片繁荣的景象。机器学习的落地实施是业界追求的目标。分布式系统中天然存在大量数据集，这为机器学习创造了一个绝佳的训练和落地环境。分布式系统与机器学习的结合顺应了科学技术的发展趋势，也使机器学习有更实质性的落地实施。Apache Spark，Apache Flink等知名开源软件就是最好的例子，他们拥有健全的分布式机器学习库，同时仍在不断发展壮大。
[0004]在分布式系统中，有大量配置参数需要系统管理人员设置，并且要求系统管理人员拥有较专业的技术水平。
技术实现思路
[0005]本专利技术旨在提供一种分布式任务调度方法、装置、终端设备及存储介质，以解决上述问题。为此，本专利技术采用的具体技术方案如下：
[0006]根据本专利技术的一方面，提供了一种分布式任务调度方法，其包括以下步骤：
[0007]S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块；
[0008]S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类；
[0009]S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型；
[0010]S4.当分布式集群遇到故障时，节点规划模块会重新执行步骤S3；
[0011]S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上；
[0012]S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列；
[0013]S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。
[0014]进一步地，步骤S1还包括：配置一个节点作为主节点的备份节点，负责主节点的容错工作。
[0015]进一步地，步骤S2还包括配置充足资源类、正常资源类和紧张资源类三类节点的数量占比。优选地，充足资源类、正常资源类和紧张资源类三类节点的数量占比为30％，40％和30％。
[0016]进一步地，S2-S4中根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类的计算公式如下：
[0017]score＝CPU*30％+Memory*30％+Time*40％，
[0018]其中，score为资源量的最终成绩，CPU表示CPU资源量，Memory表示内存资源量，Time表示网络延迟；S2-S4中根据节点的负载情况将节点分成高负载节点、正常负载节点和空闲节点三类的计算公式如下：
[0019]load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，
[0020]其中，load表示负载情况，CPU表示所有内核的总处理器利用率，Memory表示活动进程占用的物理内存，Disk表示所有物理驱动器的总利用率，Network表示当前主要网络上的网络利用率。
[0021]进一步地，当分布式系统中添加新节点或者更新节点资源时，节点规划模块会计算节点资源量的最终得分，根据得分将节点划入对应的类别中。
[0022]进一步地，步骤S5还包括：客户端提交的作业被拆分成多个任务之后，任务和分布式系统节点之间，使用多队列缓存的形式管理，主节点根据集群中节点的现状分配队列中的任务，保证任务正常完成。
[0023]进一步地，在队列缓存中，任务分类模块会自适应地调整队列大小。
[0024]根据本专利技术的另一方面，还提供一种分布式任务调度装置，其可包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，当客户端提交作业后，在分布式系统中，作业会被分成若干个任务分片，任务分类模块会评估任务分片的信息并根据评估的任务分片信息对任务分片进行分类，任务分片被正确划分之后，任务分类模块将其推入队列缓存的指定任务队列中；节点规划模块用于负责节点的管理及任务分配功能，分布式系统通过选主算法推举出一个主节点，并设置一个备份节点用于辅助主节点，节点规划模块根据节点信息将节点划分为三大类：充足资源类节点、正常资源类节点以及紧张资源类节点，在分布式系统运行过程中，节点规划模块根据节点的负载情况，将节点再次细分成高负载节点，正常负载节点和空闲节点三类，根据当前请求的任务所属队列以及集群节点划分情况，把任务指派到合适的节点上执行，当分布式系统中某个节点处于空闲或者低负载状态下时，它会通过心跳向主节点反馈，主节点同样会从合适的队列中为其指派任务。
[0025]根据本专利技术的又一方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
[0026]根据本专利技术的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0027]本专利技术采用上述技术方案，具有的有益效果是：本专利技术能够实现对分布式任务的自动化科学调度，大大降低了系统管理人员的工作负担。
附图说明
[0028]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0029]图1是本专利技术的分布式任务调度装置的原理框图。
具体实施方式
[0030]现结合附图和具体实施方式对本专利技术进一步说明。
[0031]如图1所示，本专利技术实施例提供的任务调度装置包括：
[0032]任务分类模块100，其用于负责任务分片的管理及分类功能。具本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式任务调度方法，其特征在于，包括以下步骤：S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块；S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类；S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型；S4.当分布式集群遇到故障时，节点规划模块会重新执行步骤S3；S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上；S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列；S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。2.如如权利要求1所述的分布式任务调度方法，其特征在于，步骤S1还包括：配置一个节点作为主节点的备份节点，负责主节点的容错工作。3.如权利要求1所述的分布式任务调度方法，其特征在于，步骤S2还包括配置充足资源类、正常资源类和紧张资源类三类节点的数量占比。4.如权利要求1所述的分布式任务调度方法，其特征在于，S2-S4中根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类的计算公式如下：score＝CPU*30％+Memory*30％+Time*40％，其中，score为资源量的最终成绩，CPU表示CPU资源量，Memory表示内存资源量，Time表示网络延迟；S2-S4中根据节点的负载情况将节点分成高负载节点、正常负载节点和空闲节点三类的计算公式如下：load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，其中，load表示负载情况，CPU表示所有内核的总处理器利用率，Memory表示活动进程占用的物理内存...
【专利技术属性】
技术研发人员：蔡斌冰，彭琪伟，段思欣，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。