一种基于资源权重计算的任务分布式调度方法与系统技术方案

本发明专利技术公开了一种基于资源权重计算的任务分布式调度方法与系统，方法包含以下步骤：获取任务信息的资源权重值；实时更新并获取执行器节点的负载值；对任务信息进行调度，比较任务信息的资源权重值与执行器节点的负载值的大小；若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点；若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点；系统包含多个执行器节点以及安装于执行器节点上的任务调度中心、心跳模块，任务调度中心包含任务调度池、任务调度器。任务调度器。任务调度器。

【技术实现步骤摘要】
一种基于资源权重计算的任务分布式调度方法与系统


[0001]本专利技术涉及任务分布式调度方法与系统领域，具体涉及一种基于资源权重计算的任务分布式调度方法与系统。

技术介绍

[0002]传统的任务调度系统很多都支持定时任务的调度，可以通过监控任务节点的状态，判断节点的负载并按照配置时间将待执行的任务分配至负载较低的节点，从而实现负载(工作任务)均衡的效果；由于定时任务的特殊性，会出现多个定时执行策略相同的任务分配至同一个负载较低的任务节点，从而导致此节点上负载增加，以至于分配至此节点的任务因为资源不足而阻塞的情况；
[0003]目前现有的任务调度系统，是定时获取节点各个指标状态，然后记录更新此节点的负载状态，根据负载状态判断负载较低可以分配任务工作的节点，并进行任务分发轮询，但是由于缺乏对不同任务情况的判断，无法预知任务分配执行之后此节点的负载情况；在任务并发较大的情况下，容易出现虽然集群各个执行节点分配了相同数量的执行任务，但由于不同任务运行资源消耗存在差异，从而导致集群各节点实际负载相差较大，实际未达到负载均衡的效果，并且因为集群节点资源使用不均，无法高效率的处理资源消耗巨大的任务，甚至因为资源不足导致任务运行失败。

技术实现思路

[0004]本专利技术要解决的技术问题是目前现有的任务调度系统，是定时获取节点各个指标状态，然后记录更新此节点的负载状态，根据负载状态判断负载较低可以分配任务工作的节点，并进行任务分发轮询，但是由于缺乏对不同任务情况的判断，无法预知任务分配执行之后此节点的负载情况，本专利技术提供一种基于资源权重计算的任务分布式调度方法，本专利技术还提供一种基于资源权重计算的任务分布式调度系统，能够利用定时任务的特性，通过记录和计算任务运行时任务本身的资源配置消耗得到任务的资源权重值，使用资源权重值并综合执行器节点的负载情况作为任务调度的计算因子，更加智能设置任务优先级与执行策略，用以解决现有技术导致的缺陷。
[0005]为解决上述技术问题本专利技术提供以下的技术方案：
[0006]第一方面，一种基于资源权重计算的任务分布式调度方法，其中，包含以下步骤：
[0007]步骤1：获取任务信息的资源权重值；
[0008]步骤2：实时更新并获取执行器节点的负载值；
[0009]步骤3：对任务信息进行调度，比较任务信息的资源权重值与执行器节点的负载值的大小；
[0010]若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点(standby)，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点，筹备节点作为一种执行器节点状态的标识存在，任务调度中心会定
时将挂起的任务与筹备节点的负载值进行比较，提升任务调度的效率与集群任务的执行效率；
[0011]若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点(worker)。
[0012]上述的一种基于资源权重计算的任务分布式调度方法，其中，步骤1中的资源权重值根据系统中所在执行器节点的所述任务信息中各资源配置的使用值与资源权重系数相乘后相加得到或所述任务信息中各资源配置的使用值与默认资源系数相乘后相加得到，并会在每次任务运行结束后重新计算并更新，保证根据资源权重值分配任务的准确度；
[0013]所述步骤3中根据预先配置的任务调度策略对任务信息进行调度。
[0014]上述的一种基于资源权重计算的任务分布式调度方法，其中，所述各资源配置的使用值包含内存使用量、CPU使用率、网络IO数据、磁盘IO数据、文件句柄数据、任务总时长数据；
[0015]资源权重系数是任务分布式调度系统在安装时根据集群节点资源配置人工进行设置的，资源权重系数乘以资源配置的使用值(消耗值)得到此资源配置的资源配置权重值，各项资源配置权重值相加得到资源权重值，即内存消耗值乘以内存系数得到内存权重值，CPU使用率乘以CPU系数得到CPU权重值，最后各种资源配置权重值相加得到此任务的资源权重值；
[0016]所述任务调度策略包含任务的执行开始时间数据、执行时间间隔数据、执行次数数据，所述执行时间策略设定为固定周期，一般为每天、每月、每年的特定时间或者相隔多久执行一次，所述任务调度器到达设定的时间开始进行任务信息的获取与任务的调度。
[0017]上述的一种基于资源权重计算的任务分布式调度方法，其中，还包含步骤4：任务运行结束后重新计算资源权重值并更新。
[0018]第二方面，一种基于资源权重计算的任务分布式调度系统，其中，包含多个执行器节点以及安装于所述执行器节点上的任务调度中心、心跳模块，所述任务调度中心包含任务调度池、任务调度器；
[0019]所述心跳模块用于定时更新当前所述执行器节点的负载值，保证任务执行器节点分配的准确度，还用于获取其他心跳模块更新的执行器节点的负载值；
[0020]所述任务调度池用于存储进入任务调度的任务信息；
[0021]所述任务调度器用于获取任务信息并计算任务信息的资源权重值，还用于获取负载值，还用于比较资源权重值与负载值的大小为任务选择执行器节点并将任务信息下发至该执行器节点，采用分布式架构进行任务的调度。
[0022]上述的一种基于资源权重计算的任务分布式调度系统，其中，所述任务调度器按照任务调度策略获取所述任务信息；
[0023]所述任务调度器依据所述任务信息中各资源配置的使用值与资源权重系数相乘后相加得到资源权重值或所述任务信息中各资源配置的使用值与默认资源系数相乘后相加得到资源权重值；
[0024]所述任务调度器比较资源权重值与负载值的大小时，若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点，减少任务的阻塞、提升任
务调度的效率与任务执行效率；
[0025]若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点。
[0026]上述的一种基于资源权重计算的任务分布式调度系统，其中，所述各资源配置的使用值包含内存使用量、CPU使用率、网络IO数据、磁盘IO数据、文件句柄数据、任务总时长数据；
[0027]资源权重系数是任务分布式调度系统在安装时根据集群节点资源配置人工进行设置的，资源权重系数乘以资源配置的使用值(消耗值)得到此资源配置的资源配置权重值，各项资源配置权重值相加得到资源权重值，即内存消耗值乘以内存系数得到内存权重值，CPU使用率乘以CPU系数得到CPU权重值，最后各种资源配置权重值相加得到此任务的资源权重值；
[0028]所述任务调度策略包含任务的执行开始时间数据、执行时间间隔数据、执行次数数据，所述执行时间间隔数据设定为固定周期，一般为每天、每月、每年的特定时间或者相隔多久执行一次，所述任务调度器到达设定的时间开始进行任务信息的获取与任务的调度。
[0029]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于资源权重计算的任务分布式调度方法，其特征在于，包含以下步骤：步骤1：获取任务信息的资源权重值；步骤2：实时更新并获取执行器节点的负载值；步骤3：对任务信息进行调度，比较任务信息的资源权重值与执行器节点的负载值的大小；若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点；若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点。2.如权利要求1所述的一种基于资源权重计算的任务分布式调度方法，其特征在于，步骤1中的所述资源权重值根据所述任务信息中各资源配置的使用值与资源权重系数相乘后相加得到或所述任务信息中各资源配置的使用值与默认资源系数相乘后相加得到；所述步骤2中所述负载值为所述执行器节点内各资源配置的剩余资源值；所述步骤3中根据预先配置的任务调度策略对任务信息进行调度。3.如权利要求2所述的一种基于资源权重计算的任务分布式调度方法，其特征在于，所述各资源配置的使用值包含内存使用量、CPU使用率、网络IO数据、磁盘IO数据、文件句柄数据、任务总时长数据；所述任务调度策略包含任务的执行开始时间数据、执行时间间隔数据、执行次数数据。4.如权利要求1
‑
3任一项所述的一种基于资源权重计算的任务分布式调度方法，其特征在于，还包含步骤4：任务运行结束后重新计算资源权重值并更新。5.一种基于资源权重计算的任务分布式调度系统，其特征在于，包含多个执行器节点以及安装于所述执行器节点上的任务调度中心、心跳模块，所述任务调度中心包含任务调度池、任务调度器；所述心跳模块用于定时更新当前所述执行器节点的负载值，还用于获取其他心跳模块更新的执行器节点的负载值；所述任务调度池用于存储进入任务调度的任务信息；所述任务调度器用于获取任务信息并计算任...

【专利技术属性】
技术研发人员：黄超，谢赟，葛兵，陈大伟，
申请(专利权)人：上海德拓信息技术股份有限公司，
类型：发明
国别省市：