本申请涉及一种作业调度方法、装置、计算机设备、存储介质和计算机程序产品，涉及大数据技术领域。所述方法包括：获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在待运行作业队列中的等待时长以及待运行作业队列中待运行作业的数量；对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；查询集群资源信息表，得到目标集群中目标租户的剩余可用资源；根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序；根据运行顺序对各待运行作业进行调度。采用本方法能够提高作业调度的效率。的效率。的效率。
【技术实现步骤摘要】
作业调度方法、装置、计算机设备和存储介质
[0001]本申请涉及大数据
，特别是涉及一种作业调度方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]目前大数据平台作业调度系统的作业调度方法往往按照不同业务场景划分不同资源池，实现调度资源池的隔离。但受限于调度服务器数量以配置，为了能够最大限度利用调度服务器资源，绝大多数作业分配在同一个调度资源池中，资源池中作业并发限制，在批量高峰期时，经常出现部分资源争抢，而部分资源使用率较低的情况，从而导致部分作业处于等待运行的状态。因此，现有的作业调度方法存在作业调度效率低的问题。
技术实现思路
[0003]基于此，有必要针对上述传统作业调度方法存在作业调度效率低的问题，提供一种能够提高作业调度效率的作业调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种作业调度方法。所述方法包括：
[0005]获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在待运行作业队列中的等待时长以及待运行作业队列中待运行作业的数量；
[0006]对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；
[0007]查询集群资源信息表，得到目标集群中目标租户的剩余可用资源；
[0008]根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序；根据运行顺序对各待运行作业进行调度。
[0009]在其中一个实施例中，对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户，包括：
[0010]对作业清单中各待运行作业进行解析，得到各待运行作业的作业类型；
[0011]针对当前待运动作业，在当前待运行作业的作业类型为第一类型的情况下，在第一类型对应的作业文件中查询当前待运行作业所对应的集群标识和所对应的租户标识；
[0012]在当前待运行作业的作业类型为第二类型的情况下，在第二类型对应的数据库表中查询当前待运行作业所对应的集群标识和所对应的租户标识；
[0013]根据各待运行作业所对应的集群标识，确定各待运行作业所属的目标集群；根据各待运行作业所对应的租户标识，确定各待运行作业所属的目标租户。
[0014]在其中一个实施例中，查询集群资源信息表，得到目标集群中目标租户的剩余可用资源，包括：
[0015]查询集群资源信息表，得到目标集群中目标租户对应的集群资源存储数据；
[0016]对集群资源存储数据进行解析，得到目标集群中目标租户的剩余可用资源。
[0017]在其中一个实施例中，对集群资源存储数据进行解析，得到目标集群中目标租户的剩余可用资源，包括：
[0018]对集群资源存储数据按行拆分，得到多个存储数据；每个存储数据中包括类型位和数据位；
[0019]对多个存储数据中每个存储数据中的类型位进行解析，得到资源类型；
[0020]对多个存储数据中每个存储数据中的数据位进行解析，得到可用资源数量；
[0021]根据资源类型和可用资源数量，确定目标集群中目标租户的剩余可用资源。
[0022]在其中一个实施例中，根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序，包括：
[0023]确定各待运行作业对应的剩余可用资源与待运行作业的数量的商值；
[0024]针对具有不同优先级的待运行作业，根据相应待运行作业的运行优先级，确定相应待运行作业的第一运行顺序；
[0025]针对具有相同优先级，且具有不同商值的待运行作业，根据相应的待运行作业对应的商值，确定相应待运行作业的第二运行顺序；
[0026]针对具有相同优先级，且具有相同商值的待运行作业，根据相应的等待时长，确定相应待运行作业的第三运行顺序；
[0027]根据第一运行顺序、第二运行顺序、第三运行顺序，确定各待运行作业的运行顺序。
[0028]在其中一个实施例中，对作业清单中各待运行作业进行解析之前，还包括：
[0029]查询作业信息表，得到各待运行作业的待运行时间段；
[0030]确定当前时间是否在各待运行作业的待运行时间段内；
[0031]针对当前时间在相应待运行作业的待运行时间段内的当前待运行作业，对作业清单中的当前待运行作业进行解析。
[0032]第二方面，本申请还提供了一种作业调度装置。所述装置包括：
[0033]获取模块，用于获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在待运行作业队列中的等待时长以及待运行作业队列中待运行作业的数量；
[0034]解析模块，用于对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；
[0035]查询模块，用于查询集群资源信息表，得到目标集群中目标租户的剩余可用资源；
[0036]调度模块，用于根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序；根据运行顺序对各待运行作业进行调度。
[0037]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0038]获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在待运行作业队列中的等待时长以及待运行作业队列中待运行作业的数量；
[0039]对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；
[0040]查询集群资源信息表，得到目标集群中目标租户的剩余可用资源；
[0041]根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序；根据运行顺序对各待运行作业进行调度。
[0042]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0043]获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在待运行作业队列中的等待时长以及待运行作业队列中待运行作业的数量；
[0044]对作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；
[0045]查询集群资源信息表，得到目标集群中目标租户的剩余可用资源；
[0046]根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及待运行作业的数量，确定各待运行作业的运行顺序；根据运行顺序对各待运行作业进行调度。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业调度方法，其特征在于，所述方法包括：获取作业清单、待运行作业队列中的各待运行作业的运行优先级、各待运行作业在所述待运行作业队列中的等待时长以及所述待运行作业队列中待运行作业的数量；对所述作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户；每个目标集群中包括多个目标租户；查询集群资源信息表，得到所述目标集群中所述目标租户的剩余可用资源；根据各待运行作业对应的运行优先级、剩余可用资源、等待时长以及所述待运行作业的数量，确定各待运行作业的运行顺序；根据所述运行顺序对各待运行作业进行调度。2.根据权利要求1所述的方法，其特征在于，所述对所述作业清单中各待运行作业进行解析，得到各待运行作业所属的目标集群和所属的目标租户，包括：对所述作业清单中各待运行作业进行解析，得到各待运行作业的作业类型；针对当前待运动作业，在所述当前待运行作业的作业类型为第一类型的情况下，在所述第一类型对应的作业文件中查询所述当前待运行作业所对应的集群标识和所对应的租户标识；在所述当前待运行作业的作业类型为第二类型的情况下，在所述第二类型对应的数据库表中查询所述当前待运行作业所对应的集群标识和所对应的租户标识；根据各待运行作业所对应的集群标识，确定各待运行作业所属的目标集群；根据各待运行作业所对应的租户标识，确定各待运行作业所属的目标租户。3.根据权利要求1所述的方法，其特征在于，所述查询集群资源信息表，得到所述目标集群中所述目标租户的剩余可用资源，包括：查询集群资源信息表，得到所述目标集群中所述目标租户对应的集群资源存储数据；对所述集群资源存储数据进行解析，得到目标集群中目标租户的剩余可用资源。4.根据权利要求3所述的方法，其特征在于，所述对所述集群资源存储数据进行解析，得到目标集群中目标租户的剩余可用资源，包括：对所述集群资源存储数据按行拆分，得到多个存储数据；每个存储数据中包括类型位和数据位；对多个存储数据中每个存储数据中的类型位进行解析，得到资源类型；对多个存储数据中每个存储数据中的数据位进行解析，得到可用资源数量；根据所述资源类型和所述资源数量，确定目标集群中目标租户的剩余可用资源。5.根据权利要求1所述的方法，其特征在于，所述根据各待运行作...
【专利技术属性】
技术研发人员：楼亚楠，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。