作业处理方法、装置、计算机设备、存储介质和程序产品制造方法及图纸

本申请涉及一种作业处理方法、装置、计算机设备、存储介质和程序产品。所述方法包括：根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列；各所述初始队列为对所述服务器集群中的各服务器进行划分得到的；根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源；所述资源池中包括所述服务器集群中各服务器对应的资源；利用所述目标资源运行所述待处理作业。采用本方法能够对集群中的计算资源进行灵活管理。活管理。活管理。

【技术实现步骤摘要】
作业处理方法、装置、计算机设备、存储介质和程序产品


[0001]本申请涉及计算机
，特别是涉及一种作业处理方法、装置、计算机设备、存储介质和程序产品。

技术介绍

[0002]通常，面向高性能计算(High
‑
performance computing，HPC)的计算机集群的操作系统中包含大量的计算资源，需要通过HPC的调度系统对计算资源进行调度。
[0003]传统技术中，通过将集群的计算资源划分为不同的队列，集群在接收到用户提交的任务时，通过HPC的调度系统将任务分配至不同队列中，根据队列中包含的计算资源运行所分配的任务。
[0004]然而，传统技术中存在对集群中的计算资源管理不灵活的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够对集群中的计算资源进行灵活管理的作业处理方法、装置、计算机设备、存储介质和程序产品。
[0006]第一方面，本申请提供了一种作业处理方法。所述方法包括：
[0007]根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列；各所述初始队列为对所述服务器集群中的各服务器进行划分得到的；
[0008]根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源；所述资源池中包括所述服务器集群中各服务器对应的资源；
[0009]利用所述目标资源运行所述待处理作业。
[0010]在其中一个实施例中，所述作业信息中包括所述待处理作业对应的期望资源的信息；所述根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源，包括：
[0011]根据所述服务器信息，从所述资源池中确定所述目标队列对应的初始资源；
[0012]根据所述待处理作业所需期望资源的信息，确定所述初始资源是否满足所述期望资源；
[0013]若是，则将所述初始资源确定为所述目标资源；
[0014]若否，则从所述资源池中除所述初始资源外的其他资源中确定所述目标资源。
[0015]在其中一个实施例中，所述从所述资源池中除所述初始资源外的其他资源中确定所述目标资源，包括：
[0016]确定所述其他资源中是否存在满足所述期望资源的空闲资源；
[0017]若存在，则将所述空闲资源确定为所述目标资源；
[0018]若不存在，则进入等待状态，并在所述其他资源中存在新的空闲资源的情况下，返回执行所述确定所述其他资源中是否存在满足所述期望资源的空闲资源的步骤，直至确定
出所述目标资源。
[0019]在其中一个实施例中，所述方法还包括：
[0020]在所述待处理作业运行完成，且完成后的时长超过预设时长的情况下，将所述目标资源释放至所述资源池中。
[0021]本实施例中，由于在待处理作业运行完成，且完成后的时长超过预设时长的情况下，将目标资源释放至资源池中，能够对资源池中的资源进行不断更新，从而实现对集群中的资源的灵活管理。
[0022]在其中一个实施例中，所述方法还包括：
[0023]在所述服务器集群中的服务器发生变化的情况下，根据所述服务器集群中发生变化的服务器信息，对所述资源池中的资源信息进行更新。
[0024]在其中一个实施例中，所述作业信息包括所述待处理作业对应的目标服务器的数量，所述根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列，包括：
[0025]根据所述目标服务器的数量和各所述初始队列包括的初始服务器的数量，确定所述目标队列。
[0026]第二方面，本申请还提供了一种作业处理装置。所述装置包括：
[0027]第一确定模块，用于根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列；各所述初始队列为对所述服务器集群中的各服务器进行划分得到的；
[0028]第二确定模块，用于根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源；所述资源池中包括所述服务器集群中各服务器对应的资源；
[0029]运行模块，用于利用所述目标资源运行所述待处理作业。
[0030]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0031]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0032]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。
[0033]上述作业处理方法、装置、计算机设备、存储介质和程序产品，集群中的主服务器能够对服务器集群中的各服务器进行划分，得到初始队列，在接收到待处理作业时，能够根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行待处理作业的目标队列，从而根据目标队列对应的服务器信息和作业信息，从资源池中确定运行待处理作业所需的目标资源，利用目标资源运行待处理作业，相比于传统技术，本申请的方法能够根据待处理作业的作业信息确定目标队列，从而在确定了目标队列的情况下，根据目标队列对应的服务器信息和待处理作业的作业信息，在资源池中灵活地确定运行待处理作业所需的目标资源，并将确定的目标资源分配给目标队列，使得分配至目标队列中的资源均处于运行状态，避免了资源的浪费，而且分配至目标队列中的资源是根据目标队列中服务器的
信息和待处理作业的作业信息确定的，不是固定的，能够使得队列中的资源数量实现动态伸缩，从而实现对集群中的资源的灵活管理；另外，本申请中通过资源池管理服务器集群中各服务器对应的资源，根据作业信息向待处理作业所在的目标队列分配对应的目标资源，不仅能够避免目标队列中缺少资源导致待处理作业的处理效率较低的问题，还能够避免队列中缺少待处理作业导致资源浪费的问题，从而能够实现集群中资源的高效管理，提高集群的处理效率。
附图说明
[0034]图1为一个实施例中作业处理方法的应用环境图；
[0035]图2为一个实施例中作业处理方法的流程示意图；
[0036]图3为另一个实施例中作业处理方法的流程示意图；
[0037]图4为另一个实施例中作业处理方法的流程示意图；
[0038]图5为一个实施例中作业处理方法中确定目标队列的示意图；
[0039]图6为一个实施例中作业处理装置的结构框图；
[0040]图7为另一个实施例中作业处理装置的结构框图；
[0041]图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0042]为了使本申请的目的、技术方案及优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业处理方法，其特征在于，所述方法包括：根据待处理作业的作业信息，从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列；各所述初始队列为对所述服务器集群中的各服务器进行划分得到的；根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源；所述资源池中包括所述服务器集群中各服务器对应的资源；利用所述目标资源运行所述待处理作业。2.根据权利要求1所述的方法，其特征在于，所述作业信息中包括所述待处理作业对应的期望资源的信息；所述根据所述目标队列对应的服务器信息和所述作业信息，从资源池中确定运行所述待处理作业所需的目标资源，包括：根据所述服务器信息，从所述资源池中确定所述目标队列对应的初始资源；根据所述待处理作业所需期望资源的信息，确定所述初始资源是否满足所述期望资源；若是，则将所述初始资源确定为所述目标资源；若否，则从所述资源池中除所述初始资源外的其他资源中确定所述目标资源。3.根据权利要求2所述的方法，其特征在于，所述从所述资源池中除所述初始资源外的其他资源中确定所述目标资源，包括：确定所述其他资源中是否存在满足所述期望资源的空闲资源；若存在，则将所述空闲资源确定为所述目标资源；若不存在，则进入等待状态，并在所述其他资源中存在新的空闲资源的情况下，返回执行所述确定所述其他资源中是否存在满足所述期望资源的空闲资源的步骤，直至确定出所述目标资源。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：在所述待处理作业运行完成，且完成后的时长超过预设时长的情况下，将所述目标资源释...

【专利技术属性】
技术研发人员：朱文强，张涛，吕灼恒，
申请(专利权)人：青岛中科曙光科技服务有限公司，
类型：发明
国别省市：